গুগল ওয়েব অনুসন্ধান এপিআই হ্রাস করা হয়েছে এখন বিকল্প কি? [বন্ধ]

Question

গুগল ওয়েব অনুসন্ধান এপিআই কাস্টম অনুসন্ধান এপিআই এর সাথে অবহিত এবং প্রতিস্থাপন করা হয়েছে (দেখুন http://code.google.com/apis/websearch/ )।

আমি পুরো ওয়েবটি অনুসন্ধান করতে চেয়েছিলাম তবে নতুন এপিআইয়ের সাথে দেখে মনে হচ্ছে কেবল কাস্টম সাইটগুলি অনুসন্ধান করা যেতে পারে।

প্রোগ্রামিংয়ে পুরো ওয়েব সন্ধান করার কোন উপায় আছে কি? আমি কোনও জাভা প্রোগ্রাম থেকে জেএসএন ব্যবহার করে পুরানো এপিআইয়ের অনুসন্ধান করতে সক্ষম হয়েছি।

Comments

ঠিক আছে আমি এটি নিয়ে অনেক গবেষণা করেছি এবং দেখে মনে হচ্ছে একমাত্র সমাধান হ'ল ইয়াহু বস

— ড্যান

কাস্টম অনুসন্ধান API এমনটি নয় যা বেশিরভাগ লোকেরা সন্ধান করছে: - / Searchchapi.io একবার দেখুন!

— স্টান স্মুল্ডার

আমি বিভিন্ন অনুসন্ধান এপিআইতে পোকস তৈরি করেছি যা প্রচুর বৈশিষ্ট্য সরবরাহ করে এবং কয়েক মিনিটের ব্যবধানে কার্যকর করা খুব সহজ। Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) হ'ল এমন API গুলি যা আমি প্রয়োগ করেছি এবং পরীক্ষা করেছি। আমি বিস্তারিত উত্তরও সরবরাহ করতে পারলাম তবে এই প্রশ্নটি বন্ধ।

— আশীষ কুমার

সেরা সমাধান হ'ল SerpApi- এর

— হার্টেটর

masswerk.at/googleBBS

— 21918 এ

Answer 1

আপনি কেবল সেগুলি ব্রাউজারের মতো করে পাঠাতে পারেন এবং তারপরে এইচটিএমএলকে পার্স করতে পারেন, এটি আমি সর্বদা যা করেছি তা এমনকি ইউটিউবের মতো জিনিসগুলির জন্যও।

Comments

আমাকে বলা হয়েছে যে গুগলসের পরিষেবার শর্তাদি স্পাইডারিং নিষিদ্ধ করছে ...

— স্টিভেন এ লো।

টিওএস থেকে : "আপনি কোনও স্বয়ংক্রিয় পদ্ধতিতে (স্ক্রিপ্ট বা ওয়েব ক্রলার ব্যবহার সহ) কোনও পরিষেবা অ্যাক্সেস (বা অ্যাক্সেসের চেষ্টা) না করার বিষয়ে আপনি সম্মত হন ..."

— üন্দ্রিক ü

"কোনও পরিষেবা সরবরাহকারীর সাথে পরিষেবার শর্তাদি লঙ্ঘন করা" কখনই ভাল পরামর্শ নয়। ওয়েবপৃষ্ঠাগুলি পার্স করা এমন এক জিনিস যা কোনও দিন সতর্কতা ছাড়াই পরের দিনটিতে ভেঙে যায়, এটি অত্যন্ত ভয়ঙ্কর উপদেশ that's এ কারণেই এটি আপভোট হয়েছে এমনটি আরও নিম্নমানের ছিল।

— নটহাগো

হ্যাঁ এটি পরিষেবার শর্তাদি ভঙ্গ করে তবে ব্যক্তিগতভাবে আমি সে সম্পর্কে চিন্তা করব না। গুগল কিছুটা স্ক্র্যাপিং সামলাতে পারে, সর্বোপরি তারা অন্য লোকের সাইটগুলিকে স্ক্র্যাপ করে ভাগ্য তৈরি করেছে।

— jimbo2087

আসো মানুষ এত নির্বোধ হতে হবে না। গুগল আপনার গলা টিওএসকে জোর করতে পারে না। কোনও টসকে লঙ্ঘন করার জন্য আপনাকে অবশ্যই প্রথমে এটির সাথে একমত হতে হবে (লিখিতভাবে বা 'হ্যাঁ, আমি শর্তাদি স্বীকার করি' এর মতো বোতামে ক্লিক করে)। এটি ভাবুন: আমি আমার ওয়েব পৃষ্ঠায় একটি টোস রেখেছি যে এই পৃষ্ঠাটি দেখার জন্য প্রত্যেক ব্যক্তি আমাকে আমাকে $ 10000 দিতে হবে। আমি কি আমার দর্শকদের উপর এই টস প্রয়োগ করতে পারি? আমাকে তাড়াতাড়ি করতে হবে।

— মাইগ্রেট 2 লাজারস আমার প্রোফাইল

Answer 2

হ্যাঁ, গুগল কাস্টম অনুসন্ধান এখন পুরানো অনুসন্ধান এপিআই প্রতিস্থাপন করেছে, তবে আপনি এখনও পুরো ওয়েব অনুসন্ধান করতে গুগল কাস্টম অনুসন্ধান ব্যবহার করতে পারেন , যদিও কাস্টম অনুসন্ধান সেটআপ থেকে পদক্ষেপগুলি সুস্পষ্ট নয়।

একটি গুগল কাস্টম অনুসন্ধান ইঞ্জিন তৈরি করতে যা পুরো ওয়েবটি অনুসন্ধান করে:

1. গুগল কাস্টম অনুসন্ধান হোমপেজ থেকে ( http://www.google.com/cse/ ) থেকে একটি কাস্টম অনুসন্ধান ইঞ্জিন তৈরি করুন ক্লিক করুন।
2. আপনার অনুসন্ধান ইঞ্জিনের জন্য একটি নাম এবং বিবরণ লিখুন।
3. আপনার অনুসন্ধান ইঞ্জিনটি সংজ্ঞায়িত করুন এর অধীনে সাইট থেকে অনুসন্ধান বাক্সে কমপক্ষে একটি বৈধ ইউআরএল প্রবেশ করুন (আপাতত, এই পর্দার অতীতটি পেতে www.anyurl.com রাখুন put আরও পরে)।
4. আপনি চান সিএসই সংস্করণ নির্বাচন করুন এবং পরিষেবার শর্তাদি স্বীকার করুন, তারপরে Next ক্লিক করুন। আপনি চান লেআউট বিকল্পটি নির্বাচন করুন এবং তারপরে Next ক্লিক করুন।
5. আপনার কন্ট্রোল প্যানেলে নেভিগেট করতে পরবর্তী পদক্ষেপ বিভাগের অধীনে যে কোনও লিঙ্কে ক্লিক করুন।
6. বাম-হাতের মেনুতে, কন্ট্রোল প্যানেলের অধীনে, বেসিকগুলি ক্লিক করুন।
7. অনুসন্ধান পছন্দ বিভাগে পুরো ওয়েব অনুসন্ধান করুন নির্বাচন করুন তবে অন্তর্ভুক্ত সাইটগুলিকে জোর দিন।
8. পরিবর্তনগুলি সংরক্ষণ করুন ক্লিক করুন।
9. বাম-হাতের মেনুতে, কন্ট্রোল প্যানেলের অধীনে, সাইটগুলিতে ক্লিক করুন।
10. প্রাথমিক সেটআপ প্রক্রিয়া চলাকালীন আপনার প্রবেশ করা সাইটটি মুছুন।

এখন আপনার কাস্টম অনুসন্ধান ইঞ্জিন পুরো ওয়েবটি অনুসন্ধান করবে।

প্রাইসিং

• গুগল কাস্টম অনুসন্ধান আপনাকে প্রতিদিন 100 টি ক্যোয়ারী বিনামূল্যে দেয়।
• এর পরে আপনি 1000 প্রশ্নের প্রতি $ 5 প্রদান করেন।
• প্রতিদিন সর্বোচ্চ 10,000 টি ক্যোয়ারী রয়েছে।

সূত্র: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

---

• অনুসন্ধানের গুণমান সাধারণ গুগল অনুসন্ধানের তুলনায় অনেক কম (কোনও প্রতিশব্দ, "বুদ্ধি" ইত্যাদি নয়))
• দেখে মনে হচ্ছে গুগল এমনকি এই পরিষেবাটি পুরোপুরি বন্ধ করার পরিকল্পনা করছে।

Comments

এর জন্য ধন্যবাদ. আশা করি এটি একটি বৈধ প্রক্রিয়া এবং গুগলের প্লাগ হওয়ার জন্য অপেক্ষা করা কোনও লুফোল নয়!

— মাজাতেটক

ধন্যবাদ! এটি সম্ভবত ইন্টারনেটে একমাত্র উত্তর যা আমার প্রশ্নকে সম্বোধন করেছিল। গুগল কেন তাদের মূল পরিষেবাটির জন্য সরাসরি এপিআই সমর্থন বন্ধ করবে তা ভেবে উদ্বিগ্ন mind

— স্প্যামগুয়ে

তবে জসন দিয়ে এটি কীভাবে ব্যবহার করবেন?

— নওড়া

সতর্কতা: আমরা বিনামূল্যে সংস্করণ ব্যবহার করে উন্নয়ন করেছি, তবে অর্থ প্রদানের সংস্করণে (100 টিরও বেশি অনুসন্ধান করতে) আপগ্রেড করতে, গুগল আপনাকে "সম্পূর্ণ ওয়েব অনুসন্ধান করতে তবে অন্তর্ভুক্ত সাইটগুলিতে জোর দেওয়া" বন্ধ করতে বাধ্য করে

— ব্রায়ান লারসেন

"1 এপ্রিল, 2017 এ, গুগল গুগল সাইট অনুসন্ধান বিক্রয় বন্ধ করবে All নতুন তারিখের আগে সমস্ত নতুন কেনাকাটা এবং পুনর্নবীকরণগুলি হওয়া উচিত। 1 এপ্রিল, 2018 এর মধ্যে পণ্যটি সম্পূর্ণ বন্ধ হয়ে যাবে" "

— গাজুস

Answer 3

গুগল কাস্টম অনুসন্ধান (শীর্ষ নির্ধারিত উত্তরের মতামত হিসাবে) ভাল কাজ করে তবে এটির প্রতিযোগীদের তুলনায় (নীচে) বা অন্যান্য গুগল এপিআইয়ের তুলনায় খুব ব্যয়বহুল। এটিতে একটি ছোট ফ্রি টায়ার (100 ক্যোয়ারী / দিন) এবং 1000 ক্যোয়ারিতে খুব বেশি দাম $ 5 রয়েছে।

তারা সাইট অনুসন্ধানে আপগ্রেড করার বিকল্প প্রস্তাব করে, যার দাম কিছুটা ভাল, তবে এটি একটি সাইট অনুসন্ধান করার জন্য (আপনার নিজের), তাই এটি সত্যিই বেশ আলাদা কিছু - কোনও আপগ্রেড নয়।

প্রধান বিকল্পগুলি মনে হয়:

বিং অনুসন্ধান API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
যা 5000Q / মাসের একটি বিনামূল্যে স্তর, এবং দাম প্রতি পেনিতে 5 কোয়েরিতে শুরু হয় এবং কোনও কঠোর সীমা নেই।

আপডেট: ২০১ 2016 এর শেষে এই এপিআই এর অ্যাউজুর কাউন্টার পার্ট "কগনিটিভ সার্ভিসস বিং সার্চ এপিআই" এর পক্ষে বন্ধ ছিল: https :
//azure.mic Microsoft.com/en-us/services/cognitive-services/search/

দামের চার্টের জন্য এখানে দেখুন , যা 1000 লেনদেনের জন্য মার্কিন ডলার 3 / মি থেকে শুরু হয়। আমি যদি কিছু মিস করি না তবে এটি বেশ ব্যয়বহুল।

ইয়াহু বোস অনুসন্ধান এপিআই
আপডেট: 31 মার্চ, ২০১ on বন্ধ ছিল। Http://developer.yahoo.com/boss/search/
পুরো ওয়েব অনুসন্ধানের জন্য দাম প্রায় 12 টি কোয়েরি / পেনি দিয়ে শুরু হয়েছিল।

এবং কিছু আমি এর আগে শুনিনি:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[বন্ধ করা হয়েছে - নীচের দিকে নির্দেশিত হিসাবে]

সেখানে এর মধ্যে কিছু আলোচনা একটি বিট এই তাই পোস্ট ।
[অফ-টপিক থাকার কারণে বন্ধ হয়ে গেছে এবং এখন চলে গেছে]

Comments

বিং অনুসন্ধান এপিআই সংস্করণ 5 এখন সমস্ত বিং অনুসন্ধান API (ওয়েব, চিত্রগুলি, ভিডিও, সংবাদ অনুসন্ধান) - মাইক্রোসফ্ট / জ্ঞানীয় - পরিষেবাগুলি / en - us / pricing জুড়ে প্রতি মাসে 1000 টি লেনদেনের অনুমতি দেয় । আমি কিছু নমুনা একসাথে রেখেছি

— mvark.blogspot.in/2016/06/…

wholeweb.com সার্ভিসটি এখানে বন্ধ হিসাবে বন্ধ করে দিয়েছে সম্পূর্ণ ওয়েলওব.কম

— সার্ভিসেস

১৫ ডিসেম্বর, ২০১ on এ বিং ওয়েব অনুসন্ধান এপি আজিউর মার্কেটপ্লেসে ( অ্যাজুরি.মাইক্রোসফটকম / en-us / services/ cognitive- services / search ) জ্ঞানীয় পরিষেবাদিগুলির অধীনে চলে যাবে , যার জন্য সাবস্ক্রিপশনের জন্য একটি ফোন + ক্রেডিট কার্ড যাচাইকরণ প্রয়োজন (এমনকি একটি বিনামূল্যে)।

— গিলাদ মায়ানী

বিং এপিআই থেকে: "ডেটা মার্কেট এবং ডেটা সার্ভিসেস অবসরপ্রাপ্ত হচ্ছে এবং 12/31/2016 এর পরে নতুন অর্ডার গ্রহণ করা বন্ধ করবে। বিদ্যমান সাবস্ক্রিপশন 3/31/2017 থেকে শুরু হয়ে অবসর এবং বাতিল হয়ে যাবে। আপনি যদি বিকল্পগুলির জন্য আপনার পরিষেবা সরবরাহকারীর সাথে যোগাযোগ করুন তবে পরিষেবা চালিয়ে যেতে চাই "

— দিমিত্রি জায়তসেভ

পরিবর্তনটি উল্লেখ করার জন্য ধন্যবাদ - আমি সেই অনুযায়ী উত্তর আপডেট করেছি।

— টম

Answer 4

এখানে কাস্টম অনুসন্ধান নিয়ন্ত্রণ প্যানেলের নীচে একটি বিকল্প রয়েছে: "অনুসন্ধানের জন্য সাইটগুলি" , আপনি "পুরো ওয়েব অনুসন্ধান করুন তবে অন্তর্ভুক্ত সাইটগুলিকে জোর দিন" বেছে নিতে পারেন

Comments

এটি এখনও আপনার জন্য কাজ করে?

— দেজেল

হ্যাঁ, এটি এখনও কাজ করে।

গুগল আপনাকে অর্থ প্রদানের অনুসন্ধানে আপগ্রেড করার সময় সেই বিকল্পটি বন্ধ করতে বাধ্য করে। এবং ফ্রিতে 100 টি অনুসন্ধানের সীমা রয়েছে।

— ব্রায়ান লারসন

@ যিশু, পৃষ্ঠাটি কেন https://support.google.com/customsearch/answer/141877?hl=en বলে " আপনি পুরো ওয়েব অনুসন্ধান করতে গুগল সাইট অনুসন্ধানটি কনফিগার করতে পারবেন না "?

— পেসারিয়ার

@ পেসারিয়ার, এটি সম্পর্কে আমার কোনও ধারণা নেই। নীতি বদলেছে কি?

— যিশু ফাং

Answer 5

ফারুকের একটি নিখরচায় ওয়েব অনুসন্ধান এপিআই রয়েছে

Comments

তাদের ফলাফলগুলি সীম সীমিত তবে একটি ভাল সূচনা পয়েন্ট।

— afro360

@ জ্যাক, এর আগে এর আগে শোনা হয়নি। তারা কোথা থেকে তাদের অনুসন্ধান ফলাফল পাবেন?

— পেসারিয়ার

ফারুকের পক্ষে সম্ভাব্য ডিল ব্রেকারটি হ'ল আপনার এপিআই কীটি আপনার নিবন্ধকরণের সময় নির্দিষ্ট করা আইপি ঠিকানার মধ্যে সীমাবদ্ধ।

— অপ্রকাশিত ব্যতিক্রম

এই ছেলেরা এখনও চালু আছে? আমি এপিআই কীগুলি অনুরোধ করেছি এবং কিছুই শুনিনি।

— পল হিলান

Answer 6

আমি সবেমাত্র কমন ক্রল থেকে এদিকে এসেছি।

http://www.commoncrawl.org/

আমরা সবাই যে উত্তরটি খুঁজছি তা হতে পারে !!

Comments

এটির সীমিত সূচক রয়েছে, বছরে প্রায় একবার রিফ্রেশ। এবং অবশেষে এটি বেশ ব্যয়বহুল, কারণ আপনাকে অ্যামাজন এস 3 এ প্লাগ করতে হবে।

— গিলিয়াম লেবুর্জিও

@ গুইলাউইম লেবারজিওস, ব্যয়বহুল? আমি সত্য মনে করি না। এটি একটি অলাভজনক সম্পূর্ণ 102 টিবি ডেটা ডাউনলোডের জন্য বিনামূল্যে।

— পেসারিয়ার

AWS এর সাথে সংযোগ স্থাপনের জন্য ব্যয়টি যেখানে আপনি এটি অ্যাক্সেস করতে পারবেন। আপনি যদি শিক্ষার্থী হন তবে আপনি তাদের ফ্রি টিয়ারের জন্য যোগ্য, তবে এখনও স্থানান্তর ব্যয় ইত্যাদি হতে পারে; এবং আপনি যদি ফ্রি টায়ারে না থাকেন তবে চলমান ব্যয় হয়।

— ট্রিপলি

দেখে মনে হচ্ছে সাধারণ ক্রলটি এখনই মাসিক আপডেট হয়েছে

— জ্যাক টাক

Answer 7

ডক্সের উপরে একটি নোট রয়েছে :

দ্রষ্টব্য: গুগল ওয়েব অনুসন্ধান এপিআই 1 নভেম্বর, ২০১০ তারিখে আনুষ্ঠানিকভাবে হ্রাস করা হয়েছে It এটি আমাদের অবচয় নীতি অনুসারে কাজ করা চালিয়ে যাবে , তবে আপনি প্রতিদিন যে অনুরোধগুলি করতে পারেন তা সীমাবদ্ধ থাকবে। অতএব, আমরা আপনাকে নতুন কাস্টম অনুসন্ধান API এ যাওয়ার জন্য উত্সাহিত করি ।

থামিয়ে দেওয়া নীতি বলেছে যে তারা 3 বছর জন্য API চালনা চলতে থাকবে। সুতরাং আপনার যদি ইতিমধ্যে কোনও অ্যাপ্লিকেশন রয়েছে যা পুরাতন এপিআই ব্যবহার করে তবে আপনাকে এখনও জিনিস পরিবর্তন করতে ছুটে যেতে হবে না। আপনি যদি একটি নতুন অ্যাপ্লিকেশন লিখছেন তবে কাস্টম অনুসন্ধান API ব্যবহার করুন । পাইথনে এটি কীভাবে করা যায় তার জন্য আমার উত্তরটি এখানে দেখুন তবে কোনও ভাষার ক্ষেত্রে ধারণাটি একই।

Comments

এবং এটি নিখরচায় নয় .... "1000 প্রশ্নের প্রতি 5 ডলার" ... খুব বেশি নিখরচায় নয়!

— আপক্রিক

এই উত্তরটি এখন তিন বছরে শেষ হয়ে যাওয়ার সাথে সাথে 2014/09/29 শেষ হয়ে গেছে।

— ন্যানোফারাড

কাস্টমস সার্চ এপিআই সমস্ত ওয়েবসাইটে নেই - এটি ব্যবহারকারী ওয়েবসাইটগুলির জন্য

— ডিজেল

Answer 8

সেখানে যা ইতিমধ্যে উল্লিখিত Faroo ব্যবহার একটি বিনামূল্যে জাভা এপিআই JFreeWebSearch নামক আছে: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Answer 9

আপনি গুগল কাস্টম অনুসন্ধান হোমপেজ ( http://www.google.com/cse/ ) থেকে সরাসরি "সর্বত্র" কাস্টম অনুসন্ধান ইঞ্জিন তৈরি করতে পারেন । নতুন ইঞ্জিন যুক্ত করার সময় আপনার কেবল 'উন্নত' ক্লিক করা উচিত click সেখানে আপনি স্কিমা.অর্গ সাইট টাইপ সরবরাহ করতে পারেন। ' থিং ' সর্বাধিক জেনেরিক টাইপ, যা সমস্ত ওয়েবকে কভার করে।

Comments

পেলাম না। এটা কি তোমার জন্য কাজ করে?

— দেজেল

Answer 10

গিগাব্লাস্ট একটি সস্তার ওয়েব অনুসন্ধান API দেয়: http://www.gigablast.com/searchfeed.html