গুগলবট আমাদের মানচিত্রের লোকেটারে কয়েক হাজার অনুরোধ জমা দিয়ে এবং এপিআই কোটা ব্যবহার করে


10

আমাদের গ্রাহকের সাইটে আমাদের কাছে একটি স্টোর লোকেটার পৃষ্ঠা রয়েছে। শেষ ব্যবহারকারী তাদের পোস্টকোড এবং একটি অনুসন্ধান ব্যাসার্ধে প্রবেশ করে এবং আমরা একটি গুগল ম্যাপে ফলাফল প্রদর্শন করি।

সম্প্রতি আমরা লক্ষ্য করেছি যে সাইটটি পুরো ট্র্যাফিকের উল্লেখযোগ্য বৃদ্ধি ছাড়াই ফ্রি ম্যাপ সন্ধানের সীমাটি (প্রায় 24 ঘন্টা প্রতি 25,000) হিট করছে। সমস্যাটি কী ছিল তা জানার চেষ্টা করার জন্য আমি কিছু অতিরিক্ত লগিং চালু করেছি।

দেখা যাচ্ছে যে গুগলবোট এই মানচিত্রে হাজার হাজার অনুসন্ধানের মাধ্যমে চাপ দিচ্ছে। এটি একটি ছোট নমুনা:

2017-07-09 23: 56: 22,719 [7] ইনফো শপ ল্যান্ডিং - [থ্রেড 41] গুগল ম্যাপস: অনুসন্ধান করা জি 23 66 66.২49..66.২২২২ থেকে ঠিক পেয়েছে
2017-07-09 23: 56: 35,469 [7] INFO শপ ল্যান্ডিং - [থ্রেড 10] গুগল ম্যাপস: অনুসন্ধান করা CA6 66.249.66.221 থেকে ঠিক পেয়েছে
2017-07-09 23: 57: 24,563 [7] INFO শপ ল্যান্ডিং - [থ্রেড 48] গুগল ম্যাপস: অনুসন্ধান করা বিএন 14 66.249.66.223 থেকে ঠিক পেয়েছে
2017-07-09 23: 58: 00,970 [7] INFO শপ ল্যান্ডিং - [থ্রেড 42] গুগল ম্যাপস: অনুসন্ধান করা সিবি 4 66.249.66.221 থেকে ঠিক পেয়েছে
2017-07-09 23: 58: 13,064 [7] ইনফো শপ ল্যান্ডিং - [থ্রেড 54] গুগল ম্যাপস: অনুসন্ধান করা ডিওয়াই 9 66.249.66.221 থেকে ঠিক পেয়েছে
2017-07-09 23: 59: 18,722 [7] INFO শপ ল্যান্ডিং - [থ্রেড 59] গুগল ম্যাপস: অনুসন্ধান করা টিএস 3 66.249.66.223 থেকে ঠিক পেয়েছে
2017-07-09 23: 59: 53,223 [7] INFO শপ ল্যান্ডিং - [থ্রেড 49] গুগল ম্যাপস: অনুসন্ধান করা S45 66.249.66.221 থেকে ঠিক পেয়েছে

এমন কোনও অনুরোধ আছে যা আমি গুগলকে থামিয়ে দিতে পারি? এটি নিখরচায় ভাতার একটি উল্লেখযোগ্য অনুপাত খাচ্ছে। বৈধ অনুসন্ধানগুলি প্রতিদিন প্রায় 200 এর নিচে রয়েছে বলে মনে হয়।

সম্পাদনা

সাইটটি সি # এএসপি.নেটে নির্মিত। স্টোর অনুসন্ধান পোস্টটি ব্যবহার করছে, জমা দেওয়ার সময় URL টি পরিবর্তন হয় না। এই আচরণটি নিশ্চিত করতে আমি আগামীকাল সকালে আইআইএস লগগুলির একটি নমুনা পোস্ট করতে পারি।


গুগলবট যে আইটেমগুলির জন্য অনুসন্ধান করছে সেগুলির কি কোনও অর্থ আছে? "G23" এবং "CA6" আমার কাছে কিছু বোঝায় না। গুগলবোট সাধারণত ফর্মগুলিতে এলোমেলো ডেটা জমা দেয় না। এটি কেবলমাত্র ড্রপ ডাউন বিকল্পগুলি, প্রাক-পূরণিত ডেটা বা কোয়েরি লিঙ্কগুলিতে ক্রল করে। এই মানগুলি কি সাইটের কোথাও একটি তালিকা হিসাবে রয়েছে? এছাড়াও, এই অনুরোধগুলির জন্য আপনার URL গুলি দেখতে কেমন?
স্টিফেন অসটারমিলার

@ স্টেফেনঅস্টার মিলার তারা যুক্তরাজ্যের আংশিক পোস্টকোড, বিশেষত জেলা শনাক্তকারী। POSTএজেএক্সের জন্য এগুলি অনুরোধ হওয়া উচিত , আমি যদিও আইআইএস লগগুলি চেক করব।
বুড়ী

পাশে: এটি "ফ্রি ম্যাপ সন্ধান" কী?
মিঃ হোয়াইট

1
@ সামওভার আইপি গুগল বট হিসাবে সমাধান করে এবং সংশ্লিষ্ট আইআইএস লগ এন্ট্রিতে গুগলবট ইউজার এজেন্ট রয়েছে। স্বীকারোক্তি যে দুটোই বানোয়াট হতে পারে।
বুর্গী

1
আপনার স্টোর লোকেটার কি কোয়েরি স্ট্রিং (জিইটি অনুরোধ) ব্যবহার করে? আপনার স্টোর লোকেটার পৃষ্ঠার মোটামুটি ইউআরএল কাঠামোটি কী, এটি কি ব্যবহারকারী অনুসন্ধানের সাথে (কোয়েরি স্ট্রিং) পরিবর্তন করে? আপনি যদি ফাংশনাল / টেক সাইডটি আরও বিশদভাবে ব্যাখ্যা করতে পারেন তবে আরও কার্যকর উপায়ে উত্তর দেওয়া যেতে পারে।
টপকিউএনএ

উত্তর:


11

গুগলম্যাপের মাধ্যমে গুগলবোট অনুসন্ধান থেকে বিরত রাখতে robots.txtআপনার ডোমেনের মূলটিতে একটি ফাইল রেখে দিন। যেমন https://www.wikedia.org/robots.txt

নমুনা রোবট.টেক্সট:

User-agent: Googlebot
Disallow: /search-store/

গুগল ম্যাপে অনুরোধটি প্রেরণ করে এমন পৃষ্ঠাটি কোথায় / সন্ধানের দোকান /।

যদি এটি গুগলবোটের চেয়ে অন্য কিছু হয়ে থাকে, আপনি এই পৃষ্ঠায় সমস্ত ক্রলিং অক্ষম করার চেষ্টা করতে পারেন:

User-agent: *
Disallow: /search-store/

নোট করুন যে এটি স্ক্রিপ্টগুলিতে দুর্ব্যবহার করা বন্ধ করবে না যা রোবটস.টি.এস.টি.এস.


10
মনে রাখবেন যে আপনি গুগল এবং অন্যান্য অনুসন্ধান ইঞ্জিনগুলি এই পৃষ্ঠাগুলিকে স্পাইড করেই চান না!
এরি ডেভিডো

1
আমি নিশ্চিত না যে পুরো অনুসন্ধান স্টোরটিকে ব্লক করা সঠিক বিকল্প কিনা, আমাদের ক্যোয়ারী স্ট্রিং ইত্যাদি বোঝার প্রয়োজন হতে পারে অর্থ, গুগলকে পড়তে দিন তবে খুব বেশি অনুরোধ প্রেরণ করবেন না। পুরো অনুসন্ধান স্টোরটি ব্লক করা সর্বশেষ বিকল্প হওয়া উচিত।
টপকিউএনএ

হার সীমাবদ্ধ অনুসন্ধান অন্য বিকল্প হতে পারে, 25 অনুসন্ধানের পরে বলি, আপনাকে প্রতিটি অনুসন্ধানের মধ্যে এক ঘন্টার জন্য শীতল হতে হবে need এটি বট এবং দুষ্টু লোকদের বন্ধ করবে, তবে নিয়মিত ব্যবহারকারী নয়।
সাতটিবেল

পৃষ্ঠাটি যদি কেবল কোনও স্টোরের অবস্থান অনুসন্ধানের জন্য হয় তবে আমার সন্দেহ হয় যে এটি প্রথম স্থানে সূচিকৃত করা কার্যকর হবে useful এটি সাইটের কাঠামোর উপর নির্ভর করবে। এছাড়াও robots.txt সীমাবদ্ধতার তুলনায় কয়েক ঘন্টা সময় নেওয়ার চেয়ে দ্রুত সমাধান হিসাবে কার্যকর করা সহজ / দ্রুত (এইভাবে সস্তা)। @ টপকিউএনএ
সাটিবেল

ভাল, স্টোরের অবস্থান ব্যবহারকারীর পক্ষে খুব গুরুত্বপূর্ণ এবং বেশিরভাগ লোক গুগলে অবস্থানের সাথে সম্পর্কিত একটি স্টোর অনুসন্ধান করে এবং যদি স্টোর লোকেটার প্রতিটি স্টোরের জন্য অনন্য ইউআরএল সহ দরকারী তথ্য সহ একটি মানচিত্র তৈরি করতে পারে তবে এটি আরও অনেক কার্যকর হবে ব্যবহারকারী. এবং সে কারণেই ব্লক করা শেষ বিকল্প হওয়া উচিত।
টপকিউএনএ
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.