প্রশ্ন ট্যাগ «user-agent»

ইয়াহু (অবিশ্বাস্যভাবে) খারাপভাবে লিখিত মাকড়সা নিয়ে আমাদের অতীতে গুরুতর কিছু সমস্যা ছিল এবং ফলস্বরূপ আমরা এগুলি অবরুদ্ধ করেছি। টাম্বলারের মার্কো আর্মেন্টও 8/31/2009-এ আমাদের সাথে তার হতাশাগুলি ভাগ করে নিয়েছিল, যা তাদের আটকাতে আমাদের একটি কারণ ছিল। [ইয়াহুর স্পাইডার] প্রায় সাড়ে .:৩০ পূর্ব থেকে EST থেকে আমাদের 70-200 টি অনুরোধ / …

25 user-agent  bing  yahoo  web-crawlers 

আসক বট রয়েছে, যা এই শিরোনামটি সেট করে: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) এটি বিবেচনা করে, আমার নিম্নলিখিত প্রশ্নগুলি রয়েছে: আমি যদি বোকা নামে একটি ওয়েব ক্রলার লিখছি তবে আমার কোন ব্যবহারকারী এজেন্ট ব্যবহার করা উচিত? কি পার্থক্য যদি আমি করা হয় Mozilla/2.0বা Mozilla/5.0? বর্তমান মান মেনে চলতে কীভাবে আমার ব্যবহারকারী …

18 user-agent  web-crawlers 

আমার লগগুলি প্রায়শই পূর্ব ইউরোপ এবং চীন থেকে বট দর্শনার্থীদের দ্বারা পূর্ণ। বটগুলি আহেফস, সেজনাম, এলএসএসরোকটক্রোলার, ইয়ানডেক্স, সোগৌ এবং আরও কিছু হিসাবে চিহ্নিত। আমার সাইট থেকে এই বটগুলি ব্লক করা উচিত এবং কেন? আমার সাইটে ট্র্যাফিক বাড়ানোর ক্ষেত্রে কোনটির বৈধ উদ্দেশ্য রয়েছে? তাদের মধ্যে অনেকগুলি এসইও। আমাকে বলতে হবে যে …

12 seo  web-crawlers  user-agent 

আমি কীভাবে একটি খালি ব্যবহারকারী-এজেন্টকে ব্যাখ্যা করব? আমার কিছু কাস্টম অ্যানালিটিক্স কোড রয়েছে এবং সেই কোডটিতে কেবল মানব ট্রাফিক বিশ্লেষণ করতে হবে। আমি মানব ট্র্যাফিক এবং বট ট্র্যাফিককে চিহ্নিত করে ব্যবহারকারীর এজেন্টগুলির একটি কার্যকরী তালিকা পেয়েছি তবে খালি ব্যবহারকারী-এজেন্ট সমস্যাযুক্ত হিসাবে প্রমাণিত হচ্ছে। এবং আমি প্রায় 10% খালি ইউজার-এজেন্টের সাথে …

12 apache  analytics  http  user-agent  logging 

ব্যবহারকারী-এজেন্টদের একসাথে তালিকাভুক্ত করা যেতে পারে, এর পরে রোবট.এসটিএসটি- তে তাদের মতো সাধারণ নিয়ম অনুসরণ করা যায় ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

11 web-crawlers  robots.txt  user-agent 

কোনও নিয়মিত ব্রাউজারে ব্যবহারকারী এজেন্টে কি 'বট' বা 'ক্রল' থাকে? আমি আমার সাইটে ব্যবহারকারী এজেন্টটি পরীক্ষা করে দেখি এটি কোনও বট থেকে আসছে কিনা not যদি এটি হয় তবে আমি লগইন না করায় কিছুটা অপ্টিমাইজেশন করতে পারি। (আমি সামগ্রীতে কোনও পরিবর্তন করি না) 30-40 + বটগুলির জন্য চেক যোগ করার …

11 user-agent 

আমার সাইটে অ্যাপাচি অ্যাক্সেস লগ এন্ট্রি সাধারণত এই জাতীয়: 207.46.13.174 - - [31 / অক্টোবর / 2016: 10: 18: 55 +0100] "জিইটি / যোগাযোগ করুন HTTP / 1.1" 200 256 "-" "মজিলা / 5.0 (সামঞ্জস্যপূর্ণ; বিংবট / 2.0; + http: // www .be.com.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 যাতে …

10 joomla  user-agent  apache-log-files  botattack 

আমি একটি ছোট ওয়েব ক্রলার চালাচ্ছি এবং এটির জন্য কোন ব্যবহারকারী এজেন্ট ব্যবহার করবেন তা সিদ্ধান্ত নিতে হয়েছিল। ক্রলার এজেন্টদের তালিকা পাশাপাশি উইকিপিডিয়া নীচের ফর্ম্যাটটির পরামর্শ দেয়: examplebot/1.2 (+http://www.example.com/bot.html) তবে কিছু বট ইউআরএল এর সামনে প্লাস চিহ্নটি বাদ দেয়। এবং আমি আশ্চর্য হয়েছি এর অর্থ প্রথম স্থানে কী আছে তবে …

10 web-crawlers  http  user-agent 

আমার কাছে একটি সাইট রয়েছে যা নিয়ামক কারণে, সূচকযুক্ত বা স্বয়ংক্রিয়ভাবে অনুসন্ধান করা যায় না। এর অর্থ হ'ল আমাদের সমস্ত রোবটকে দূরে রাখতে হবে এবং সাইটটি স্পিডিংয়ের হাত থেকে আটকাতে হবে। স্পষ্টতই আমাদের কাছে একটি রোবটস.টি.এস.টি. ফাইল আছে যা শুরু থেকেই সমস্ত কিছু অস্বীকার করে। তবে, রোবটসটিটিএসটি ফাইলটি পর্যবেক্ষণ করা …

9 apache  web-crawlers  user-agent