প্রশ্ন ট্যাগ «web-crawlers»

আমি পরিচালনা করি এমন একটি ওয়েবসাইটের লগগুলি বিংবোটের অস্তিত্বহীন ফাইলের জন্য একটি অনুরোধ দেখায়। অনুরোধের বিবরণটি হ'ল পাথ: /trafficbasedsspsitemap.xML ইউজারেজেন্ট: "মজিলা / 5.0 (সামঞ্জস্যপূর্ণ; বিংবট / ২.০; + http://www.bing.com/bingbot.htm )" আইপি ঠিকানা: 65.55.213.244 (বিপরীত চেহারা msnbot-65-55-213-244.search.msn.com এ সমাধান হয়েছে ) কী কারণে বিংবোট এই ফাইলটি সন্ধান করছে? "ট্র্যাফিক ভিত্তিক এসএসপি …

28 bing  logging  web-crawlers 

একটি ওয়েব সার্ভারে আমাকে এখন প্রশংসনীয় থাকতে হবে আমি লক্ষ্য করেছি যে রোবটস টেক্সট খালি রয়েছে। আমি ভাবলাম যে কোনও খালি রোবট.এসটিএসটি এবং কোনও ফাইলের মধ্যে কোনও পার্থক্য আছে কিনা। এই দুটি ক্ষেত্রে ক্রলারের কী আলাদা আচরণ হয়? সুতরাং, খালি রোবটসটিটিএসটি মুছে ফেলা কি নিরাপদ?

28 web-crawlers  robots.txt  webserver 

একটি ফোরাম রয়েছে এমন একটি ক্ষুদ্র সাইটের দায়িত্বে থাকা একজন ওয়েবমাস্টার হিসাবে, আমি নিয়মিতভাবে ব্যবহারকারীদের কাছ থেকে অভিযোগ পেয়েছি যে অভ্যন্তরীণ অনুসন্ধান ইঞ্জিন এবং বাহ্যিক অনুসন্ধানগুলি (যেমন গুগল ব্যবহার করার সময়) উভয়ই আমার ব্যবহারকারীদের স্বাক্ষর দ্বারা সম্পূর্ণ দূষিত (তারা দীর্ঘ ব্যবহার করছে স্বাক্ষর এবং এটি ফোরামের অভিজ্ঞতার অংশ কারণ স্বাক্ষরগুলি …

28 html  search-engines  forum  web-crawlers 

ইয়াহু (অবিশ্বাস্যভাবে) খারাপভাবে লিখিত মাকড়সা নিয়ে আমাদের অতীতে গুরুতর কিছু সমস্যা ছিল এবং ফলস্বরূপ আমরা এগুলি অবরুদ্ধ করেছি। টাম্বলারের মার্কো আর্মেন্টও 8/31/2009-এ আমাদের সাথে তার হতাশাগুলি ভাগ করে নিয়েছিল, যা তাদের আটকাতে আমাদের একটি কারণ ছিল। [ইয়াহুর স্পাইডার] প্রায় সাড়ে .:৩০ পূর্ব থেকে EST থেকে আমাদের 70-200 টি অনুরোধ / …

25 user-agent  bing  yahoo  web-crawlers 

এই প্রশ্নটি স্ট্যাক ওভারফ্লো থেকে স্থানান্তরিত হয়েছিল কারণ এটি ওয়েবমাস্টার্স স্ট্যাক এক্সচেঞ্জে উত্তর দেওয়া যেতে পারে। 9 বছর আগে স্থানান্তরিত । গুগল স্পাইডার কীভাবে জাভাস্ক্রিপ্ট রেন্ডার করতে জানে বা কেবল এইচটিএমএল জানে?

22 javascript  google  seo  web-crawlers 

বন্ধ থাকে। এই প্রশ্নটি অফ-টপিক । এটি বর্তমানে উত্তর গ্রহণ করছে না। এই প্রশ্নটি উন্নত করতে চান? প্রশ্নটি আপডেট করুন যাতে এটি ওয়েবমাস্টারস স্ট্যাক এক্সচেঞ্জের বিষয়বস্তু । 6 বছর আগে বন্ধ ছিল । আক্ষরিক সহস্রাধিক পিডিএফ সহ আমার একটি বিশাল বড় লিগ্যাসি সাইট রয়েছে যা কখনও কখনও ডাটাবেসে অ্যাকাউন্ট করে …

21 site-maintenance  web-crawlers  dead-links 

বাইদু মাকড়সার ক্রল ফ্রিকোয়েন্সি থেকে অনেক কিছু তৈরি করা হয়েছে। এটি সত্য: "বাইদস্পাইডার পাগলের মতো হামাগুড়ি দেয়।" আমি যে সাইটগুলির সাথে কাজ করি সেগুলিতে আমি এই ঘটনাটি অনুভব করেছি। কমপক্ষে একটি উদাহরণে, আমি খুঁজে পেয়েছি যে বাইডুস্পাইডার গুগলবটের মতো প্রায় একই ফ্রিকোয়েন্সি নিয়ে হামাগুড়ি দিয়েছিল, যদিও বাইদু গুগলের মতো প্রায় …

18 seo  search-engines  googlebot  web-crawlers 

আসক বট রয়েছে, যা এই শিরোনামটি সেট করে: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) এটি বিবেচনা করে, আমার নিম্নলিখিত প্রশ্নগুলি রয়েছে: আমি যদি বোকা নামে একটি ওয়েব ক্রলার লিখছি তবে আমার কোন ব্যবহারকারী এজেন্ট ব্যবহার করা উচিত? কি পার্থক্য যদি আমি করা হয় Mozilla/2.0বা Mozilla/5.0? বর্তমান মান মেনে চলতে কীভাবে আমার ব্যবহারকারী …

18 user-agent  web-crawlers 

আমি যখনই কোনও প্রতিক্রিয়াশীল ওয়েবসাইট তৈরি করি আমি সাধারণত 2 টি মেনু তৈরি করি: 1 লুকানো এবং মোবাইলের জন্য ব্যবহৃত এবং অন্যটি মূল মেনু হিসাবে প্রদর্শিত হয়, তারপরে মোবাইল মেনুটি দেখানোর জন্য লুকানো থাকে। যখনই এটি SEO এবং মাকড়সার ওয়েবসাইটটি নেভিগেট করতে আসে তখন আমি নকল মেনু থাকার জন্য ডিন্ড …

16 seo  web-crawlers  googlebot  navigation 

আমার একটি উপ-ডিরেক্টরি রয়েছে যা আমি অনুসন্ধান ইঞ্জিন ওয়েব ক্রোলারগুলি থেকে আড়াল করতে চাই। এটি করার একটি উপায় হ'ল robots.txtসার্ভারের মূল ডিরেক্টরিতে একটি (স্ট্যান্ডার্ড উপায়) use যাইহোক, যে কেউ ওয়েবসাইটের ইউআরএল জানেন এবং কিছু প্রাথমিক ওয়েব জ্ঞান থাকতে পারে তিনি রোবটস টেক্সট সামগ্রীগুলি অ্যাক্সেস করতে পারবেন এবং নিষ্ক্রিয় ডিরেক্টরিগুলি স্পট …

16 web-crawlers  robots.txt 

আমার বেশিরভাগ পরিদর্শন বৈদু মাকড়সা থেকে। আমি মনে করি না এটি অনুসন্ধান ইঞ্জিনগুলিকে একেবারে সহায়তা করে তাই আমি কীভাবে সেগুলি ব্লক করব সে সম্পর্কে আমি ভাবছি। এটি iptables মাধ্যমে করা যেতে পারে? আমি এনগিনেক্সকে আমার ওয়েবসভার হিসাবে ব্যবহার করছি।

15 traffic  nginx  web-crawlers  baidu 

আমি অপব্যবহারের কারণে একটি সাইট বন্ধ মনে আছে এবং আমি ভাবছি যে বটগুলির কোনও অংশ আছে কিনা। বট যদি আমার সাইটে কিছু পোস্ট করে থাকে তবে আমি কীভাবে এটির সাথে লড়াই করতে পারি? আমি কিছু কুকি সেট করতে এবং জাভাস্ক্রিপ্ট + টাইমস্ট্যাম্প এবং সাইন দিয়ে কুকিগুলি পরিবর্তন করার কথা ভাবছিলাম …

15 web-crawlers  spam-prevention  spam-bots 

আমি সম্প্রতি একটি নতুন ডোমেন নিবন্ধভুক্ত করেছি, এটি আমার বিদ্যমান সার্ভারে দেখিয়েছি, এবং একটি "সর্বনিম্ন" পৃষ্ঠা এবং অন্য কিছুই বলে একটি ন্যূনতম পৃষ্ঠা সেট আপ করেছি। আমি সবেমাত্র আজ রাতে আবিষ্কার করেছি যে পৃষ্ঠাটি ইতিমধ্যে গুগলে সূচিযুক্ত! সাইটের কোনও লিঙ্ক নেই (আমি এমনকি ডোমেন সম্পর্কে কাউকে কিছু বলিনি যেহেতু আমি …

13 search-engine-indexing  domain-registration  web-crawlers 

আমার একটি বহু ভাষা এবং মাল্টিডোমাইন সাইট রয়েছে। এটি একটি অনন্য সিএমএস ইনস্টলেশন (দ্রুপাল) এর মাধ্যমে চলে তাই আমার একক রুট ডিরেক্টরি রয়েছে। সুতরাং আমার যদি একটি স্ট্যাটিক রোবট.টিএসটিএস্ট থাকে তবে আমি কেবল যতটা জানি সেখানে কেবলমাত্র একটি একক ডোমেনের জন্য ফাইলগুলি প্রদর্শন করতে পারি। আমি কি .htaccess এ একটি …

13 htaccess  redirects  sitemap  web-crawlers 

আমার লগগুলি প্রায়শই পূর্ব ইউরোপ এবং চীন থেকে বট দর্শনার্থীদের দ্বারা পূর্ণ। বটগুলি আহেফস, সেজনাম, এলএসএসরোকটক্রোলার, ইয়ানডেক্স, সোগৌ এবং আরও কিছু হিসাবে চিহ্নিত। আমার সাইট থেকে এই বটগুলি ব্লক করা উচিত এবং কেন? আমার সাইটে ট্র্যাফিক বাড়ানোর ক্ষেত্রে কোনটির বৈধ উদ্দেশ্য রয়েছে? তাদের মধ্যে অনেকগুলি এসইও। আমাকে বলতে হবে যে …

12 seo  web-crawlers  user-agent