আমি যদি কোনও বিশেষ আচরণ সেট করতে না চাই, আমি যদি কোনও রোবটস.টি.এস.টি.টি. ফাইল রাখার মাথা ঘামান না তবে এটি কি ঠিক?

29

না কারও অভাব ক্ষতিকারক হতে পারে?

robots.txt

30

একটি robots.txt ফাইলের অভাব ক্ষতিকারক হবে না। থেকে robotstxt.org ওয়েবসাইট :

সমস্ত রোবটকে সম্পূর্ণ অ্যাক্সেসের অনুমতি দেওয়ার জন্য

ব্যবহারকারী-এজেন্ট: *
অস্বীকার করুন:

(বা কেবল একটি খালি "/robots.txt" ফাইল তৈরি করুন, বা একটিও ব্যবহার করবেন না)

তবে, আপনি যদি আপনার রোবট.টিএসটিএক্স ফাইলটিতে কোনও নির্দিষ্ট উল্লেখ না করে থাকেন তবে এটি আপনার এক্সএমএল সাইটম্যাপের অবস্থানের অনুসন্ধান ইঞ্জিনগুলিকে অবহিত করার একটি ভাল উপায় । আপনি আপনার রোবটস.টেক্সট ফাইলের শীর্ষে একটি লাইন যুক্ত করে এটি করতে পারেন যা দেখতে কিছুটা দেখতে:

সাইটম্যাপ: http://www.example.com/sitemap-host1.xML

আপনার সচেতন হওয়া উচিত যে এটি না থাকা আপনার ওয়েব লগগুলিতে প্রচুর 404 এন্ট্রি তৈরি করবে।

— জেসনবার্চ
সূত্র

+1 - ভাল সংক্ষিপ্তসার, যদিও আমি কীনপিকো ইতিমধ্যে জোর দিয়েছি ইতিমধ্যে জোর দিয়েছি : কেবলমাত্র 404s এড়ানোর জন্য সবচেয়ে মৌলিক বা এমনকি একটি খালি তৈরি করুন এবং (আপনার সাইট 404 পৃষ্ঠা হ্যান্ডলিংয়ের উপর নির্ভর করে) সম্ভাব্য বেশ কিছু ট্র্যাফিক / ব্যান্ডউইথ , সার্চ ইঞ্জিনগুলি অপরিবর্তিত থাকলে আবার ফাইল ডাউনলোড করা এড়াতে যথাযথ HTTP ক্যাশে নিয়ন্ত্রণ প্রয়োগ করবে , তা খালি থাকুক বা না থাকুক।

— স্টিফেন ওপেল

উইকি হিসাবে চিহ্নিত হয়েছে, আপনি উপযুক্ত হিসাবে দেখুন সম্পাদনা করুন।

— জেসনবার্চ

21

আপনার কাছে যদি "রোবটস টেক্সট" না থাকে তবে আপনার ত্রুটি লগটি ফাইলটিতে প্রচুর 404 গুলি আসে, যা আপনার ফ্যাভিকন না থাকলে একই ধরণের বিরক্তি হতে পারে।

1

একটি দুর্দান্ত পয়েন্ট ..

— জেফ আতউড

1

+1 - আমি যুক্ত করতে চাই যে আপনি কেবল বৃহত্তর এবং কোলাহলযুক্ত লগ ফাইলগুলি থেকে নিজেকে বাঁচাবেন না, তবে বেশিরভাগ 404 পৃষ্ঠাগুলির কারণে বেশ কয়েকটি ট্র্যাফিক / ব্যান্ডউইথ সম্ভাব্য বেশ কয়েকটি ট্র্যাফিক / ব্যান্ডউইথ এড়াতে পারবেন একটি সাধারণ robots.txtফাইলের চেয়ে বড় , এটি যথাযথ HTTP ক্যাশে নিয়ন্ত্রণ প্রয়োগ করার জন্য অনুসন্ধান ইঞ্জিনগুলির কারণে প্রায়শই কম ডাউনলোড করা হবে ।

— স্টিফেন ওপেল

6

আমার মনে হয় এটা হবে আছে ঠিক হতে, অন্যথায় ওয়েবের বিশাল swaths ওয়েব মাকড়সা দ্বারা উন-সূচিযোগ্য হবে।

কোনও সংজ্ঞা অনুসারে robots.txt"প্রত্যেকের দ্বারা সূচকের অনুমতি দিন" হিসাবে সমান নয় robots.txt।

— জেফ আতউড
সূত্র

2

একটি রোবটসটিটিএসটি ফাইলের অভাব ক্রোলারের কাছে ছেড়ে দেয় যে এটি কী করতে পারে এবং কী করতে পারে না decide যেহেতু যে কোনও ধরণের অস্পষ্টতা এড়াতে কেবল কয়েক সেকেন্ড সময় লাগে, তাই কেন কেবল এমন একটি তৈরি করবেন না যা সমস্ত এজেন্টকে সমস্ত কিছু অ্যাক্সেস করতে দেয়?

— টিম পোস্ট
সূত্র

0

ভাল, যেহেতু robots.txtআপনার সাইটম্যাপের ঠিকানা রয়েছে , এটি না থাকা সম্ভাব্য ক্ষতিকারক।

— টমাস বনিনি
সূত্র

সাইটম্যাপগুলি কেবলমাত্র নির্দিষ্ট ধরণের ওয়েবসাইটগুলির জন্যই সহায়ক, আইএমও

— জেফ আতউড

রোবটস.টিএসএক্সটির অনুপস্থিতিতে আমি ক্রলারের (বিশেষত গুগল) /sitemap.xML বা /sitemap.gz সন্ধান করতেও দেখেছি

— টিম পোস্ট

আপনার রোবটস টেক্সটে আপনার সাইটম্যাপ থাকার দরকার নেই, আপনি যেভাবেই গুগল / ইয়াহু / বিং এ জমা দিতে পারেন। এটি অবশ্যই "সম্ভাব্য ক্ষতিকারক" নয়।

— অসন্তুষ্ট গোয়াট

0

আপনার সামগ্রীর উপর নির্ভর করে যতক্ষণ না আপনি নিজের সাইটের প্রতিটি পৃষ্ঠাকে অনুসন্ধান ইঞ্জিন দ্বারা সূচিবদ্ধ করতে প্রস্তুত হবেন ততক্ষণ কোনও রোবট ফাইল না থাকায় সমস্যা নেই।

— seanl
সূত্র