ডাবল স্ল্যাশ (//) ডিরেক্টরিটির অর্থ রোবটস.টিএক্সটি বলতে কী বোঝায়?

Question

আপনি নিম্নলিখিত আউটপুট এর সাথে পাবেন:

curl https://www.ibm.com/robots.txt

আমি অনেকগুলি লাইন মুছে ফেলছি, এর কেবলমাত্র অংশ রেখে।

User-agent: *
Disallow: //
Disallow: /account/registration
Disallow: /account/mypro
Disallow: /account/myint

# Added to block site mirroring
User-agent: HTTrack
Disallow: /
#

আমি বুঝতে পারি যে /রুট ডিরেক্টরি মানে তবে ডাবল স্ল্যাশ //ডিরেক্টরিটি এখানে কী বোঝায় robots.txt?

Comments

এটি টাইপও হতে পারে, আমি কোনও অফিশিয়াল রোবট বর্জনীয় নথিতে ডাবল স্ল্যাশের কোনও একক রেফারেন্স খুঁজে পাই না।

— মাইকেল ফ্রাঙ্ক

@ মিশেলফ্র্যাঙ্ক টাইপো বা একটি স্বয়ংক্রিয় সিস্টেম দ্বারা তৈরি করা কোডিং ফ্লুক যাতে robots.txtচাহিদা বাড়ায়।

— জ্যাকগল্ড

Answer 1

এটি ভুল বলে মনে হচ্ছে:

Disallow: //

জিনিস যে robots.txtspec- এখানে রূপরেখা -clearly বলে:

আরও মনে রাখবেন যে গ্লোব্বিং এবং নিয়মিত অভিব্যক্তি ব্যবহারকারী-এজেন্ট বা বাতিল করা লাইনগুলিতে সমর্থিত নয়। ইউজার-এজেন্ট ক্ষেত্রের '*' একটি বিশেষ মান যার অর্থ "যে কোনও রোবট"। বিশেষত, আপনার "ব্যবহারকারী-এজেন্ট: বট ", "বাতিল: / tmp / *" বা "বাতিল: * .gif" এর মতো লাইন থাকতে পারে না ।

তবে কিছু লোক দাবী করেন যে এই সাইটের মতো ঘটনাটি নেই যা বলে যে গুগল প্যাটার্ন ম্যাচিং পরিচালনা করতে পারে :

প্যাটার্ন মিল : এই সময়ে, প্যাটার্ন মিলটি তিনটি মেজর: গুগল, ইয়াহু এবং লাইভ অনুসন্ধান দ্বারা ব্যবহারযোগ্য বলে মনে হচ্ছে। প্যাটার্ন মিলের মান বিবেচনাযোগ্য। আসুন প্রথমে প্যাটার্ন মিলের সবচেয়ে বেসিকটি দেখুন, নক্ষত্রের ওয়াইল্ডকার্ড চরিত্রটি ব্যবহার করে।

তবে তা নির্বিশেষে, এর //অর্থ হ'ল ডিরেক্টরিটির একটি আক্ষরিক ডিরেক্টরি যার সাথে কোনও নাম যুক্ত নেই সেই ডিরেক্টরিতে কোনও ওয়াইল্ডকার্ড ( *) গ্লোব্বিং বা সেখানে কিছু নেই বলে। এবং //কেবল অদ্ভুত বলে মনে হচ্ছে।

আমার ধারণা এটি কোনও প্রকারের ভুল। হ্যাঁ, একটি আইবিএম ওয়েবমাস্টার ভুল করতে পারে! তবে আমি এটিও অনুমান করতে পারি যে এটি robots.txtকোনও সিস্টেম দ্বারা স্বয়ংক্রিয়ভাবে উত্পন্ন হয় এবং কোনওরকম কোনও পথ যেমন /*/রূপান্তরিত হয়েছিল //যখন robots.txtসিস্টেমটি স্বয়ংক্রিয়ভাবে উত্পন্ন হয়েছিল।

Comments

হয় তা, বা এন্ট্রি বিশেষত ভুল URL গুলিকে অনাকাক্সিক্ষত হওয়া থেকে অপ্রয়োজনীয় স্ল্যাশ প্রতিরোধ করার জন্য রয়েছে।

— মাধ্যাকর্ষণ

@ গ্রায়েটি ফেয়ার পর্যাপ্ত তবে ক্রোলারদের example.com//thingথেকে ডেটা অস্পষ্ট করার কিছু অদ্ভুত পদ্ধতি হিসাবে এমন একটি ইউআরএল পেলে কী কী উপকার হবে তা আমি নিশ্চিত নই ।

— জ্যাকগল্ড