কীভাবে আমি আমার গিথুব উইকিকে সার্চ ইঞ্জিন দ্বারা ক্রলযোগ্য করতে পারি? robots.txt মনে হচ্ছে এটি নিষিদ্ধ করেছে

9

ডাব্লু 3 সি লিঙ্ক পরীক্ষক ব্যবহার করার সময় , আমি জানতে পারি যে আমার গিথুব উইকি ক্রল করা যায় না:

https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync-de
વિકાસ ment স্থিতি: (এন / এ) রোবট.টেক্সট দ্বারা নিষেধ

এটি দুর্ভাগ্যজনক, যেমন আমি চাই যে লোকেরা সহজেই অনুসন্ধান উইন্ডিতে এই উইকিটি খুঁজে পান।

প্রশ্ন: আমি কীভাবে আমার গিথুব উইকে সার্চ ইঞ্জিন দ্বারা ক্রলযোগ্য করতে পারি?
বা আমি কি ভুল হয়ে গেছি এবং গিথুব এর রোবটস টেক্সট আসলে ঠিক আছে?

github search-engine wiki

— NIC
সূত্র

1

আমার সন্দেহ এই উত্তরটি একইরকম প্রশ্নের মতো প্রায় একই রকম ।

— জন সি

9

গিটহাব রোবটস.টিএক্সটি উইকি পৃষ্ঠাগুলির ক্রলিংকে স্পষ্টভাবে মঞ্জুরি দেয় না, উদাহরণস্বরূপ গুগলবোট বিভাগে:

User-agent: Googlebot
Allow: /*/*/tree/master
Allow: /*/*/blob/master
...
Disallow: /*/*/wiki/*/*

এটি সাইট-প্রশস্ত রোবট ফাইল হওয়ায় এর আশেপাশে কোনও লাভ নেই।

এটি একটি আকর্ষণীয় পছন্দ, যেহেতু গিটহাব উইকিসকে "আপনার প্রকল্পের বিষয়ে দীর্ঘমেয়াদী সামগ্রী ভাগ করার" জায়গা হিসাবে বর্ণনা করেছেন । যেহেতু ডিফল্টরূপে সর্বজনীন উইকিগুলি যে কোনও ব্যবহারকারীর দ্বারা সম্পাদনাযোগ্য, সম্ভবত এটি স্প্যামারদের থেকে একটি ভারী হাতের সুরক্ষা।

— জন সি
সূত্র

0

গিটহাব উইকিগুলি ইঞ্জিনগুলি অনুসন্ধান করে যা এটি সমর্থন করে। Https://github.com/robots.txt- এর প্রথম দুটি লাইন দেখুন :

# If you would like to crawl GitHub contact us at support@github.com.
# We also provide an extensive API: https://developer.github.com/

এটি সম্ভবত বিভিন্ন উইকি ফর্ম্যাট ইত্যাদি পার্স করার জন্য

উদাহরণস্বরূপ, "ওপেনরেফাইন ব্রোকার প্রোটোকল" এর জন্য গুগলে অনুসন্ধান করুন এবং প্রথম হিট একটি গিথুব প্রকল্প উইকের অধীনে একটি পৃষ্ঠা।

— পিটার কেহল
সূত্র

হুম, তাহলে গুগল ব্রোকার-প্রোটোকল উইকিকে কেন সূচি দিচ্ছে , এবং ওপি-র উইকি নয়?

— ভিদার এস রামদল