আমার ওয়েবসাইটে কিছু পৃষ্ঠা রয়েছে যা আমি চাই যে আমি কেবল তার / ইউআরএল দিলে ব্যবহারকারী কেবল তার সাথে দেখা করতে পারবে।
যদি আমি একক পৃষ্ঠাগুলি এতে অস্বীকার করি তবে এগুলিতে যে কেউ এটি দেখলে robots.txtতা দৃশ্যমান হবে।
আমার প্রশ্ন হ'ল: আমি যদি এগুলি কোথাও থেকে বা কমপক্ষে কোনও সূচী পাতা থেকে লিঙ্ক না করি, তবে কি তারা এখনও কোনও উপায়ে ক্রলারের কাছে পৌঁছতে পারে?
উত্তর:
আপনি চাইবেন না যে পৃষ্ঠাটি SERPs এ প্রদর্শিত হবে ...
রোবট.টেক্সট এ বাতিল করবেন না dis পরিবর্তে আপনার পৃষ্ঠাগুলিতে একটি নোয়েডেক্স মেটা ট্যাগ (বা এক্স-রোবটস-ট্যাগ এইচটিটিপি শিরোনাম) যুক্ত করুন।
জে-কে-এর পরামর্শ অনুসারে, আপনার পৃষ্ঠাগুলি কোনওভাবে পাওয়া যাবে। পরিসংখ্যান প্রতিবেদন, ডিরেক্টরি তালিকা, ইত্যাদি ...
রোবটস.টি.এস.টি. তে অনুমতি না দেওয়া পৃষ্ঠাটি ক্রল হওয়া থেকে বাধা দেয় তবে তবুও সূচিযুক্ত হতে পারে এবং এসআরপিগুলিতে কেবলমাত্র ইউআরএল-লিঙ্ক হিসাবে উপস্থিত হতে পারে। কিছুটা এইরকম:
একটি নোইনডেক্স মেটা ট্যাগটি এসইআরপিগুলিতে পৃষ্ঠাটি প্রদর্শিত হতে বাধা দেয় - তবে নোইন্ডেক্স মেটা ট্যাগ দেখতে গুগল অবশ্যই পৃষ্ঠাটি ক্রল করতে সক্ষম হবে - সুতরাং এটি রোবট.টিএসটিএস এ অনুমোদিত নয়!
যদি পৃষ্ঠায় এমন কিছু থাকে যা অবশ্যই প্রকাশ্যে না পাওয়া যায় তবে পৃষ্ঠাগুলি অবশ্যই একধরণের প্রমাণীকরণের পিছনে থাকতে হবে।
ওয়েল আমি মনে করি আপনার কাছে এমন ভাল ক্রলার রয়েছে যা রোবটস.টিএসটি পড়বে এবং নির্দেশনা অনুসরণ করবে। এবং অন্য একটি যা নির্দেশ অনুসরণ করে না।
এবং কীভাবে আপনি এই ইউআরএল দেওয়ার পরিকল্পনা করছেন? ইমেল দ্বারা, ফেসবুক বা টুইটার ব্যবহার করে? এই পরিষেবাগুলির সমস্ত আপনার পাঠানো তথ্য ক্রল করে। বিজ্ঞাপন সরবরাহ করতে আপনি প্রাপ্ত জিমেইল পার্স ইমেল। সুতরাং, আপনার ইউআরএল কোনওভাবে ক্রল হবে।
কিছু লোক গুগল টুলবার (বা অনুসন্ধান ইঞ্জিন থেকে অন্য যে কোনও সরঞ্জামদণ্ড) ব্যবহার করে। একটি বিকল্প রয়েছে (যদি আমি ভালভাবে মনে করি তবে ডিফল্টরূপে চেক করা হয়) যা সরঞ্জামদণ্ডে আপনি যে সমস্ত url- এ গুগলে যান তা পাঠানোর অনুমতি দেয়। গুপ্ত ওয়েবটি দেখার জন্য এটি গুগলের পক্ষে অন্য একটি উপায়। এমনকি আপনি যদি সেই ব্যক্তিকে url ভাগ না করার কথা বলেছিলেন, তবে স্পষ্টতই সে / সে (সরঞ্জামদণ্ডকে ধন্যবাদ জানাবে)।
আমি মনে করি আমরা আরও অনেক সম্ভাবনা খুঁজে পেতে পারি।
সুতরাং আপনি এটি রোবটস টেক্সটে যুক্ত করতে পারেন তবে নোন্ডেক্স, নোফলো ইত্যাদি জাতীয় অতিরিক্ত মেটা সরবরাহ করতে পারেন ..
সম্পাদনা:
রোবটস টেক্সট সম্পর্কে w3d এর পরামর্শ আমার কাছে ভাল লাগছে। সুতরাং এটি robots.txt এ যুক্ত করবেন না এবং প্রোপার মেটা ট্যাগ সরবরাহ করবেন না।
উপরের মন্তব্যগুলি ছাড়াও, আমি এইচটিএসিসিএএস প্রমাণীকরণকে ন্যূনতম হিসাবেও প্রশংসা করব - এইভাবে আপনি পৃষ্ঠাগুলি দেখার জন্য ব্যক্তিদের তাদের এনটাইটেলমেন্টের সময়কালের জন্য একটি ব্যবহারকারীর নাম / পাসওয়ার্ড সংমিশ্রণ দিতে পারেন
গোপনীয়তার সমস্যাগুলির সাথে যদি কিছু থাকে তবে আপনার একটি সঠিক লগইন নিয়ন্ত্রণ স্ক্রিপ্ট বিবেচনা করা উচিত।
একটি অরক্ষিত পৃষ্ঠা (আপনি যতটা লুকিয়ে থাকুন না কেন মনে হয়) এটি বুনো করে দেবে।