প্রথমত, আমি সেখানে সমস্ত পেশাদার ওয়েবমাস্টারদের কাছে একটি দুর্দান্ত ক্ষমা চাইব, তবে এই ওপির জন্য আমার একটি সুবর্ণ পরামর্শ আছে:
লঙ্ঘন করুন অনুসন্ধান ইঞ্জিনের গাইডলাইন
এবং আমি বোঝাতে চাইছি যেখানে গুরুত্বপূর্ণ বিষয়বস্তু জটিল জাভাস্ক্রিপ্টে রয়েছে এবং সামগ্রী রোবটগুলি ক্রল করতে পারে তা সঠিক এইচটিএমএল নয়। এর মধ্যে একটি খারাপ বর্ণনা ট্যাগ, একটি খারাপ শিরোনাম ট্যাগ ইত্যাদি রয়েছে H এটি সত্যই সার্চ ইঞ্জিনের ক্রলার ক্রিঞ্জ তৈরি করবে।
আমি কোডে উদাহরণ দিয়ে দেখাব:
কিছু সূচিকৃত করার উপায় এখানে:
<!DOCTYPE html>
<html>
<head>
<title>Web page</title>
<meta name="description" content="This is a wonderful web page">
</head>
<body>
<h1>A wonderful web page</h1>
<h2>By John Smith</h2>
<p>This is a wonderful page. ya de ya de ya de ya de ya de ya de</p>
<p>This is wonderful. ya de ya de ya de ya de ya de ya de</p>
</body>
</html>
ঠিক আছে, আমি স্বীকার করি, পাঠ্যটি নিখুঁত নয়, তবে আপনি কী বোঝাতে চেয়েছেন তা বুঝতে পেরেছেন।
এখন আপনি যদি এটি ক্রলার থেকে আড়াল করতে এবং এটি সহজ উপায়ে করতে চান তবে আপনি এটি চেষ্টা করতে পারেন:
<!DOCTYPE html>
<html>
<head>
<title>Private</title>
</head>
<body>
<img src="mywebsite.jpg" width=1024 height=768>
</body>
</html>
তারপরে mywebsite.jpg নামে একটি চিত্র তৈরি করুন এবং এতে সমস্ত পাঠ্য অন্তর্ভুক্ত করুন, উপরে প্রদর্শিত এইচটিএমএলটিতে নয়। তারপরে আপনার আসল জিনিসটি দেখার জন্য অননুমোদিত এমন ব্যবহারকারীদের কাছে এটির জলছবিযুক্ত সংস্করণ তৈরি করে আপনি mywebsite.jpg রক্ষা করতে হবে। আপনি যাঁকে ইমেজটির জন্য অনুমতি / অনুমোদন দেন তাদের বিরুদ্ধে কেবল ব্যবহারকারী এজেন্ট স্ট্রিং বা আইপি ঠিকানার তুলনা করুন। এই জাতীয় জিনিসটি কিছু পুনর্লিখনের নিয়মের সাথে .htaccess এ করা যেতে পারে।
উদাহরণস্বরূপ, গুগলবোটকে আসল জিনিসের পরিবর্তে জলছবিযুক্ত চিত্রটি দেখতে বাধ্য করতে, এই নিয়মগুলি ব্যবহার করুন:
RewriteCond %{HTTP_USER_AGENT} ^googlebot$ [NC]
RewriteRule ^mywebsite.jpg$ specialrobotimage.jpg [L]
আমি এখানে ধরে নিচ্ছি যে mywebsite.jpg একটি চিত্র হিসাবে আপনার আসল ওয়েবসাইট এবং specialrobotimage.jpg হ'ল ওয়াটারমার্ক বা চিত্রটি একটি বার্তা হিসাবে দেখায় যে কেবল বাস্তব ব্যবহারকারীদের তথ্য দেখার অনুমতি দেওয়া হয়। এছাড়াও, নিয়মগুলি ধরে নেয় যে সবকিছু একই ফোল্ডারে রয়েছে in