এক্সএমএল সাইটম্যাপগুলিকে গুগল অনুসন্ধানের ফলাফলগুলিতে প্রদর্শিত হওয়া থেকে বিরত করুন

Question

আমি কীভাবে আমার এক্সএমএল সাইটম্যাপ ফাইলগুলিকে গুগল অনুসন্ধান ফলাফলগুলিতে site:অনুসন্ধানের প্রশ্নের ফলাফলের মতো প্রদর্শিত হতে বাধা দেব :

আমি বুঝতে পারছি না যে গুগল কেন শুরু হতে সন্ধানের ফলাফলগুলিতে সাইটম্যাপ ফাইলগুলি দেখাতে বেছে নেবে। এই ফাইলগুলি মানুষের ব্যবহারের জন্য নয়।

এটি প্রক্রিয়া করতে সক্ষম হওয়ার জন্য গুগলকে এটি ক্রল করতে সক্ষম হওয়া দরকার, সুতরাং আমি এটিকে রোবট.এসটিএস্টে অস্বীকার করতে পারি না । আমি চাই না যে তারা এটিকে প্রক্রিয়া করার পরে অনুসন্ধান ফলাফলগুলিতে রাখুক।

Comments

হাহ। মজাদার. আমার কাছে কেবলমাত্র ভাবনাটি হ'ল যদি আপনার সাইটে এটির কোনও লিঙ্ক থাকে বা এটি আপনার সাইটম্যাপ ফাইলে প্রদর্শিত হয়। পাশাপাশি, আমি নিশ্চিত নই যে আপনি এটি আপনার রোবটস.টি.এস.টি. ফাইলে উল্লেখ করেছেন কিনা তা যদি কোনও ফ্যাক্টর হতে পারে। আমি তাই মনে করি না, কিছু বিবেচনা করার জন্য। আমি কেবলমাত্র গুগল ডাব্লুএমটি এর মাধ্যমে আমার সাইটম্যাপ সরবরাহ করি এবং এই সমস্যাটি দেখিনি - কমপক্ষে এখনও হয়নি। আমি বুঝতে পারি যে আপনার সাইটম্যাপটি সর্বজনীনভাবে চান না। আমি আমার পাবলিক চাই না। সেখানে প্রচুর হ্যাকার / স্ক্র্যাপার রয়েছে।

— ক্লোজটোক

এই বিশেষ সাইটে আমি করেছি /sitemap.xmlতালিকাভুক্ত robots.txt এর এবং তারপর যে অন্যান্য সাইটম্যাপ একটি ভিন্ন সেট লিঙ্ক পছন্দ /sitemap-123.xmlএবং /sitemap-124.xml। আমি প্রতিদিন সাইটম্যাপগুলি পুনরায় তৈরি করি এবং সংখ্যাগুলি প্রতিদিন পরিবর্তিত হয়। যেটিকে সূচকযুক্ত তা মোটামুটি পুরানো। আমি এটি আমার সাইটের কোথাও লিংক করি না, তবে এটি সম্ভবত অন্য কোনও সাইটের কোনও লিঙ্কের কোথাও রয়েছে।

— স্টিফেন অসটারমিলার

যদি এটি ব্যবহার না করা থাকে তবে নিশ্চিত হয়ে নিন যে এটি মুছে ফেলা হয়েছে, তবে এটি আপনার রোবটস.টি.এস.টি. ফাইলে বাদ দিন এবং এটি SERPs থেকে মোটামুটি দ্রুত নেমে আসবে। অদ্ভুতভাবে, গুগল ডাব্লুএমটি-তে সরানো ইউআরএল জিনিসটি চিরতরে (আমার জন্য কয়েক মাস) সময় নেয় যখন রোবটস.টিএসটিএসটি মোটামুটি দ্রুত।

— ক্লোজটোক

আপনি কি আপনার জিডাব্লুএমটি অ্যাকাউন্টে এক্সএমএল সাইটম্যাপ জমা দিয়েছেন ?

— ওলেগ

সাইটম্যাপ ফাইলটি আজ অবধি বিদ্যমান। আমি এটিকে সরিয়ে দিয়েছি এবং এখন এটি পুনঃনির্দেশ করে /sitemap.xml আমি ধরে নিয়েছি যে এই নির্দিষ্ট সাইটম্যাপটি এখন সূচকের বাইরে চলে যাবে। আমি গুগলকে ভবিষ্যতেও ব্যবহারকারীদের অনুসন্ধান করতে তাদের প্রদর্শন করা থেকে বিরত রাখতে চাই।

— স্টিফেন অসটারমিলার

Answer 1

গুগল এক্সএমএল সাইটম্যাপগুলি করে (কোনও এক্সএমএল ফাইলের মতো)। গুগল যদি কোনও ইউআরএল সম্পর্কে সচেতন থাকে এবং এটি একটি কার্যকর প্রতিক্রিয়া ফিরিয়ে দেয় তবে এটি গুগলের অন্তর্ভুক্তির বিধিগুলি পাস করবে এবং সূচক হতে পারে। ব্যক্তিগতভাবে, আমি কেবল জিডাব্লুটিটির মাধ্যমে সাইটম্যাপ জমা দিই এবং রোবটস.টিএসটিএস্টে একটি Sitemap:রেফারেন্স অন্তর্ভুক্ত করি এবং এটি অবশ্যই সূচকযুক্ত করার জন্য এটি যথেষ্ট।

এই ফাইলগুলিকে গুগল দ্বারা সূচীকরণ থেকে রোধ করার প্রস্তাবিত পদ্ধতিটি হল X-Robots-Tagএক্সএমএল সাইটম্যাপ পরিবেশন করার সময় একটি HTTP প্রতিক্রিয়া শিরোনাম অন্তর্ভুক্ত করা । উদাহরণ স্বরূপ:

X-Robots-Tag: noindex

এইচটিএমএল ফাইলগুলিতে একটি রোবট মেটা ট্যাগ অন্তর্ভুক্ত করার মতো, শিরোনামটি যে X-Robots-Tagকোনও ধরণের ফাইলের জন্য ব্যবহার করা যেতে পারে।

তথ্যসূত্র: এই নথিটি (নভেম্বর ২০০৮ থেকে!) এক্সএমএল সাইটম্যাপগুলির সাথে ডিল করার সময় প্রতিক্রিয়া ব্যবহারের ক্ষেত্রে আমাদের নিজস্ব জন মুইলারের (গুগল) উদ্ধৃতি হিসাবে উপস্থিত হয়েছে X-Robots-Tag।
হ্যাঁ, গুগল আপনার এক্সএমএল সাইটম্যাপ ফাইলটি সূচি এবং রেঙ্ক করবে

আরও তথ্যের জন্য গুগলের বিকাশকারী গাইড:
রোবট মেটা ট্যাগ এবং এক্স-রোবটস-ট্যাগ এইচটিটিপি শিরোনামের বিশদটি দেখুন

Comments

আমি কোথায় X-Robots-Tag: noindexহেডার কোড লিখব ? ভিতরে sitemap.xmlনাকি robots.txt?

— xameeramir

@ স্টুডেন্ট এটি একটি এইচটিটিপি রেসপন্স শিরোনাম তাই এই ফাইলগুলি সরবরাহ করার আগে এটি অবশ্যই সেট করে রাখতে হবে (এইচটিটিপি প্রতিক্রিয়া শিরোনামের অংশ হিসাবে) - এটি "ভিতরে" সেট করা যায় না। আপনি কীভাবে এই ফাইলগুলি পরিবেশন করছেন তার উপর নির্ভর করে আপনি এটি আপনার সার্ভার-সাইড কোডে সেট করতে পারেন (যেমন পিএইচপি তে header('X-Robots-Tag: noindex',true)) বা আপনি যদি অ্যাপাচি ব্যবহার করেন তবে আপনার .htaccess ফাইল বা সার্ভার কনফিগারেশনে। উদাহরণস্বরূপ কোডের জন্য স্টিফেনের উত্তরটি দেখুন । উপরের সাথে সংযুক্ত গুগলের বিকাশকারী গাইডও দেখুন।

— মিঃ হোয়েট

Answer 2

এক্স-রোবটস-ট্যাগ ব্যবহারের বিষয়ে মিঃ হোয়াইটের উত্তর এটি করার সঠিক উপায় বলে মনে হয়।

এখানে এমন কোড রয়েছে যা এটি করতে .htaccess বা অ্যাপাচি কনফিগারেশন ফাইলগুলিতে ব্যবহার করা যেতে পারে । (তথ্যসূত্র: ওয়েবমাস্টার ওয়ার্ল্ড - এসইআরপিতে প্রদর্শিত সাইটম্যাপগুলি - এটি কীভাবে প্রতিরোধ করা যায়? )

<Files ~ "sitemap.*\.xml(\.gz)?$">
  Header append X-Robots-Tag "noindex"
</Files>

এনজিএনএক্সের অধীনে কনফিগারেশন নিম্নরূপ হবে। (তথ্যসূত্র: ইয়োস্ট এক্স-রোবটস-ট্যাগ উদাহরণ )

location ~* sitemap.*\.xml(\.gz)?$ {
    add_header X-Robots-Tag "noindex";
}

Answer 3

কেন এটা কোন ব্যাপার?

আপনি যদি নিজের সাইটম্যাপটি এসইআরপিতে খুঁজে পেতে পারেন তবে আপনার আরও বড় সমস্যা রয়েছে।

পরিবর্তে দরকারী বিষয়বস্তু দিয়ে পৃষ্ঠাগুলি পেতে আমি আরও ফোকাস করব। এইভাবে, আপনার সাইটম্যাপটি খুঁজে পেতে আপনার খুব কঠিন সময় কাটাতে হবে। আপনি যে পয়েন্টে যাইহোক যত্ন নিতে হবে তা নয়।

দ্রষ্টব্য

বেশ অনেকগুলি একই স্থানে সাইটম্যাপ রাখে। সুতরাং কেউ যদি আপনি এটি কোথায় রাখেন তা সন্ধান করতে চাইলে তারা :)

Comments

আমি সাইট অনুসন্ধানের জন্য গুগল ব্যবহার করি এবং এটি ব্যবহার করার সময় আমি কোনও সাইটম্যাপে হোঁচট খেয়েছি। আমার ব্যবহারকারীরা যদি এটিতে ক্লিক করেন তবে এটি খুব বিভ্রান্তিকর হবে।

— স্টিফেন অস্টেরমিলার

আপনার ব্যবহারকারীর মধ্যে কতজন আপনার মনে হয় সাইট অনুসন্ধানের জন্য গুগল ব্যবহার করেন?

— ডাসিকল

সমস্ত ব্যবহারকারীরা যা আমার পৃষ্ঠাগুলির শীর্ষে অনুসন্ধান বাক্সে অনুসন্ধান পদগুলিতে টাইপ করে।

— স্টিফেন অসটারমিলার

এই ক্ষেত্রে. আপনি কি নিজের সাইট অনুসন্ধানের জন্য swiftype.com জাতীয় কিছু ব্যবহার বিবেচনা করেছেন ? আপনি ব্যবহার করতে পারেন এমন অন্যদের শীর্ষ রয়েছে। আপনি পুনঃ অর্ডার করতে পারেন, অপসারণ এবং ফলাফল যুক্ত করতে পারেন। আপনি দুর্দান্ত পরিসংখ্যান এবং ইত্যাদিও পান

— ডেসিকেল

Answer 4

রোবট.টেক্সটে নিম্নলিখিতটি লিখুন

User-agent: *
Disallow: /sitemap.xml

পরিবর্তে গুগল ওয়েবমাস্টার সরঞ্জামগুলির মাধ্যমে আপনার সাইটম্যাপ জমা দিন।

Comments

আপনি কি দয়া করে আপনার যুক্তিটি পরিষ্কার করতে পারেন - আপনার প্রথম বাক্যটি আপনার শেষের সাথে বিরোধী বলে মনে হচ্ছে?

— মিঃউইট

গুগল কি এমন কোনও সাইটম্যাপ ক্রল করবে যা রোবটস.টিএসটিএস এ ব্লক করা আছে? এই দাবিটি সমর্থন করার জন্য আপনার কাছে কি কোনও রেফারেন্স রয়েছে?

— স্টিফেন অসটারমিলার

যদি আপনি সাইটম্যাপ.এক্সএমএলকে অস্বীকার করেন তবে আমি নিশ্চিত যে এটি আর ক্রল হবে না। আপনি ঘটতে চান কিছু না!

— সর্বোচ্চ

গুগল রোবটস.টিএসটি অনুমোদিত না দিয়ে কোনও ডক্ট ক্রল করবে না। সাধারণভাবে নয়, যাইহোক ... সাইটের মানচিত্র অন্তর্ভুক্ত।