গুগল কেন আমাদের সাইটম্যাপ.এক্সএমএল থেকে পৃষ্ঠাগুলি সূচীকরণ বন্ধ করেছিল?

Question

আমরা এমন কিছু পৃষ্ঠা দেখছি যা আমাদের উপস্থিত রয়েছে sitemap.xmlতবে গুগলের সর্বজনীন অনুসন্ধান সূচী থেকে অবিচ্ছিন্নভাবে অনুপস্থিত।

আপনি /superuser//sitemap.xml ডাউনলোড করতে পারবেন না - আমরা এই ফাইলটিকে সুরক্ষা দিতে পারি কারণ অতীতে এর আগেও সমস্যা ছিল - তবে গুগলবোট পারে। আমরা গুগল ওয়েবমাস্টার সরঞ্জামগুলির মাধ্যমে যাচাই করেছি যে sitemap.xmlফাইলটি আজকে নীচে নামানো হয়েছে এবং কোনও ত্রুটি ছাড়াই ঠিক আছে (সবুজ চেকমার্ক) is

sitemap.xmlআমাদের সাইটে জিজ্ঞাসা করা হয়েছিল এমন 50,000 টি প্রশ্নের একটি তালিকা রয়েছে The উদাহরণস্বরূপ, এই প্রশ্ন ...

/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links

... sitemap.xmlহিসাবে বিদ্যমান

<url>
<loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>

"প্রতীকী লিঙ্কগুলির দীর্ঘ চেইনের সমাপ্তিটি কীভাবে দেখতে হবে" অনুসন্ধান করে অনুসন্ধানউইচ ডটকমকে কেবল একটি ফলাফল দেয় যা আমাদের ডেটা স্ক্র্যাপ করছে (সম্পূর্ণ ভিন্ন সমস্যা)।

আপনি প্রশ্ন গণনা সংখ্যা বৃদ্ধি করতে পারেন এবং প্রশ্নের শিরোনামের জন্য সঠিক অনুসন্ধান করতে পারেন এবং আপনি এই প্যাটার্নটি অবিচ্ছিন্ন দেখতে পাবেন।

এই URL গুলি হয় মধ্যে sitemap.xml কিন্তু তারা Google- এর সূচীতে দেখানো হয় না - এবং তারা সাইট যা আমাদের ক্রিয়েটিভ কমন্স তথ্য গেরো এ প্রদর্শিত হবে। কেন হবে?

Comments

আপনি সবসময় গুগল ওয়েবমাস্টার কেন্দ্রীয় ফোরামে জানতে চাইতে পারেন। google.com/support/forum/p/Webmasters?hl=en

— অ্যালেক্স ব্ল্যাক

কিছু অবশ্যই ভুল। এই প্রশ্নটি ইতিমধ্যে গুগলে সূচিত হয়েছে, তবুও সুপারভাইজার স্টিল সম্পর্কিত লিঙ্কযুক্ত প্রশ্নটি সূচীতে প্রদর্শিত হবে না।

— মাইকেল প্রাইর

জেফ কেবল ম্যাট কাটসকে জিজ্ঞাসা করার বিষয়ে ভাবতে পারে। আমি তাদের টুইটারে কয়েকবার একে অপরের সাথে কথা বলতে দেখেছি। তিনি সাধারণত সাহায্য করতে বেশ আগ্রহী।

— ভার্টুওসি মিডিয়া

FWIW আমরা বর্তমানে কিছু সাইটে নতুন সামগ্রীর সূচিকর্ম নিয়ে কিছু সমস্যা দেখছি। Google.com/support/forum/p/Webmasters/… এ আমাদের সহায়তা ফোরামগুলিতে একটি থ্রেড রয়েছে । আপনার উল্লিখিত URL টি প্রভাবিত হয়েছে বলে মনে হচ্ছে। আমি ধারণা করি এটি খুব শীঘ্রই সমাধান হয়ে যাবে, তবে কোনও স্থির সময়সীম উপলব্ধ নেই। আপনার ধৈর্য্যের জন্য ধন্যবাদ.

— জন মুয়েলার

দেখে মনে হচ্ছে এটি এখন সমাধান হয়েছে :-)। আমি সাইট থেকে নতুন কয়েকটি প্রশ্নের চেষ্টা করেছি এবং সেগুলি সমস্ত সূচিকৃত হয়েছিল। Woot!

— জন মুয়েলার

Answer 1

দেখে মনে হচ্ছে গুগল কিছু প্রযুক্তিগত ক্রল সমস্যার এই সপ্তাহে যে শব্দ চাপ ছিল, সাতিশয় মত আমরা কি সম্মুখীন হয়েছে:

http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701

গুগল ইনডেক্সিং সমস্যা থেকে অনেকেই নিরাপদ বলে মনে হচ্ছে না যা অনেক সাইটের মালিককে বিভ্রান্ত করেছে। বড় এবং ছোট, ব্লগ এবং ওয়েবসাইটগুলি সাধারণভাবে তত দ্রুত সূচী হয় না - যদি সেগুলিকে একেবারে সূচিযুক্ত করা হয়।

...

গুগলের কাছ থেকে জন ওয়েবমাস্টার ফোরামে থ্রেডের জবাব দিয়েছিলেন:

কেবল স্পষ্ট করে বলতে গেলে, এই থ্রেডের যে বিষয়গুলি আমি বিস্তারিতভাবে পর্যালোচনা করেছি সেগুলি আমাদের নীতিমালায় পরিবর্তন বা আমাদের অ্যালগরিদমে পরিবর্তনের কারণে নয়; এগুলি আমাদের পক্ষে কোনও প্রযুক্তিগত সমস্যার কারণে যা যত তাড়াতাড়ি সম্ভব দৃশ্যমানভাবে সমাধান করা হবে (যদিও এটি সমস্ত সাইটের জন্য দৃশ্যমান হতে কয়েক দিন সময় নিতে পারে)

Answer 2

গুগল কোনও প্রস্তাব দেয় না বা গ্যারান্টি দেয় না যে কোনও সাইটম্যাপের পৃষ্ঠাগুলি ইনডেক্স করা হবে।

আমার অভিজ্ঞতা হয়েছে যে কোনও পৃষ্ঠাতে প্রদর্শিত হতে কোনও লিঙ্ক-টু (কোনও কোনও কর্তৃত্বের পৃষ্ঠা থেকে) যুক্ত থাকতে হবে। সেই পৃষ্ঠা / প্রশ্নটি কোনও কর্তৃত্বের কোনও পৃষ্ঠা থেকে প্রত্যক্ষ / অপ্রত্যক্ষভাবে লিঙ্কযুক্ত?

উদাহরণস্বরূপ যদি superuser.com হোমপৃষ্ঠা (যা সম্ভবত অনেকগুলি সংযোগযুক্ত রয়েছে) সরাসরি এই প্রশ্নের সাথে যুক্ত রয়েছে বা এটি অন্যান্য সংখ্যক পৃষ্ঠাগুলির মাধ্যমে অপ্রত্যক্ষভাবে যুক্ত হয়েছে, তবে আপনি এটি সূচীকরণের আশা করতে পারেন।

গুগল থেকে:

গুগল গ্যারান্টি দেয় না যে আমরা আপনার সমস্ত ইউআরএল ক্রল করব বা সূচি করব। তবে আমরা আপনার সাইটম্যাপে ডেটা ব্যবহার করছি আপনার সাইটের কাঠামো সম্পর্কে জানার জন্য যা আমাদের ক্রলার শিডিউলটি উন্নত করতে এবং ভবিষ্যতে আপনার সাইট ক্রলিংয়ে আরও ভাল কাজ করার সুযোগ দেয়। বেশিরভাগ ক্ষেত্রেই, ওয়েবমাস্টাররা সাইটম্যাপ জমা দেওয়ার মাধ্যমে উপকৃত হবে এবং কোনও ক্ষেত্রে আপনাকে এর জন্য শাস্তি দেওয়া হবে না।

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184

Comments

সাইটম্যাপের সাথে বা ছাড়াই সেই পৃষ্ঠাগুলিকে সূচিযুক্ত করার জন্য সুপারউজারের পর্যাপ্ত লিঙ্ক এবং PR থাকতে হবে। এবং ছোটখাটো পৃষ্ঠাগুলি সর্বদা তালিকাভুক্ত থাকে। বাস্তবে তারা সূচকের বেশিরভাগ অংশই তৈরি করে। আমার সন্দেহ হয় অন্য কিছু অপরাধী।

— জন কনডে

সম্মত, সাইটে প্রচুর জনসংযোগ এবং লিঙ্ক রয়েছে। তবে, এমন কোনও সুযোগ রয়েছে কি যে প্রশ্নে থাকা পৃষ্ঠায় অন্তর্ভুক্ত নেই? যদি superuser.com (সুযোগক্রমে) পৃষ্ঠায় লিঙ্ক না করে, তবে এটি গুগলকে কী বলে? এটি বলে যে পৃষ্ঠাটি গুরুত্বপূর্ণ নয়।

— অ্যালেক্স ব্ল্যাক

পৃষ্ঠাটি অবশ্যই প্রথম পৃষ্ঠা থেকে লিঙ্কযুক্ত ছিল এবং অন্যান্য পৃষ্ঠা থেকেও সংযুক্ত হতে থাকবে। এসই সাইটগুলি খুব ক্রস লিঙ্ক ভারী।

— কেভিন মন্ট্রোজ

গতকাল এক পর্যায়ে আমার একটি পরীক্ষার প্রশ্নের হিট হ'ল সুপারসার ডটকম হোমপেজ - এতে লক্ষ্যযুক্ত URL টি দৃশ্যমান, এমনকি গুগল ক্যাশেও! এবং তবুও প্রশ্নটি নিজেই সূচিবদ্ধ হয়নি। খুব অদ্ভুত.

— জেফ

একেবারে - হোম পৃষ্ঠার HOT ট্যাবে বা সপ্তাহান্তে বা মাসিক ট্যাবে ক্লিক করুন। ঠিক আছে ..

— জেফ

Answer 3

আমি মনে করি গুগল আপনার ওয়েব পৃষ্ঠাগুলি সূচী করতে খুব কঠিন সময় কাটাচ্ছে, 50.000 অনেক বেশি। সুতরাং আমার পরামর্শটি আপনার সাইটম্যাপটিকে এমনভাবে টুকরো টুকরো টুকরো টুকরো করে

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>

যদি আপনি ব্রেকডাউন করেন তবে আপনার সেই 50.000 ইউআরএলকে সূচিযুক্ত করার আরও ভাল ভাগ্য হবে।

সাইটম্যাপ.অর্গ বিষয়টির ব্যাখ্যা

আপনি একাধিক সাইটম্যাপ ফাইল সরবরাহ করতে পারেন, তবে আপনার দেওয়া প্রতিটি সাইটম্যাপ ফাইলের অবশ্যই 50,000 এর বেশি ইউআরএল থাকতে হবে এবং এটি অবশ্যই 10 এমবি (10,485,760 বাইট) এর চেয়ে বড় নয়। আপনি যদি চান তবে আপনার ব্যান্ডউইথের প্রয়োজনীয়তা হ্রাস করার জন্য জিজিপ ব্যবহার করে আপনার সাইটম্যাপ ফাইলগুলি সংকুচিত করতে পারেন; তবে একবার সঙ্কুচিত সাইটম্যাপ ফাইলটি অবশ্যই 10MB এর চেয়ে বড় হতে হবে না। আপনি যদি 50,000 এরও বেশি URL টি তালিকাবদ্ধ করতে চান তবে আপনাকে অবশ্যই একাধিক সাইটম্যাপ ফাইল তৈরি করতে হবে।

আপনি যদি একাধিক সাইটম্যাপ সরবরাহ করে থাকেন তবে আপনাকে অবশ্যই প্রতিটি সাইটম্যাপ ফাইলটি সাইটম্যাপ সূচী ফাইলে তালিকাভুক্ত করা উচিত। সাইটম্যাপ ইনডেক্স ফাইলগুলি 50,000 এর বেশি সাইটম্যাপের তালিকাবদ্ধ নাও হতে পারে এবং 10MB (10,485,760 বাইট) এর চেয়ে বড় হতে হবে না এবং সংকোচিত হতে পারে। আপনার একাধিক সাইটম্যাপ সূচক ফাইল থাকতে পারে। কোনও সাইটম্যাপ সূচক ফাইলের এক্সএমএল ফর্ম্যাটটি কোনও সাইটম্যাপ ফাইলের এক্সএমএল ফর্ম্যাটের সাথে খুব মিল।

http://sitemaps.org/protocol.php

Comments

50,000 পৃষ্ঠাগুলির সাইটম্যাপগুলি খুব সাধারণ। প্রকৃতপক্ষে কেউ সম্প্রতি তাদের ওয়েবমাস্টার অ্যাকাউন্ট থেকে একটি স্ক্রিনশট পোস্ট করেছেন যা দেখায় গুগল সেই পৃষ্ঠাগুলির প্রায় 50,000 কে সূচিযুক্ত করেছে। এবং আমার সন্দেহ হয় যে সুপারভাইজারটি অন্যান্য সাইটের চেয়ে আরও বেশি জনপ্রিয় (যেমন উন্নত লিঙ্কের জনপ্রিয়তা রয়েছে)।

— জন কনডে

"তালিকাবদ্ধ করার জন্য আপনার কাছে 50,000 এরও বেশি ইউআরএল রয়েছে one এটি কোনও সাইটম্যাপের মধ্যে অন্তর্ভুক্ত থাকতে পারে the" sitemaps.blogspot.com/2005/08/using-sitemap-index-files.html

— জেফ

আপনার যদি প্রতিটি দিনের জন্য সাইটম্যাপ থাকে তবে সেগুলি দিন শেষ হওয়ার পরে কখনও পরিবর্তন হয় না, যাতে সাইটম্যাপটি আবার শোধ করতে হয় না, তারা যে লিঙ্কগুলি ইতিমধ্যে পরিবর্তনের জন্য সূচী করেছে তা ক্রল করতে পারে, তাই গুগলকে ট্রাটে যেতে হবে না doesn't কোনটি পুরানো এবং কোনটি নতুন see

— সেভকি

ক্রিয়াকলাপের তারিখ অনুসারে @ সেভকি সবচেয়ে পুরানো 50,001 তম প্রশ্ন (নতুন উত্তর, সম্পাদনা, ইত্যাদি এই তারিখটি টুকরো টুকরো) সাইটম্যাপে থাকবে না। মনে রাখবেন যে সুপারইউসারের মোট 55 টি প্রশ্ন রয়েছে।

— জেফ অ্যাটউড

@ জেফ কিন্তু এসও ডটকমের 1,014,782 আছে এবং 964,782 কোনও সাইটম্যাপে নেই তাই গুগল বা বিং কখন শেষবার সংশোধিত হয়েছিল তা জানে না .. এটি আপনার ক্রলগুলিকে বাড়িয়ে তোলে না। যাইহোক আমি কেবল সাহায্য করার চেষ্টা করে বিরক্ত হতে চাই না, আমি আপনাকে আরও কিছু বিশদ সহ একটি ইমেল পাঠিয়েছি।

— সেভকি

Answer 4

মনে হচ্ছে গুগল জানায় যে যে 46.514 পেশ সংযোগগুলি হয় সূচক। এটি পৃষ্ঠার র‌্যাঙ্কিংয়ের সাথে (আমি এটি বলতে ঘৃণা করি) কোনও সমস্যা হতে পারে? স্ক্র্যাপিং সাইটগুলি আরও ভাল কাজ ক্রস লিঙ্কিং ইত্যাদি করছে এবং উচ্চতর স্থান পেয়েছে। শুধু একটি ভাবনা.

প্রত্যাশিত ফলাফলগুলি প্রত্যাবর্তন না করলেও, এই অনুসন্ধানের সাইট: superuser.com প্রতীকী লিঙ্কগুলির একটি দীর্ঘ শৃঙ্খলার প্রান্তটি কীভাবে দেখতে হবে তাও আপনার সাইটম্যাপ.এক্সএমএল সঠিকভাবে আনতে দেখা যায়।

Comments

সেই স্ক্র্যাপিং সাইটটি সুপারইউজার ডট কমকে মূল লেখক হিসাবে বৈশিষ্ট্য দেয় (যদিও তারা এ সম্পর্কে আরও স্পষ্ট হতে পারে) তাই গুগলকে জানতে হবে যে তারা সামগ্রীর মূল লেখক এবং স্ক্র্যাপিং সাইটগুলির চেয়ে তাদের অগ্রাধিকার দেবে।

— জন কনডে

@ জোহান সঠিক, আমাদের ব্লগ.স্ট্যাকওভারফ্লো

— জেফ অ্যাটউড

এই ক্যাশেড সাইটম্যাপটি "17 অক্টোবর 2010 05:40:35 GMT" তে প্রকাশিত হওয়ার পরে 4 দিন আগে যতক্ষণ আমি এটি লিখছি, তাই এটির খুব বেশি কিছু নেই। আমি সেই ক্যাশেড সাইটম্যাপ.এক্সএমএলতে কয়েকটি ইউআরএল পরীক্ষা করেছি এবং সেগুলি গুগলে প্রশ্ন পৃষ্ঠা হিসাবে উপস্থিত রয়েছে।

— জেফ অ্যাটউড

@ জন আপনি কীভাবে এট্রিবিউশন দেন তার একটি উদাহরণ আপনি দিতে পারেন। থেক্স

— গ্রেগ বি

@ গ্রেগ, কেবল সুপার ইউজার লোগোটি সন্ধান করুন

— জন কনডে

Answer 5

এই ধরণের জিনিসটির সাথে প্রচুর সম্ভাব্য উত্তর রয়েছে।

আপনার আসলে কত পৃষ্ঠা আছে তা জিজ্ঞাসা করে আমি শুরু করব। (আপনি একটি দ্রুত সাইট 50,000 ইউআরএল জমা দিয়েছেন: superuser.com আপনাকে 125,000 সূচিবদ্ধ দেখায় আপনি কী মনে করেন যে আপনার কাছে কেবল 50K ইউআরএল রয়েছে এবং সেগুলি সব জমা দিচ্ছেন তবে গুগল প্রতিটি পৃষ্ঠার 2-3 কপি খুঁজে পাবে? অথবা আপনার কাছে 1 মিল ইউআরএল রয়েছে এবং কেবল 12.5 % ইন্ডেক্সড হচ্ছে) বড় ছবি পেয়ে বিষয়গুলি কোথায় সন্ধান করতে হবে তা নির্দেশ করতে সহায়তা করে।

যদি প্রথম ধাপে কোনও কিছুই ভুল না মনে হয়, তবে আমি বিষয়বস্তুতে সরে যাব, দেখে মনে হচ্ছে QH- এর পৃষ্ঠায় পুরোপুরি আরও অনেকগুলি সামগ্রী রয়েছে এবং তাদের সমস্ত বিষয়বস্তু স্ক্র্যাপড হওয়া সত্ত্বেও গুগল তাদের বিবেচনা করে এমনটি সত্ত্বেও অনেক অন্যান্য "সংস্থানগুলি" যুক্ত করেছে looks পৃষ্ঠাটি আরও কার্যকর কারণ তারা ব্যবহারকারীর আরও সংস্থান / তথ্য সরবরাহ করে। যদি তাদের কর্তৃপক্ষ হিসাবে বিবেচনা করা হয় এবং আপনার সমস্ত সামগ্রী তাদের মত একই হয় তবে এটি সম্ভব হলেও গুগল আপনার মূল সূচি দেয় না are

যদি আপনি নিশ্চিত হন যে সমস্যাটি এটির সাথে কয়েকটি উচ্চ মানের লিঙ্ক তৈরি করে না, কিছু জনপ্রিয় কর্মচারী ব্লগে এই প্রশ্নটি ব্লগ করুন বা কিছু বন্ধুকে এটি সম্পর্কে ব্লগ করতে বলুন, সম্ভবত আপনার যদি এসইও বন্ধুরা রয়েছে যেগুলি জনপ্রিয় ব্লগগুলি চালায় তারা একটি লিখতে চান এটি সম্পর্কে কেস স্টাডি ইত্যাদি

যদি আপনি প্রচুর শক্তিশালী লিঙ্ক পান এবং এটি এখনও দণ্ডিত হতে পারে তার কারণে সূচী চেহারা না পান (বেশিরভাগ ক্ষেত্রে এটি সমস্যা হবে না তবে এটি চেক করতে কখনই ব্যাথা করে না)।

যদি এর কোনওটি না হয় তবে 10 এর মধ্যে 9 বার এটি একটি সাধারণ প্রযুক্তিগত সমস্যা যা উপেক্ষা করা হয়েছে (রোবটদের বাদ দেওয়া বা এরকম কিছু)।

যদি আপনার এখনও উত্তর না থেকে থাকে তবে এটিকে গুগলকে জিজ্ঞাসা করুন এবং আশা করুন তারা আপনাকে উত্তর পেয়েছে।

Answer 6

গতকাল প্রশ্নটি জিজ্ঞাসা করা হয়েছিল - গুগলবোটকে একটি সুযোগ দিন, আপনি ইন্টারনেটে এমন একমাত্র সাইট নন যা তাঁকে জানার জন্য ক্রল করতে হবে :)

যদি প্রশ্নগুলি সাধারণত এক বা এক দিনের মধ্যেই সূচিত হয় এবং এক সপ্তাহ চলে যায় এবং এখনও একটি সূচী হয় না, তবে আমি উদ্বিগ্ন হতে পারি। তবে অবশ্যই 1 দিনের পরে নয়।

Comments

এগুলি সাধারণত এক ঘন্টার মধ্যে উপস্থিত হয়। সুতরাং আমি একমত, আমার এটি সময় দেওয়া উচিত, তবে এর স্বাভাবিক ফ্রিকোয়েন্সি অনুসারে ... আমার আছে।

— মাইকেল প্রাইর

@ মাইকেল আপনি আপেলের সাথে আপেল তুলনা করছেন কিনা তা নিশ্চিত করুন - গুগল আমাদের অন্যান্য সাইটের তুলনায় অনেক বেশি হারে স্ট্যাকওভারফ্লো ডট কমকে সূচক হিসাবে দেখায়।

— জেফ