ডোমেন দ্বারা অস্বীকৃত রোবটগুলি এখনও অনুসন্ধানের ফলাফলগুলিতে তালিকাভুক্ত রয়েছে


9

সুতরাং, আমাদের সকল সাইটগুলিতে যা মুখোমুখি অনুসন্ধান করছে না আমরা একটি রোবটস.টি.এস.টি.এল ফাইল প্রয়োগ করেছি ( রিয়েল-টাইম গুগল অনুসন্ধান ফলাফল থেকে কোনও ওয়েবসাইটকে কীভাবে বাদ দিতে হবে? বা অন্য কোনও অনুরূপ প্রশ্ন)।

তবে, যদি অনুসন্ধানের পদগুলি যথেষ্ট সুনির্দিষ্ট হয় তবে ফলাফলের মাধ্যমে ডোমেনটি নিজেই পাওয়া যাবে। এর উদাহরণ এখানে পাওয়া যাবে । আপনি লিঙ্কটি থেকে দেখতে পাচ্ছেন, ডোমেনটি নিজেই পাওয়া যাবে (বিষয়বস্তু ক্যাশেড নয়, তবে ডোমেন তালিকাভুক্ত)। অতিরিক্তভাবে, site:hyundaidigitalmarketing.com3 টি ফলাফলের সাথে অনুসন্ধান করা । ব্যাকলিঙ্কগুলি পরীক্ষা করাও কয়েকটি সরবরাহ করে তবে আমি অবশ্যই এগুলি প্রতিরোধ করতে পারি না (প্রসঙ্গে লিঙ্ক করার অনুমতি দেওয়া হয়) বা কীভাবে এগুলি পরিচালনা করা হয় তা নিয়ন্ত্রণ করতে পারি (হোস্টকে নোফলো, নয়েডেক্স যুক্ত করতে বলতে পারি না)।

এখন, আমি জানি এটি একটি গুরুতর প্রান্তের মামলা, তবে আমার সংস্থাগুলি ক্লায়েন্টরা কেবল এটি করছে। প্রকৃতপক্ষে, আমাদের ডোমেনগুলি বেশ ভাল, তাই এমনকি আপাতদৃষ্টিতে স্বেচ্ছাসেবী অনুসন্ধানগুলি প্রাসঙ্গিক ফলাফলগুলি সরিয়ে নিয়েছে। এখন, কীভাবে / কেন হচ্ছে তা নিয়ে আমার একটি প্রতিবেদন লিখতে হবে।

সুতরাং, আমি যা মিস করছি তা বুঝতে বা কী ঘটছে তা বুঝতে আমাকে সহায়তা করার জন্য আমি দুর্দান্ত স্ট্যাক এক্সচেঞ্জ নেটওয়ার্কের দিকে ফিরে যাই। শিল্প নিবন্ধগুলির লিঙ্কগুলি অত্যন্ত সহায়ক তবে আপনি যা কিছু দিতে পারেন তা অবশ্যই দুর্দান্ত। ভবিষ্যতে এই উত্তরটি পরিণত করার জন্য আমি যতটা সম্ভব সেরা অনুদানের প্রস্তাব দিচ্ছি।

সম্পাদনা: এটিতে আরও কিছু প্রতিক্রিয়া পাওয়ার আশায় আমি এই প্রশ্নের উপরে একটি উদ্বোধন খুলেছি। আমি নীচে আমার নিজের গবেষণার ফলাফলগুলিও সরবরাহ করেছি।

উত্তর:


5

আমাকে এই তথ্যের উত্স সন্ধান করতে হবে তবে স্পষ্টতই রোবটস টেক্সট কোনও পৃষ্ঠাটিকে সূচিবদ্ধ হতে আটকাবে না। তবে এইচটিটিপি এক্স-রোবটস-ট্যাগ শিরোনাম দৃশ্যত কাজ করে।

আপনি যদি আপাচি ব্যবহার করছেন তবে আপনি এইচটিএচসেসস ফাইলে এই লাইনটি ব্যবহার করে বেশ কয়েকটি পৃষ্ঠায় ব্লক করতে পারেন:

Header set x-robots-tag: noindex

একবার চেষ্টা করে দেখুন কী হয়।

সম্পাদন করা

( একটি উত্স খুঁজে পেয়েছি I আমি মনে করি এটির নয় তবে এটি কাজ করে)।


হ্যালো, এবং উত্তরের জন্য ধন্যবাদ। উপরের উদাহরণ হিসাবে ব্যবহৃত সাইটটির এইচটিএমএল আউটপুটটিতে ইতিমধ্যে প্রয়োগ করা রোবট মেটা ট্যাগ থেকে এটি কীভাবে আলাদা? আমি যতদূর বলতে পারি এটি কেবল প্রতিস্থাপন হিসাবে কাজ করে যাতে আপনার এটি প্রতিটি পৃষ্ঠায় রাখার দরকার নেই।
কেভিন পেনো

@ কেভিন, কার্যকারিতার দিক থেকে এগুলি একই হওয়া উচিত । আপনি যেমন বলেছিলেন তেমন পরিচালনা করা সহজ হবে।
জন কনডে

4

আমি মনে করি ম্যাট কাটস এই সম্পর্কে কথা বলেছেন। আমার স্মৃতি যদি সঠিক হয় তবে এটি লিঙ্কিংয়ের সাথে করা উচিত। এখানে আরও রয়েছে: http://www.google.com/support/forum/p/Webmasters/thread?tid=2720810fa226e9c8&hl=en

আপনি গুগল অপসারণ সরঞ্জামের সাহায্যে এগুলি সরাতে পারেন।


আপনি এগুলির সাথে সমস্তগুলি দেখতে পাচ্ছেন: সাইট: gmpackageguide.com অনেকগুলি ইউআরএল নেই। আমি ধরে নিয়েছি যে রোবটগুলি অনুমোদিত না হওয়ার আগে তারা সূচীতে ছিল। আমি কেবল তাদের সরাতে হবে।
জো

ভবিষ্যতে, আমি ওয়েব ডিজাইনের লোকদের সর্বদা কোনও সূচি, ওয়েব পৃষ্ঠার বিভাগে অনুসরণ না করার জন্য নির্দেশ দেব would আমার সন্দেহ হয় আপনি যে সিএমএস ব্যবহার করছেন তা এটি করতে পারে।
জো

@ জো - সম্মত হন, তবে সুপারিশ করবেন noindex, followযাতে যে কোনও পেজর্যাঙ্ক যে ব্যাক-লিঙ্কগুলি হতে পারে তা থেকে বিতরণ করা হয়।
মাইক হডসন

@ জো এবং @ মাইক, তথ্যের জন্য ধন্যবাদ। তবে, সাইটটি নিন: হুন্ডেডিজিটালমার্কিং ডটকম। এক বছর আগে আমি নিজেই এই সাইটটি চালু করেছি। এটিতে একটি রোবটস.টেক্সট ফাইল এবং মেটা শিরোনাম উভয়ই অন্তর্ভুক্ত। তবে, আপনি যেমন site:hyundaidigitalmarketing.comশর্তাবলী সহ বা গুগলে অনুসন্ধানের জন্য ফর্ম দেখতে পাচ্ছেন hyundai digital marketing, ডোমেন নিজেই প্রথম এবং সেরা ফলাফল হিসাবে উপস্থিত হতে থাকবে। আমি এটি প্রতিরোধ করা প্রয়োজন।
কেভিন পেনো

এছাড়াও, links:hyundaidigitalmarketing.comফিরে অনুসন্ধান লিঙ্কগুলির জন্য অনুসন্ধান । আমি অবশ্যই ফর্ম্যাটিং ব্যাকলিঙ্কগুলি আটকাতে বা নিয়ন্ত্রণ করতে পারি না এবং সেগুলি বৈধ হতে পারে। সাইটের সাথে লিঙ্ক করার কারণে যদি এটি হয় তবে আমার বুঝতে হবে কীভাবে / কেন যাতে আমি আমার উর্ধতনদের কাছে এটি ব্যাখ্যা করতে পারি। আমি আশা করি এটি আমার প্রশ্নটি আরও ভালভাবে ব্যাখ্যা করে।
কেভিন পেনো

3

বিষয়টিতে আমার গবেষণার উপর ভিত্তি করে, আমি খুঁজে পেয়েছি যে উপাত্তগুলিকে সূচিকরণ এবং ক্যাচিং প্রতিরোধের জন্য 100% গ্যারান্টিযুক্ত উপায় নেই, তবে আপনি সুন্দর বর্ধনের কাছাকাছি আসতে পারেন (ধরে নিচ্ছেন বট ট্র্যাফিকের বর্ধনের সাথে মোকাবিলা করতে চান)। আমি কীভাবে তথ্যটি ব্যাখ্যা করেছি।

কেউ ভাববেন যে রোবটসটিটিএসটি ফাইলটি রোবট সম্পর্কিত তথ্য-প্রশস্ত সাইটের সংজ্ঞা দিতে ব্যবহৃত হয় এবং মেটা ট্যাগগুলি পৃষ্ঠা সুনির্দিষ্ট বিশদের জন্য ব্যবহৃত হয়। আমি মনে করি 2 এর পিছনে স্পিরিটটি ঠিক এটি তবে বাস্তবে এটি তেমন নয়।

একটি robots.txt ফাইল তৈরি করবেন না

এসআরপি-তে সামগ্রী প্রদর্শিত হতে বাধা দেওয়ার জন্য এটি সমস্ত বড় অনুসন্ধান সরবরাহকারীদের সাথে কাজ করে তবে সূচীকরণ প্রতিরোধ করে না । এটি আপনার পৃষ্ঠাগুলি ক্রল করা থেকেও বটকে বাধা দেয় তাই যে কোনও রোবট মেটা ট্যাগ (নীচে দেখুন) এড়ানো হবে। এ কারণে আপনি 2 টি একসাথে ব্যবহার করতে পারবেন না এবং এ কারণেই যদি আপনি সূচীকরণ প্রতিরোধ করতে চান তবে আপনার একটি রোবট.এসটিএসটি ফাইল ব্যবহার করা উচিত নয়।

পার্শ্ব দ্রষ্টব্য: গুগল Noindex: /রোবট.এসটিএসটি ব্যবহারের পক্ষে সমর্থন করে তবে এটি অনিবন্ধিত (এটি কখন ভেঙে যাবে কে জানে) এবং এটি অন্য কারও পক্ষে কাজ করে কিনা তা অজানা।

সমস্ত কিছু রোধ করতে HTTP শিরোনাম বা এইচটিএমএল মেটা ট্যাগ ব্যবহার করুন

Robots.txt ফাইলের বিপরীতে, রোবটগুলি মেটা ট্যাগ (এবং এইচটিটিপি শিরোলেখ) ব্যাপকভাবে সমর্থিত এবং আশ্চর্যজনকভাবে বৈশিষ্ট্যযুক্ত। এটি প্রতিটি পৃষ্ঠায় সেট করার জন্য ডিজাইন করা হয়েছে তবে সাম্প্রতিক X-Robots-Tagশিরোনাম গ্রহণের ফলে সাইট-প্রশস্ত সেট করা সহজ হয়। এই পদ্ধতির একমাত্র খারাপ দিকটি হ'ল বটগুলি আপনার সাইটের ক্রল করবে। এটি ব্যবহার করে সীমাবদ্ধ করা যেতে পারে nofollowতবে সমস্ত বট সত্যই সম্মান করে না nofollow

আমি এটি পুরানো, ব্লগ পোস্টে একটি টন তথ্য পেয়েছি । এটির মূল প্রকাশটি 2007 ছিল তবে এটির পরে প্রচুর তথ্য নতুন বৈশিষ্ট্যযুক্ত বলে মনে হয় এটি নিয়মিত আপডেট হচ্ছে।

সংক্ষেপে, আপনার একটি HTTP শিরোনাম প্রেরণ করা উচিত X-Robots-Tag: noindex,nofollow,noodp,noydir। এখানে বিরতি কেন:

  • nofollowবট ট্র্যাফিককে নীচে রেখে আপনার সাইটে ক্রল হওয়া পৃষ্ঠাগুলির সংখ্যা সীমাবদ্ধ করা উচিত। * noindexইঞ্জিনগুলিকে পৃষ্ঠাটি সূচী না করতে বলে।
  • এখন, আপনি ধরে নিতে পারেন যে noindexযথেষ্ট হতে পারে। তবে, আমি খুঁজে পেয়েছি যে এমনকি যদি আপনি বলেন যে noindexঅন্য সাইটগুলির সাথে লিঙ্ক করার কারণে আপনার সাইটটি সূচিযুক্ত হতে পারে। সাধারণ সাইট লিঙ্কগুলি ওয়াই থেকে রোধ করার সর্বোত্তম উপায়! ডিরেক্টরি ( noydir) এবং ওপেন ডিরেক্টরি ( noodp)।
  • HTTP শিরোলেখ ব্যবহার এছাড়াও রোবট ফাইল, ইমেজ, এবং অন্যান্য অ-HTML ফাইল তথ্য প্রযোজ্য! হ্যাঁ!

এটি 99% ক্ষেত্রে কাজ করবে। মনে রাখবেন যদিও কিছু সরবরাহকারী কর্তৃক কিছু ক্ষেত্রে সূচীভূত হওয়া এখনও সম্ভব । গুগল পুরোপুরি শ্রদ্ধার দাবি করেছে noindex, তবে আমার সন্দেহ আছে।

অবশেষে, আপনি যদি সূচিকৃত হন বা ইতিমধ্যে সূচকযুক্ত হয়ে গেছেন তবে আপনার তথ্য ডি-ইনডেক্সড করার একমাত্র উপায় হ'ল সাইট / ইউআরএল অপসারণের অনুরোধ করার জন্য প্রতিটি সরবরাহকারীর বিভিন্ন উপায় অনুসরণ করা। স্পষ্টতই এর অর্থ হ'ল আপনি সম্ভবত গুগল সতর্কতাগুলির মতো কিছু ব্যবহার করে সাইটগুলি / পৃষ্ঠাগুলি পর্যবেক্ষণ করতে চান (ধন্যবাদ @ জো)।


3

আমি মনে করি যে আপনার মূল সমস্যাটি সাইটের পিছনের লিঙ্কগুলি কারণ এটি অনুসন্ধান ইঞ্জিনগুলিকে সাইটে একটি এন্ট্রি পয়েন্ট দেয় এবং সে সম্পর্কে তাদের সচেতন করে তোলে। সুতরাং যদিও তারা সাইটের জন্য কোনও বিবরণ প্রদর্শন করবে না তবে তারা যদি ফলাফলটির জন্য এটি সেরা ম্যাচ বলে মনে করে তবে তারা URL প্রদর্শন করতে পারে।

@ জো পোস্ট করা একজনের সাথে লিখিত এই নিবন্ধটি পড়ুন: ম্যাট কাটস গুগল রাখছেন না

মূল বিটটি হ'ল:

এর একটি দুর্দান্ত কারণ রয়েছে: আমি যখন 2000 সালে গুগলে শুরু করেছি তখন বেশ কয়েকটি দরকারী ওয়েবসাইটের (ইবে, নিউইয়র্ক টাইমস, ক্যালিফোর্নিয়া ডিএমভি) রবোট.টেক্সট ফাইল রয়েছে যা কোনও পৃষ্ঠা আনতে নিষেধ করেছিল। এখন আমি আপনাকে জিজ্ঞাসা করছি, কেউ যখন [ক্যালিফোর্নিয়া ডিএমভি] কোয়েরি করে তখন অনুসন্ধান ফলাফল হিসাবে আমাদের কী ফিরে আসার কথা? আমরা www.dmv.ca.gov কে প্রথম ফলাফল হিসাবে না ফিরিয়ে দিলে আমরা অত্যন্ত দু: খিত দেখতে চাই। তবে মনে রাখবেন: আমাদের এই মুহুর্তে www.dmv.ca.gov থেকে পৃষ্ঠা আনার অনুমতি ছিল না। সমাধানটি ছিল আনরোলড লিঙ্কটি দেখানো যখন আমাদের কাছে উচ্চ স্তরের আস্থা ছিল যে এটি সঠিক লিঙ্ক link কখনও কখনও আমরা এমনকি ওপেন ডিরেক্টরি প্রকল্প থেকে একটি বিবরণ টানতে পারি, যাতে আমরা পৃষ্ঠাটি আনয়ন না করেও ব্যবহারকারীদের প্রচুর তথ্য দিতে পারি।

আপনি যে গবেষণাটি করেছেন তা জিনিসগুলিকে শান্তভাবে ভালভাবে কভার করে এবং @ জোহান এবং @ জো এর উত্তর দুটিই প্রাসঙ্গিক। আমি নীচে একটি লিঙ্ক অন্তর্ভুক্ত করেছি যা অনুসন্ধান ইঞ্জিনগুলি অবরুদ্ধ করার বিষয়ে আরও কিছু গাইডেন্স দেয়। আমি কেবলমাত্র সাইটটি সম্পূর্ণরূপে অবরুদ্ধ করার জন্য ভাবতে পারি এটি হ'ল সাইটের সামনে পাসওয়ার্ড সুরক্ষার কিছু ফর্ম যুক্ত করা যা বিষয়বস্তু প্রদর্শিত হওয়ার আগে সম্পূর্ণ করা দরকার।

অনুসন্ধানে উপস্থিত না হওয়ার জন্য SEOMoz টিপস


আলোচনায় যুক্ত করার জন্য ধন্যবাদ। পাসওয়ার্ড সুরক্ষা ক্রলিং প্রতিরোধে ভাল কাজ করে তবে সূচীকরণ প্রতিরোধ করে না। যেহেতু রোবটস.টিএসটিএস এটি থামাতে একটি ভাল কাজ করে পাসওয়ার্ড সুরক্ষার একমাত্র সুবিধা হ'ল এটি চোখের পাতাগুলি এটির সন্ধান থেকে আটকাবে। দুর্ভাগ্যক্রমে, বেশিরভাগ সামগ্রী "সুরক্ষিত" হওয়ার পক্ষে যথেষ্ট সংবেদনশীল নয় এবং এটি তৈরির ব্যবহারযোগ্যতার সমস্যাগুলিকে অবশ্যই সতর্ক করে না। [অবিরত ...]
কেভিন পেনো

আমার গবেষণায় আমি যে উপমাটি সবচেয়ে সহায়ক পেয়েছি তা হ'ল ফোন বইয়ের সাথে তুলনা। যদি অনুসন্ধান ইঞ্জিনগুলি ফোন বই হয় এবং আপনি তালিকাবদ্ধ না হতে বলে থাকেন তবে আপনি কখনও তালিকাভুক্ত না হওয়ার জন্য জিজ্ঞাসা করতে পারেন এবং তাদের এটি সম্মান করা উচিত। দুর্ভাগ্যক্রমে, সার্চ ইঞ্জিনগুলি সেই সংস্থাগুলির সাথে আরও সাদৃশ্যপূর্ণ আচরণ করছে যা অন্যান্য সংস্থাগুলি পরিচিতি বিক্রি করে যার বিনিময়ে অর্থ প্রদান / জিজ্ঞাসা করতে ইচ্ছুক ব্যক্তিকে দেওয়া হয়।
কেভিন পেনো

@ কেভিন আমি বুঝতে পারছি আপনি কী বলছেন দুর্ভাগ্যবশত আমি মনে করি না যে বর্তমানে অনুসন্ধান ইঞ্জিনগুলি যেভাবে কাজ করে তার সাথে সম্পূর্ণরূপে মুছে ফেলা সম্ভব হবে যা আপনি আশা করতে পারেন সেই ক্ষেত্রে কেবলমাত্র একটি ইউআরএল তালিকা রয়েছে।
ম্যাথু ব্রুকস

ওহ, আমি এখন বুঝতে পারি (গবেষণা পরবর্তী)। এছাড়াও, দয়া করে আমার মন্তব্যে আপনার উত্তরটি কোনও নেতিবাচক আলোতে নেবেন না। আমি এই বিষয়ের সাথে আপনার সংযোজনকে প্রশংসিত করছি, আমি কেবল এই জাতীয় সমাধান বাস্তবায়নের ক্ষেত্রে যুক্ত করার জন্য জবাব দিয়েছিলাম, সাথে সাথে আমি মনে করি একটি সামান্য অফ-টপিক ব্যানার যুক্ত করছি। : পি
কেভিন পেনো
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.