প্রশ্ন ট্যাগ «robots.txt»

আমি প্রতিটি ওয়েবসাইটে থাকা ফাইলগুলির একটি তালিকা রাখতে চাই। বেশিরভাগ ব্রাউজার এবং বটগুলি খুশি করার জন্য এবং লগগুলিতে 404 বার্তার সংখ্যার সাথে নামার ধারণাটি হ'ল। এখন পর্যন্ত আমার কাছে নিম্নলিখিত ফাইলগুলি রয়েছে: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png এমন অন্যান্য ফাইল রয়েছে যা প্রায়শই অনুরোধ করা হয় এবং প্রতিটি …

36 robots.txt  404  logging  favicon 

আমি যদি কোনও বিশেষ আচরণ সেট করতে না চাই, আমি যদি কোনও রোবটস.টি.এস.টি.টি. ফাইল রাখার মাথা ঘামান না তবে এটি কি ঠিক? না কারও অভাব ক্ষতিকারক হতে পারে?

29 robots.txt 

একটি ওয়েব সার্ভারে আমাকে এখন প্রশংসনীয় থাকতে হবে আমি লক্ষ্য করেছি যে রোবটস টেক্সট খালি রয়েছে। আমি ভাবলাম যে কোনও খালি রোবট.এসটিএসটি এবং কোনও ফাইলের মধ্যে কোনও পার্থক্য আছে কিনা। এই দুটি ক্ষেত্রে ক্রলারের কী আলাদা আচরণ হয়? সুতরাং, খালি রোবটসটিটিএসটি মুছে ফেলা কি নিরাপদ?

28 web-crawlers  robots.txt  webserver 

আমার কয়েকটি গতিশীল উত্পন্ন URL আছে। এই ইউআরএলগুলিকে একটি রোবটস.টিএসটিএল ব্লক করতে আমি কি রেজেক্স ব্যবহার করতে পারি?

23 robots.txt  regular-expression 

আমার বর্তমানে দুটি সাইট রয়েছে যার উপরে আমি কাজ করছি যা একটি শপিং কার্ট এবং অন্য একটি ক্রেতা। উভয় একই ডোমেন নামের অধীনে যেমন উদাহরণস্বরূপ http://example.com/first_url http://example.com/second_url এই দুটি ইউআরএলের নীচে অনেকগুলি পৃষ্ঠা রয়েছে http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 আমি কীভাবে মূল ইউআরএল /first_urlএবং /second_urlখুব এবং সমস্ত উপ পৃষ্ঠা …

19 seo  robots.txt 

আমার সাইটে আমার কয়েকটি পৃষ্ঠাগুলি রয়েছে যা আমি অনুসন্ধান ইঞ্জিনগুলি দূরে রাখতে চাই, তাই আমি তাদের আমার robots.txtফাইলে এইভাবে বারণ করলাম : User-Agent: * Disallow: /email তবুও আমি সম্প্রতি লক্ষ্য করেছি যে গুগল এখনও কখনও কখনও তাদের অনুসন্ধানের ফলাফলগুলিতে pages পৃষ্ঠাগুলির লিঙ্কগুলি ফেরত দেয়। কেন এটি ঘটে এবং আমি কীভাবে …

18 google-search  robots.txt 

আমি এক সপ্তাহ আগে আমার একটি সাইটে একটি রোবটস.টিএসটি ফাইল যুক্ত করেছি, যা গুগলবটকে নির্দিষ্ট ইউআরএল আনার চেষ্টা থেকে বিরত থাকতে হবে। তবে এই উইকএন্ডে আমি গুগলবট দেখতে পাচ্ছি ঠিক সেই ইউআরএলগুলি লোড করা। গুগল কি রোবটস.টি.এইচটিএসকে ক্যাশে করে এবং যদি তা হয় তবে তা করা উচিত?

17 googlebot  robots.txt  google-cache 

আমার একটি উপ-ডিরেক্টরি রয়েছে যা আমি অনুসন্ধান ইঞ্জিন ওয়েব ক্রোলারগুলি থেকে আড়াল করতে চাই। এটি করার একটি উপায় হ'ল robots.txtসার্ভারের মূল ডিরেক্টরিতে একটি (স্ট্যান্ডার্ড উপায়) use যাইহোক, যে কেউ ওয়েবসাইটের ইউআরএল জানেন এবং কিছু প্রাথমিক ওয়েব জ্ঞান থাকতে পারে তিনি রোবটস টেক্সট সামগ্রীগুলি অ্যাক্সেস করতে পারবেন এবং নিষ্ক্রিয় ডিরেক্টরিগুলি স্পট …

16 web-crawlers  robots.txt 

আপনি কী দয়া করে আমাকে জানতে পারেন কীভাবে robots.txtগুগলবোট থেকে সূচি বন্ধ করতে এই জাতীয় URL গুলি ব্লক করবেন? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q আমার ওয়েবসাইটটি হ্যাক হয়েছিল যা এখন পুনরুদ্ধার করা হয়েছে তবে হ্যাকার গুগলে 5000 ইউআরএল সূচী করেছে এবং এখন /+উপরের লিঙ্কের সাথে শুরু করে এলোমেলোভাবে উত্পন্ন লিঙ্কগুলিতে আমি 404 ত্রুটি পেয়েছি …

15 google-search  robots.txt  url-removal 

আমি পছন্দ করি না যে আমি আমার ওয়েব সার্ভারের অ্যাক্সেস.লগে 404 টি ত্রুটি দেখতে পেয়েছি । আমি এই ত্রুটিগুলি পাচ্ছি কারণ ক্রোলাররা একটি রোবটস.টিএসটিএল ফাইল খোলার চেষ্টা করে , তবে কোনওটিই খুঁজে পেল না। সুতরাং আমি একটি সাধারণ রোবটস.টি.এস.টি. ফাইল রাখতে চাই যা 404 ত্রুটিগুলিকে আমার লগ ফাইলে প্রদর্শিত হতে …

14 robots.txt 

CSS এবং টেমপ্লেটগুলি কি robots.txt এ অনুমোদিত ? এটি কোন সমস্যা হতে পারে? জুমলায়, সিএসএস এবং টেমপ্লেটগুলি robots.txt এ অনুমোদিত নয় । আমার আসন্ন ওয়েবসাইটগুলির জন্য সিএসএস, টেমপ্লেট ইত্যাদির জন্য রোবোটগুলিতে অনুমতি না দেওয়া বা না দেওয়ার একটি সমাধান খুঁজতে দয়া করে আমাকে সহায়তা করুন।

12 css  robots.txt 

আমার ওয়েবসাইটে কিছু পৃষ্ঠা রয়েছে যা আমি চাই যে আমি কেবল তার / ইউআরএল দিলে ব্যবহারকারী কেবল তার সাথে দেখা করতে পারবে। যদি আমি একক পৃষ্ঠাগুলি এতে অস্বীকার করি তবে এগুলিতে যে কেউ এটি দেখলে robots.txtতা দৃশ্যমান হবে। আমার প্রশ্ন হ'ল: আমি যদি এগুলি কোথাও থেকে বা কমপক্ষে কোনও সূচী …

12 robots.txt 

অনেকগুলি বট লিখেছেন এবং বিশাল পরিমাণে এলোমেলো বটগুলি দেখে যা একটি সাইট ক্রল করার জন্য ঘটেছে, আমি ওয়েবমাস্টার হিসাবে ভাবছি, কোন সাইটগুলি বটগুলি আসলে কী মূল্য দেবে? আমার প্রথম চিন্তাটি হ'ল যে সাইটগুলিতে বটগুলি অনুমতি দেওয়া সম্ভব সম্ভাব্যভাবে এতে আসল ট্র্যাফিক আনতে পারে। কোনও সাইটগুলিতে সত্যিকারের ট্র্যাফিক প্রেরণ করা হয় …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

আমার একটি সাবোমাইন রয়েছে যা আমি কোনও অনুসন্ধান ইঞ্জিনের ফলাফলের তালিকাভুক্ত হতে চাই না। আমার আছে বলে দিন: http://www.example.com http://child.example.com বর্তমানে অনুসন্ধান ইঞ্জিনের ফলাফলগুলিতে প্রদর্শিত ডোমেনের সমস্ত ইউআরএল আমি কীভাবে গোপন করব child.example.com?

11 search-engines  url  robots.txt  search  noindex 

এটি আমার রোবটস টেক্সট : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz তবে গুগল ওয়েবমাস্টার সরঞ্জাম আমাকে বলে যে রোবটগুলি সাইটম্যাপে অ্যাক্সেস আটকাচ্ছে: আপনার সাইটম্যাপটি অ্যাক্সেস করতে গিয়ে আমরা একটি ত্রুটির মুখোমুখি হয়েছি। দয়া করে নিশ্চিত করুন আপনার সাইটম্যাপটি আমাদের নির্দেশিকা অনুসরণ করে এবং অবস্থান আপনার দেওয়া এবং তারপর …

11 google-search-console  robots.txt  web-crawlers