ইউআরএলগুলির তালিকার HTTP স্থিতি কোড পেতে স্ক্রিপ্ট?

Question 1

আমার কাছে ইউআরএলএসের একটি তালিকা রয়েছে যা আমার চেক করা দরকার, তারা এখনও কাজ করে কি না তা দেখতে। আমি একটি বাশ স্ক্রিপ্ট লিখতে চাই যা আমার জন্য এটি করে।

আমার কেবলমাত্র ফিরে আসা এইচটিটিপি স্থিতি কোডের প্রয়োজন, যেমন 200, 404, 500 এবং আরও। বেশি কিছু না.

সম্পাদনা করুন নোট করুন যে পৃষ্ঠাটি "404 পাওয়া যায় নি" তবে 200 টি ঠিক আছে বার্তাটি দেয় তবে একটি সমস্যা রয়েছে। এটি একটি ভুল কনফিগার্ড ওয়েব সার্ভার, তবে আপনাকে এই ক্ষেত্রে বিবেচনা করতে হতে পারে।

এ সম্পর্কে আরও তথ্যের জন্য, URL "404" পাঠ্যযুক্ত কোনও পৃষ্ঠায় URL টি যায় কিনা তা দেখুন see

Question 2

কার্লের একটি নির্দিষ্ট বিকল্প রয়েছে --write-out, এর জন্য:

$ curl -o /dev/null --silent --head --write-out '%{http_code}\n' <url>
200

-o /dev/null স্বাভাবিক আউটপুট দূরে নিক্ষেপ
--silent অগ্রগতি মিটার দূরে নিক্ষেপ
--head জেটের পরিবর্তে একটি হেড এইচটিটিপি অনুরোধ করে
--write-out '%{http_code}\n' প্রয়োজনীয় স্থিতি কোড মুদ্রণ করে

এটি একটি সম্পূর্ণ বাশ স্ক্রিপ্টে গুটিয়ে রাখতে:

#!/bin/bash
while read LINE; do
  curl -o /dev/null --silent --head --write-out "%{http_code} $LINE\n" "$LINE"
done < url-list.txt

(Agগল চোখের পাঠকরা লক্ষ্য করবেন যে এটি ইউআরএল প্রতি একটি কার্ল প্রক্রিয়া ব্যবহার করে, যা কাঁটাচামচ এবং টিসিপি সংযোগ জরিমানা আরোপ করে multiple একক কার্লে একাধিক ইউআরএল একত্রিত হলে এটি আরও দ্রুততর হবে, তবে দৈত্য পুনরাবৃত্তিটি লেখার মতো জায়গা নেই) বিকল্পগুলির জন্য যা কার্লকে এটি করতে হবে))

Question 3

wget --spider -S "http://url/to/be/checked" 2>&1 | grep "HTTP/" | awk '{print $2}'

আপনার জন্য কেবলমাত্র স্থিতি কোড মুদ্রণ করে

Question 4

ফিল ইতিমধ্যে সরবরাহিত উত্তর বাড়ানো হচ্ছে। যদি আপনি কলটির জন্য এক্সার্গস ব্যবহার করেন তবে এটিতে প্যারালালিজম যুক্ত করা বাশের কোনও ব্রেইনার নয়।

এখানে কোড:

xargs -n1 -P 10 curl -o /dev/null --silent --head --write-out '%{url_effective}: %{http_code}\n' < url.lst

-n1 : কার্ল কলের আর্গুমেন্ট হিসাবে কেবলমাত্র একটি মান (তালিকা থেকে) ব্যবহার করুন

-পি 10: যে কোনও সময়ে 10 কার্ল প্রক্রিয়া জীবিত রাখুন (অর্থাত্ 10 সমান্তরাল সংযোগ)

write_outকার্লের ম্যানুয়ালটিতে প্যারামিটারটি পরীক্ষা করুন যাতে আপনি এটি ব্যবহার করতে (সময়, ইত্যাদি) আরও বেশি ডেটা বের করতে পারেন।

যদি এটি কাউকে সহায়তা করে তবে এই কলটি আমি বর্তমানে ব্যবহার করছি:

xargs -n1 -P 10 curl -o /dev/null --silent --head --write-out '%{url_effective};%{http_code};%{time_total};%{time_namelookup};%{time_connect};%{size_download};%{speed_download}\n' < url.lst | tee results.csv

এটি কেবলমাত্র CSV ফাইলে একগুচ্ছ ডেটা আউটপুট দেয় যা কোনও অফিস সরঞ্জামে আমদানি করা যায়।

Question 5

এটি ব্যাপকভাবে উপলভ্য wget, প্রায় সর্বত্র উপস্থিত, এমনকি আলপাইন লিনাক্সের উপর নির্ভর করে ।

wget --server-response --spider --quiet "${url}" 2>&1 | awk 'NR==1{print $2}'

ব্যাখ্যাগুলি নিম্নরূপ:

--quiet

উইজেটের আউটপুট বন্ধ করুন।

উত্স - উইজেট ম্যান পেজ

--spider

[...] এটি পৃষ্ঠাগুলি ডাউনলোড করবে না, কেবল সেখানে আছে কিনা তা পরীক্ষা করে দেখুন। [...]

উত্স - উইজেট ম্যান পেজ

--server-response

এইচটিটিপি সার্ভারের মাধ্যমে প্রেরিত শিরোনাম এবং এফটিপি সার্ভারগুলির দ্বারা প্রেরিত প্রতিক্রিয়াগুলি মুদ্রণ করুন।

উত্স - উইজেট ম্যান পেজ

তারা যা বলে না তা --server-responseহ'ল এই শিরোনামগুলির আউটপুটটি স্ট্যান্ডার্ড ত্রুটিতে (স্টেরার) মুদ্রিত হয় , সুতরাং স্টিডিনে পুনর্নির্দেশ করা প্রয়োজন ।

স্ট্যান্ডার্ড ইনপুটটিতে আউটপুট প্রেরণ করা হয়েছে, আমরা awkHTTP স্থিতি কোডটি বের করতে এটি পাইপ করতে পারি । এই কোডটি হ'ল:

দ্বিতীয় ( $2) অক্ষরের খালি দল:{$2}
শিরোনামের প্রথম লাইনে: NR==1

আর কারণ আমরা তা মুদ্রণ করতে চান ... {print $2}।

wget --server-response --spider --quiet "${url}" 2>&1 | awk 'NR==1{print $2}'

Question 6

ব্যবহার করুন curlHTTP- র হেডার শুধুমাত্র (না পুরো ফাইল) আনা এবং এটি বিশ্লেষণ করতে:

$ curl -I  --stderr /dev/null http://www.google.co.uk/index.html | head -1 | cut -d' ' -f2
200

Question 7

wget -S -i *file* একটি ফাইলের প্রতিটি url থেকে শিরোনাম পাবেন।

grepবিশেষত স্ট্যাটাস কোডের জন্য ফিল্টার করুন ।

Question 8

পাইথনে লেখা একটি সরঞ্জাম "ওয়েবচেক" পেয়েছি ur ইউআরএলগুলির তালিকার জন্য একটি স্থিতির কোডটি ফেরত দেয় htt https://pypi.org/project/webchk/

আউটপুট এর মতো দেখাচ্ছে:

▶ webchk -i ./dxieu.txt | grep '200'
http://salesforce-case-status.dxi.eu/login ... 200 OK (0.108)
https://support.dxi.eu/hc/en-gb ... 200 OK (0.389)
https://support.dxi.eu/hc/en-gb ... 200 OK (0.401)

আশা করি এইটি কাজ করবে!

Question 9

Https://mywiki.wooledge.org/BashPitfalls#Non-atomic_writes_with_xargs_-P এর কারণে ( xargsঝুঁকিতে সমান্তরাল কাজ থেকে আউটপুট ) সমান্তরাল হওয়ার পরিবর্তে আমি GNU সমান্তরাল ব্যবহার করব xargs:

cat url.lst |
  parallel -P0 -q curl -o /dev/null --silent --head --write-out '%{url_effective}: %{http_code}\n' > outfile

এই বিশেষ ক্ষেত্রে এটি ব্যবহার করা নিরাপদ হতে পারে xargsকারণ আউটপুটটি খুব সংক্ষিপ্ত, সুতরাং ব্যবহারের xargsক্ষেত্রে সমস্যাটি হ'ল যদি পরে কোডটি আরও বড় কিছু করতে পরিবর্তন করে তবে এটি আর নিরাপদ থাকবে না। বা যদি কেউ এই প্রশ্নটি পড়ে এবং মনে করে যে সে curlঅন্য কোনও কিছু দিয়ে প্রতিস্থাপন করতে পারে তবে তাও নিরাপদ নাও হতে পারে।