সম্পূর্ণ পৃষ্ঠাটি ডাউনলোড না করে কীভাবে এইচটিটিপি স্থিতি নির্ধারণ করবেন?

Question

আমি উবুন্টু ব্যবহার করে ওয়েবসাইটগুলির এইচটিটিপি স্থিতি জানতে চাই। আমি সেই উদ্দেশ্যে ব্যবহার করেছি curlএবং wgetআদেশ দিয়েছি । তবে সমস্যাটি হ'ল এই কমান্ডগুলি সম্পূর্ণ ওয়েবসাইট পৃষ্ঠাটি ডাউনলোড করে এবং তারপরে শিরোনামটি অনুসন্ধান করে এটি স্ক্রিনে প্রদর্শন করে। উদাহরণ স্বরূপ:

$ curl -I trafficinviter.com
HTTP/1.1 200 OK
Date: Mon, 02 Jan 2017 14:13:14 GMT
Server: Apache
X-Pingback: http://trafficinviter.com/xmlrpc.php
Link: <http://trafficinviter.com/>; rel=shortlink
Set-Cookie: wpfront-notification-bar-landingpage=1
Content-Type: text/html; charset=UTF-8

Wgetকমান্ডের সাথে একই জিনিস ঘটে যেখানে সম্পূর্ণ পৃষ্ঠাটি ডাউনলোড করা হচ্ছে এবং অযথা আমার ব্যান্ডউইথটি গ্রাস করছে।

আমি যা খুঁজছি তা হ'ল: কোনও পৃষ্ঠা ডাউনলোড না করে কীভাবে এইচটিটিপি স্থিতির কোড পাবেন যাতে আমি আমার ব্যান্ডউইথের খরচ বাঁচাতে পারি। আমি কার্ল ব্যবহার করার চেষ্টা করেছি কিন্তু নিশ্চিত নই যে আমি স্থিতি কোডটি পেতে আমার সিস্টেমে সম্পূর্ণ পৃষ্ঠা বা কেবল একটি শিরোনাম ডাউনলোড করছি।

Comments

"কার্ল ব্যবহারের চেষ্টা করা হয়েছে তবে নিশ্চিত নয় যে আমি সম্পূর্ণ পৃষ্ঠাটি ডাউনলোড করছি বা কেবল একটি শিরোনাম" - curl -v( --verbose) বিকল্পটি কার্লটি আসলে কী পাঠাচ্ছে এবং গ্রহণ করছে তা ডিবাগ করার একটি সহজ উপায়।

— বেনি চেরনিয়াভস্কি-পাসকিন

আমি আশঙ্কা করছি যে আমি নীচে নামছি কারণ আপনার কাছে ইতিমধ্যে প্রশ্নটির সমাধান রয়েছে।

— মনিকার সাথে লাইটনেস রেস

@ লাইটনেসেসেসিনআরবিত আমি প্রশ্নটি আমার উত্তর কিনা তা জানতে পারছিলাম না। আমি আমার বিভ্রান্তি সমাধানে সহায়তা করতে এসেছি। আপনি এখনও যদি জানতে যে আমার প্রশ্নের ভুল .. আমি downvote আপনার সিদ্ধান্ত .. স্বাগত জানাই আপনাকে ধন্যবাদ

— Jaffer উইলসন

manpages.ubuntu.com/manpages/trusty/en/man1/curl.1.html

— মনিকার সাথে লাইটনেস রেস

"এই কমান্ডগুলি সম্পূর্ণ ওয়েবসাইট পৃষ্ঠা ডাউনলোড করুন" - না, তারা করেন না

— মনমোহন মনিকা

Answer 1

curl -Iনিয়ে আসে শুধুমাত্র HTTP- র হেডার; এটি পুরো পৃষ্ঠাটি ডাউনলোড করে না। থেকে man curl:

-I, --head
      (HTTP/FTP/FILE) Fetch the HTTP-header only! HTTP-servers feature
      the command HEAD which this uses to get nothing but  the  header
      of  a  document. When used on an FTP or FILE file, curl displays
      the file size and last modification time only.

আরেকটি বিকল্প হ'ল ইনস্টল lynxএবং ব্যবহার lynx -head -dump।

হেড অনুরোধটি HTTP 1.1 প্রোটোকল ( আরএফসি 2616 ) দ্বারা নির্দিষ্ট করা হয়েছে :

9.4 HEAD

   The HEAD method is identical to GET except that the server MUST NOT
   return a message-body in the response. The metainformation contained
   in the HTTP headers in response to a HEAD request SHOULD be identical
   to the information sent in response to a GET request. This method can
   be used for obtaining metainformation about the entity implied by the
   request without transferring the entity-body itself. This method is
   often used for testing hypertext links for validity, accessibility,
   and recent modification.

Comments

জিইটি-র চেয়ে আলাদা স্ট্যাটাস কোড ফেরত দেওয়ার জন্য হেড অনুরোধের জন্য (মানদণ্ডের সীমানার মধ্যেই সম্ভবত এটি সম্ভব ) সম্ভবত এটি সম্ভব ?

— কুতুলু মাইক 21

@ কুটুলু মাইক: অনুরোধ করা তথ্য সরবরাহ করতে উত্তর সম্পাদনা করেছেন। আরএফসির কথায়, এটি একই মেনটফর্মেশন সরবরাহ করা উচিত।

— অ্যালেক্সপি

@duskwuff অতঃপর HEAD রিকোয়েস্ট একই 405 ফেরত পাঠাবেন

— AlexP

@ অ্যালেক্সপি আমার ভুল কিছু মনে করো না!

— সন্ধ্যাশযা

Answer 2

সঙ্গে wget, আপনি ব্যবহার করতে হবে --spiderবিকল্প কার্ল মত শুধু HEAD অনুরোধ পাঠাতে:

$ wget -S --spider https://google.com
Spider mode enabled. Check if remote file exists.
--2017-01-03 00:08:38--  https://google.com/
Resolving google.com (google.com)... 216.58.197.174
Connecting to google.com (google.com)|216.58.197.174|:443... connected.
HTTP request sent, awaiting response... 
  HTTP/1.1 302 Found
  Cache-Control: private
  Content-Type: text/html; charset=UTF-8
  Location: https://www.google.co.jp/?gfe_rd=cr&ei=...
  Content-Length: 262
  Date: Mon, 02 Jan 2017 15:08:38 GMT
  Alt-Svc: quic=":443"; ma=2592000; v="35,34"
Location: https://www.google.co.jp/?gfe_rd=cr&ei=... [following]
Spider mode enabled. Check if remote file exists.
--2017-01-03 00:08:38--  https://www.google.co.jp/?gfe_rd=cr&ei=...
Resolving www.google.co.jp (www.google.co.jp)... 210.139.253.109, 210.139.253.93, 210.139.253.123, ...
Connecting to www.google.co.jp (www.google.co.jp)|210.139.253.109|:443... connected.
HTTP request sent, awaiting response... 
  HTTP/1.1 200 OK
  Date: Mon, 02 Jan 2017 15:08:38 GMT
  Expires: -1
  Cache-Control: private, max-age=0
  Content-Type: text/html; charset=Shift_JIS
  P3P: CP="This is not a P3P policy! See https://www.google.com/support/accounts/answer/151657?hl=en for more info."
  Server: gws
  X-XSS-Protection: 1; mode=block
  X-Frame-Options: SAMEORIGIN
  Set-Cookie: NID=...; expires=Tue, 04-Jul-2017 15:08:38 GMT; path=/; domain=.google.co.jp; HttpOnly
  Alt-Svc: quic=":443"; ma=2592000; v="35,34"
  Transfer-Encoding: chunked
  Accept-Ranges: none
  Vary: Accept-Encoding
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

Comments

আপনি কী ভাবেন না যে আমার বন্ধুটি এই উইজেটটি সম্পূর্ণ পৃষ্ঠাটি আনবে এবং তারপরে শিরোনামটি প্রদর্শন করবে।

— জাফার উইলসন

@ জাফার উইলসন আউটপুটটির শেষ কয়েকটি লাইন পড়েন।

— মুরু