চেরিও ব্যবহার করে একটি সাধারণ ক্রলার
নোড.জেএস-তে একটি সরল ক্রলার তৈরি করার এটি আমার সূত্র is এটি সার্ভারের পাশে ডিওএম ম্যানিপুলেশন করতে চাওয়ার মূল কারণ এবং সম্ভবত আপনি এখানে আসার কারণ এটি।
প্রথমে requestপৃষ্ঠাটি বিশ্লেষণ করতে ডাউনলোড করতে ব্যবহার করুন । ডাউনলোডটি সম্পূর্ণ হয়ে গেলে, এটিতে হ্যান্ডেল করুন cheerioএবং ডকুমের হেরফের শুরু করুন যেমন jQuery ব্যবহার করার মতো।
কাজের উদাহরণ:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
এই উদাহরণটি এসও হোম পৃষ্ঠায় প্রদর্শিত সমস্ত শীর্ষ প্রশ্নের কনসোলে মুদ্রণ করবে। এই কারণেই আমি নোড.জেএস এবং এর সম্প্রদায়কে ভালবাসি। এটি এর চেয়ে সহজতর হতে পারে না :-)
নির্ভরতা ইনস্টল করুন:
এনপিএম অনুরোধ চিয়ারিও ইনস্টল করুন
এবং চালান (উপরের স্ক্রিপ্টটি ফাইলটিতে রয়েছে ধরে নেওয়া crawler.js):
নোড crawler.js
এনকোডিং
কিছু পৃষ্ঠাগুলিতে একটি নির্দিষ্ট এনকোডিং-এ অ-ইংরাজী সামগ্রী থাকবে এবং আপনার এটিকে ডিকোড করতে হবে UTF-8। উদাহরণস্বরূপ, ব্রাজিলিয়ান পর্তুগিজ (বা লাতিন উত্সের অন্য কোনও ভাষা) এর একটি পৃষ্ঠা সম্ভবত এনকোড করা হবে ISO-8859-1(ওরফে "ল্যাটিন 1")। যখন ডিকোডিংয়ের দরকার হয় তখন আমি requestকন্টেন্টটি কোনও উপায়ে ব্যাখ্যা না করে পরিবর্তে ব্যবহার করতে বলিiconv-lite কাজটি করতে ।
কাজের উদাহরণ:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
চলমান আগে, নির্ভরতা ইনস্টল করুন:
এনপিএম ইনস্টল অনুরোধ আইকনভিউ-লাইট চিয়ারিও
এবং তারপরে অবশেষে:
নোড crawler.js
নিম্নলিখিত লিঙ্কগুলি
পরবর্তী পদক্ষেপটি লিঙ্কগুলি অনুসরণ করা হবে। বলুন আপনি এসও-তে প্রতিটি শীর্ষ প্রশ্নের সমস্ত পোস্টার তালিকাবদ্ধ করতে চান। আপনাকে প্রথমে সমস্ত শীর্ষ প্রশ্নের তালিকা তৈরি করতে হবে (উপরে উদাহরণস্বরূপ) এবং তারপরে জড়িত ব্যবহারকারীর তালিকা পেতে প্রতিটি লিঙ্ক প্রবেশ করে প্রতিটি প্রশ্নের পৃষ্ঠাগুলি পার্স করে।
আপনি লিঙ্কগুলি অনুসরণ করা শুরু করার পরে, কলব্যাক হেলিক শুরু হতে পারে। তা এড়াতে আপনার কিছু প্রকার প্রতিশ্রুতি, ফিউচার বা যা কিছু ব্যবহার করা উচিত। আমি সবসময় রাখা ASYNC আমার toolbelt হবে। সুতরাং, এখানে অ্যাসিঙ্ক ব্যবহার করে ক্রলারের পুরো উদাহরণটি রয়েছে:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
দৌড়ানোর আগে:
এনপিএম অনুরোধ async চেরিও ইনস্টল
একটি পরীক্ষা চালান:
নোড crawler.js
নমুনা আউটপুট:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
এবং এটি আপনার নিজের ক্রলার তৈরি শুরু করার জন্য আপনার প্রাথমিক জানা উচিত :-)
গ্রন্থাগারগুলি ব্যবহৃত হয়