হেডলেস ব্রাউজার এবং স্ক্র্যাপিং - সমাধান [বন্ধ]


368

আমি ব্রাউজারের স্বয়ংক্রিয় পরীক্ষার স্যুট এবং স্ক্র্যাপিং করতে সক্ষম হেডলেস ব্রাউজার প্ল্যাটফর্মগুলির জন্য সম্ভাব্য সমাধানগুলির তালিকা দেওয়ার চেষ্টা করছি।


ব্রাউজার পরীক্ষা / স্ক্র্যাপিং:

  • সেলেনিয়াম - ব্রাউজার অটোমেশনে পলিগ্লট ফ্ল্যাগশিপ, পাইথন, রুবি, জাভাস্ক্রিপ্ট, সি #, হাস্কেল এবং আরও অনেকের জন্য বাইন্ডিং, দ্রুত পরীক্ষার স্থাপনার জন্য ফায়ারফক্সের আইডিই (এক্সটেনশন হিসাবে)। সার্ভার হিসাবে কাজ করতে পারে এবং এতে প্রচুর বৈশিষ্ট্য রয়েছে।

অবশ্যই JAVASCRIPT

  • ফ্যান্টমজেএস - স্ক্রিন ক্যাপচার এবং অটোমেশন সহ জাভাস্ক্রিপ্ট , হেডলেস পরীক্ষা, ওয়েবকিট ব্যবহার করে । সংস্করণ ১.৮ অনুসারে সেলেনিয়ামের ওয়েবড্রাইভার এপিআই কার্যকর করা হয়েছে, সুতরাং আপনি যে কোনও ওয়েবড্রাইভার বাঁধাই ব্যবহার করতে পারেন এবং পরীক্ষাগুলি সেলেনিয়ামের সাথে সামঞ্জস্যপূর্ণ হবে
  • স্লিমারজেএস - ফ্যান্টমজেএস এর অনুরূপ , ওয়েবকিটের পরিবর্তে গেকো (ফায়ারফক্স) ব্যবহার করে
  • ক্যাস্পারজেএস - জাভাস্ক্রিপ্ট , উভয় ফ্যান্টমজেএস এবং স্লিমারজেএস-এ নির্মিত, অতিরিক্ত বৈশিষ্ট্য রয়েছে
  • ঘোস্ট ড্রাইভার - ফ্যান্টমজেএসের জন্য ওয়েবড্রাইভার ওয়্যার প্রোটোকলের জাভাস্ক্রিপ্ট প্রয়োগ ।
  • নতুন ফ্যান্টম সিএসএস - সিএসএস রিগ্রেশন টেস্টিং। একজন CasperJS PhantomJS এবং চাক্ষুষ রিগ্রেশন পরীক্ষণ স্বয়ংক্রিয় জন্য মডিউল Resemble.js
  • নতুন ওয়েবড্রাইভারসিএসএস -ভিজ্যুয়াল রিগ্রেশন টেস্টটিকে স্বয়ংক্রিয় করারজন্য ওয়েবড্রিভার.আইওয়ের জন্যপ্লাগইন
  • নতুন ফ্যান্টমফ্লো - পরীক্ষার মাধ্যমে ব্যবহারকারী প্রবাহকে বর্ণনা ও কল্পনা করুন। ওয়েব ব্যবহারকারীর ইন্টারফেস পরীক্ষার জন্য একটি পরীক্ষামূলক পদ্ধতি।
  • নতুন ট্রাইফেলজেএস - ইন্টারনেট এক্সপ্লোরার ইঞ্জিনটি ব্যবহার করার জন্য ফ্যান্টমজেএস এপিআই পোর্ট করে।
  • নতুন ক্যাস্পারজেএস আইডিই (বাণিজ্যিক)

Node.js

  • নোড-ভৌতিক - মধ্যে ফাঁক সেতু PhantomJS এবং Node.js
  • ওয়েবড্রাইভারজেস - সেলেনিয়াম টিম নোড.জেএস এর জন্য সেলেনিয়াম ওয়েবড্রাইভার বাইন্ডিং
  • WD.js - ওয়েবড্রাইভার / সেলেনিয়াম 2 এর জন্য নোড মডিউল
  • yiewd - সর্বশেষতম সুরেলা জেনারেটর ব্যবহার করে WD.js র‍্যাপার! ফলন সহ কলব্যাক পিরামিড থেকে মুক্তি পান
  • ZombieJs - ঝটপটভাবে দ্রুত, হেডলেস পুরো স্ট্যাক ব্যবহার পরীক্ষা Node.js
  • নাইটওয়াচজেস - সেলেনিয়াম ওয়েবড্রাইভার ব্যবহার করে নোড জেএস ভিত্তিক পরীক্ষার সমাধান
  • চিমেরা - চিমেরা: ফ্যান্টমজেএস যা করে তা সবই করতে পারে তবে পুরো জেএস পরিবেশে
  • ডালেক.জেএস - সেলেনিয়াম ওয়েবড্রাইভারের মাধ্যমে জাভাস্ক্রিপ্টের সাথে স্বয়ংক্রিয় ক্রস ব্রাউজারের পরীক্ষা করা
  • Webdriver.io - পূর্বনির্ধারিত 50+ ক্রিয়া সহ ওয়েবড্রাইভার বাইন্ডিংগুলির আরও ভাল বাস্তবায়ন
  • দুঃস্বপ্ন - একটি উচ্চ স্তরের এপিআই সহ বৈদ্যুতিন সেতু।
  • jsdom - ওয়েব স্ক্র্যাপিংয়ের দিকে তৈরি ored নোড.জেএস এ কার্যকর একটি খুব হালকা ডিওএম, এটি জাভাস্ক্রিপ্ট সহ পৃষ্ঠাগুলি সমর্থন করে।
  • নতুন পপিটার - নোড লাইব্রেরি যা ক্রোম বা ক্রোমিয়াম নিয়ন্ত্রণ করতে একটি উচ্চ-স্তরের এপিআই সরবরাহ করে। পপিটিয়ার ডিফল্টরূপে মাথাছাড়া করে চালায়।

ওয়েব স্ক্র্যাপিং / মাইনিং

  • স্কেরাপি - পাইথন , মূলত একটি স্ক্র্যাপার / মাইনার - দ্রুত, ভাল ডকুমেন্টেড এবং, ভাল মাইনিং মোতায়েনের জন্য জ্যাঙ্গো ডায়নামিক স্ক্র্যাপারের সাথে বা PaaS (সার্ভার-কম) মোতায়েনের জন্য স্কেরাপি ক্লাউড , টার্মিনাল বা সার্ভার স্ট্যান্ড-একল প্রক্রিয়াতে কাজ করে সঙ্গে ব্যবহার করা যেতে পারে সেলারি , উপরে নির্মিত পাক
  • Snailer - Node.js মডিউল, এখনো অপরীক্ষিত।
  • নোড-ক্রলার - নোড.জেএস মডিউল, এখনও অপেশিত।

অনলাইন সরঞ্জাম


সম্পর্কিত লিঙ্কগুলি এবং উত্সসমূহ

প্রশ্নাবলী:

  • ফ্যানথমজেএস / ক্যাস্পারজেএস মডিউলে কোনও শুদ্ধ নোড.জেএস সমাধান বা নোডেজ যা আসলে কাজ করে এবং নথিভুক্ত হয়?

উত্তর: চিমেরা মনে হয় সেই দিকে চলে গেছে, চেকআউট চিমেরা

  • অন্যান্য সমাধানগুলি সেলেনিয়ামের চেয়ে সহজ জাভাস্ক্রিপ্ট ইঞ্জেকশনে সক্ষম?

  • আপনি কি কোনও খাঁটি রুবি সমাধান জানেন ?

উত্তর: রুবি ভিত্তিক সমাধান সহ rjk দ্বারা তৈরি তালিকাটি চেকআউট করুন

  • আপনি কি কোনও সম্পর্কিত প্রযুক্তি বা সমাধান জানেন?

এই প্রশ্নটি সম্পাদনা করতে এবং আপনার ইচ্ছামত সামগ্রী যুক্ত করতে নির্দ্বিধায়! আপনার অবদানের জন্য আপনাকে ধন্যবাদ!


1
আপনি কী চান তা জানেন না তবে আমি ওয়েবপৃষ্ঠাগুলি রোলিং , ডোম পরিদর্শন করা ইত্যাদির জন্য সেই মডিউলটি পছন্দ করি: npmjs.org/package/crawler । এটি jsdom ব্যবহার করে এবং আপনি নির্বাচক-ইঞ্জিন হিসাবে jQuery করতে পারেন। এটির
78

নোড-ফ্যান্টম মডিউলটি দিয়ে আমি প্রচুর সাফল্য পেয়েছি। এটি বেশ সোজা এগিয়ে এবং মোটামুটি ভাল ডকুমেন্টেড। এটি জাভাস্ক্রিপ্ট ইনজেকশন সমর্থন করে।
জোশ সি

1
আমি নিশ্চিত আপনি সচেতন যে ঘোস্টড্রাইভার হ'ল সেলেনিয়াম-ওয়েবড্রাইভারের একটি বাস্তবায়ন যা ফ্যান্টমজেএস ব্যবহার করে
রবি ওয়্যারহাম

2
: আপনি এই সহায়ক হতে পারে blog.screen-scraper.com/2010/06/28/...
টড

1
ভিজ্যুয়াল স্ক্র্যাপিং এবং তুলনার জন্য: ফ্যান্টম সিএসএস এবং ফ্যান্টমফ্লো
ফিলিপলস

উত্তর:


35

রুবি যদি আপনার জিনিস হয় তবে আপনি চেষ্টাও করতে পারেন:

এছাড়াও, নোকোগিরি মণি স্ক্র্যাপিংয়ের জন্য ব্যবহার করা যেতে পারে:

প্যাকেট প্রকাশের মাধ্যমে স্ক্র্যাপিংয়ের জন্য নোকোগিরি কীভাবে ব্যবহার করতে হয় সে সম্পর্কে একটি উত্সর্গীকৃত বই রয়েছে


ওয়েটার উপরের লাইব্রেরিগুলির তুলনায় হাজার গুণ সহজ।
পবন কাটপল্লি

পাইথনের জন্য "ওয়েববোট" লাইব্রেরি সহজ ওয়েব অটোমেশনের জন্য সমৃদ্ধ বৈশিষ্ট্যগুলি সরবরাহ করে।
নাটেশ ভাট

11

http://triflejs.org/ টি ফ্যান্টমজের মতো তবে আইই ভিত্তিক


যদিও এই লিঙ্কটি প্রশ্নের উত্তর দিতে পারে, উত্তরের প্রয়োজনীয় অংশগুলি এখানে অন্তর্ভুক্ত করা এবং রেফারেন্সের জন্য লিঙ্কটি সরবরাহ করা ভাল। লিঙ্কযুক্ত পৃষ্ঠাগুলি পরিবর্তিত হলে লিঙ্ক-শুধুমাত্র উত্তরগুলি অবৈধ হতে পারে।
সতীশ

5
এটি স্বাভাবিকভাবে ভাল শোনাচ্ছে, তবুও এই প্রশ্নটি নিজেই সংস্থানসমূহ। তালিকায় অন্তর্ভুক্ত করার জন্য একটি সংক্ষিপ্ত বিবরণ সহ একটি লিঙ্ক ফর্ম্যাটটি ফিট করে এবং তা উপলব্ধি করে।
ফেডেরিকো গালাসি

7

জাতীয়-ভিত্তিক সেলেনিয়াম এক ধরনের Dalek.js । এটি কেবল স্বয়ংক্রিয় ফ্রন্টএন্ড-পরীক্ষাগুলির লক্ষ্য নয়, আপনি এটির সাথে স্ক্রিনশটও করতে পারেন। এটিতে সমস্ত গুরুত্বপূর্ণ ব্রাউজারের জন্য ওয়েবড্রাইভার রয়েছে। দুর্ভাগ্যক্রমে এই ওয়েবড্রাইভারগুলি উন্নত করার যোগ্য বলে মনে হচ্ছে (কেবল ফায়ারফক্সকে "বগি" না বলে)।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.