কিছু ঘটনা:
Google একটি সর্বজনীন অনুসন্ধান webservice এপিআই যা ফেরৎ উপলব্ধ করা হয় তাদেরকে JSON : http://ajax.googleapis.com/ajax/services/search/web । ডকুমেন্টেশন এখানে
জাভা অফার করে java.net.URLএবং java.net.URLConnectionএইচটিটিপি অনুরোধগুলিকে চালিত করে এবং পরিচালনা করে।
JSON জাভাতে একটি স্বেচ্ছাসেবী জাভা JSON এপিআই ব্যবহার করে একটি পূর্ণ যোগ্য জাভাবেন আইটেমে রূপান্তরিত হতে পারে can সেরা এক গুগল Gson ।
এখন গণিত করুন:
public static void main(String[] args) throws Exception {
String google = "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=";
String search = "stackoverflow";
String charset = "UTF-8";
URL url = new URL(google + URLEncoder.encode(search, charset));
Reader reader = new InputStreamReader(url.openStream(), charset);
GoogleResults results = new Gson().fromJson(reader, GoogleResults.class);
// Show title and URL of 1st result.
System.out.println(results.getResponseData().getResults().get(0).getTitle());
System.out.println(results.getResponseData().getResults().get(0).getUrl());
}
গুগলের রিটার্ন হিসাবে এই জাভাবিয়ান বর্গটি সবচেয়ে গুরুত্বপূর্ণ জেএসওএন ডেটা উপস্থাপন করে (এটি আসলে আরও ডেটা ফেরত দেয় তবে সেই অনুসারে এটি জাভাবিয়ান কোডটি প্রসারিত করার অনুশীলন হিসাবে ছেড়ে দেওয়া হয়েছে):
public class GoogleResults {
private ResponseData responseData;
public ResponseData getResponseData() { return responseData; }
public void setResponseData(ResponseData responseData) { this.responseData = responseData; }
public String toString() { return "ResponseData[" + responseData + "]"; }
static class ResponseData {
private List<Result> results;
public List<Result> getResults() { return results; }
public void setResults(List<Result> results) { this.results = results; }
public String toString() { return "Results[" + results + "]"; }
}
static class Result {
private String url;
private String title;
public String getUrl() { return url; }
public String getTitle() { return title; }
public void setUrl(String url) { this.url = url; }
public void setTitle(String title) { this.title = title; }
public String toString() { return "Result[url:" + url +",title:" + title + "]"; }
}
}
আরো দেখুন:
নভেম্বর ২০১০ সাল থেকে আপডেট (উপরের উত্তরের ২ মাস পরে), সর্বজনীন অনুসন্ধান ওয়েব সার্ভিস অবহ্রাসিত হয়েছে (এবং শেষ দিনটি যেখানে পরিষেবাটি দেওয়া হয়েছিল সেপ্টেম্বর ২৯, ২০১৪)। আপনার সেরা বাজি এখন একটি সৎ ব্যবহারকারী এজেন্টের সাথে সরাসরি http://www.google.com/search অনুসন্ধান করছে এবং তারপরে HTML পার্সার ব্যবহার করে ফলাফলটি পার্স করছে । আপনি যদি ব্যবহারকারী এজেন্ট বাদ দেন তবে আপনি একটি 403 ফিরে পাবেন। যদি আপনি ব্যবহারকারীর এজেন্টে পড়ে থাকেন এবং কোনও ওয়েব ব্রাউজারের অনুকরণ করে (যেমন ক্রোম বা ফায়ারফক্স), তবে আপনি ব্যাকউইথ এবং পারফরম্যান্সের অপচয় নষ্ট এমন এক বৃহত্তর এইচটিএমএল প্রতিক্রিয়া ফিরে পাবেন।
জসপকে এইচটিএমএল পার্সার হিসাবে ব্যবহার করে এখানে একটি কিক অফের উদাহরণ দেওয়া হয়েছে :
String google = "http://www.google.com/search?q=";
String search = "stackoverflow";
String charset = "UTF-8";
String userAgent = "ExampleBot 1.0 (+http://example.com/bot)"; // Change this to your company's name and bot homepage!
Elements links = Jsoup.connect(google + URLEncoder.encode(search, charset)).userAgent(userAgent).get().select(".g>.r>a");
for (Element link : links) {
String title = link.text();
String url = link.absUrl("href"); // Google returns URLs in format "http://www.google.com/url?q=<url>&sa=U&ei=<someKey>".
url = URLDecoder.decode(url.substring(url.indexOf('=') + 1, url.indexOf('&')), "UTF-8");
if (!url.startsWith("http")) {
continue; // Ads/news/etc.
}
System.out.println("Title: " + title);
System.out.println("URL: " + url);
}