সি # তে ওয়েবসাইট থেকে এইচটিএমএল কোড পান

Question 1

কীভাবে কোনও ওয়েবসাইট থেকে এইচটিএমএল কোড পাবেন, এটি সংরক্ষণ করুন এবং একটি লিনকিউ এক্সপ্রেশন দিয়ে কিছু পাঠ্য পাবেন?

আমি একটি ওয়েব পৃষ্ঠার উত্স পেতে নিম্নলিখিত কোডটি ব্যবহার করছি:

public static String code(string Url)
{
    HttpWebRequest myRequest = (HttpWebRequest)WebRequest.Create(Url);
    myRequest.Method = "GET";
    WebResponse myResponse = myRequest.GetResponse();
    StreamReader sr = new StreamReader(myResponse.GetResponseStream(), System.Text.Encoding.UTF8);
    string result = sr.ReadToEnd();
    sr.Close();
    myResponse.Close();

    return result;
 }

আমি কীভাবে ওয়েব পৃষ্ঠার উত্সটিতে একটি ডিভিতে পাঠ্যটি সন্ধান করব?

Question 2

একটি ওয়েবসাইট থেকে এইচটিএমএল কোড প্রাপ্ত করা। আপনি এই জাতীয় কোড ব্যবহার করতে পারেন।

string urlAddress = "http://google.com";

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(urlAddress);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();

if (response.StatusCode == HttpStatusCode.OK)
{
  Stream receiveStream = response.GetResponseStream();
  StreamReader readStream = null;

  if (String.IsNullOrWhiteSpace(response.CharacterSet))
     readStream = new StreamReader(receiveStream);
  else
     readStream = new StreamReader(receiveStream, Encoding.GetEncoding(response.CharacterSet));

  string data = readStream.ReadToEnd();

  response.Close();
  readStream.Close();
}

এটি আপনাকে ওয়েবসাইট থেকে ফিরে আসা HTML কোডটি দেবে। তবে লিনকিউ এর মাধ্যমে পাঠ্য সন্ধান করা এত সহজ নয়। সম্ভবত নিয়মিত এক্সপ্রেশন ব্যবহার করা ভাল তবে এটি HTML কোডের সাথে ভাল খেলছে না

Question 3

আপনার কাজটি সহজ করার জন্য আপনি ওয়েবক্লিয়েন্ট শ্রেণিটি আরও ভাল ব্যবহার করতে পারেন:

using System.Net;

using (WebClient client = new WebClient())
{
    string htmlCode = client.DownloadString("http://somesite.com/default.html");
}

Question 4

ব্যবহারের সেরা জিনিস হ'ল এইচটিএমএলজিটিপ্যাক । পুনরুদ্ধার করা পৃষ্ঠা থেকে উপাদানগুলি নির্বাচনের জন্য আপনার প্রয়োজনীয়তার উপর নির্ভর করে আপনি ফিজার বা সিএসকিউয়ারি ব্যবহার করেও দেখতে পারেন । লিনকিউ বা রেগুকার এক্সপ্রেশনগুলি ব্যবহার করা ত্রুটিযুক্ত প্রবণতা, বিশেষত যখন এইচটিএমএলকে ত্রুটিযুক্ত হতে পারে, ক্লোজিং ট্যাগগুলি হারিয়ে যেতে পারে, বাচ্চাদের উপাদান থাকতে পারে ইত্যাদি when

আপনাকে পৃষ্ঠাটি এইচটিএমএল ডকুমেন্ট অবজেক্টে প্রবাহিত করতে হবে এবং তারপরে আপনার প্রয়োজনীয় উপাদানটি নির্বাচন করতে হবে।

// Call the page and get the generated HTML
var doc = new HtmlAgilityPack.HtmlDocument();
HtmlAgilityPack.HtmlNode.ElementsFlags["br"] = HtmlAgilityPack.HtmlElementFlag.Empty;
doc.OptionWriteEmptyNodes = true;

try
{
    var webRequest = HttpWebRequest.Create(pageUrl);
    Stream stream = webRequest.GetResponse().GetResponseStream();
    doc.Load(stream);
    stream.Close();
}
catch (System.UriFormatException uex)
{
    Log.Fatal("There was an error in the format of the url: " + itemUrl, uex);
    throw;
}
catch (System.Net.WebException wex)
{
    Log.Fatal("There was an error connecting to the url: " + itemUrl, wex);
    throw;
}

//get the div by id and then get the inner text 
string testDivSelector = "//div[@id='test']";
var divString = doc.DocumentNode.SelectSingleNode(testDivSelector).InnerHtml.ToString();

[সম্পাদনা] আসলে, স্ক্র্যাপ। সবচেয়ে সহজ পদ্ধতি হ'ল ফিজারেলেক্স ব্যবহার করুন , মূল ফিজার প্রকল্পটির একটি আপডেট করা jQuery / CSS3- নির্বাচক প্রয়োগ।

কোডের নমুনা সরাসরি তাদের সাইট থেকে:

using HtmlAgilityPack;
using Fizzler.Systems.HtmlAgilityPack;

//get the page
var web = new HtmlWeb();
var document = web.Load("http://example.com/page.html");
var page = document.DocumentNode;

//loop through all div tags with item css class
foreach(var item in page.QuerySelectorAll("div.item"))
{
    var title = item.QuerySelector("h3:not(.share)").InnerText;
    var date = DateTime.Parse(item.QuerySelector("span:eq(2)").InnerText);
    var description = item.QuerySelector("span:has(b)").InnerHtml;
}

আমি মনে করি না এটি এর চেয়ে সহজতর কোনও পেতে পারে।

Question 5

আমি অ্যাঙ্গেলশার্প ব্যবহার করছি এবং এতে সন্তুষ্ট হয়েছি ।

এখানে কীভাবে একটি পৃষ্ঠা আনতে হবে তার একটি সাধারণ উদাহরণ:

var config = Configuration.Default.WithDefaultLoader();
var document = await BrowsingContext.New(config).OpenAsync("https://www.google.com");

এবং এখন আপনার ডকুমেন্ট ভেরিয়েবলের একটি ওয়েব পৃষ্ঠা রয়েছে । তারপরে আপনি লিনকিউ বা অন্যান্য পদ্ধতি দ্বারা সহজেই এটি অ্যাক্সেস করতে পারবেন। উদাহরণস্বরূপ আপনি যদি এইচটিএমএল টেবিল থেকে স্ট্রিংয়ের মান পেতে চান:

var someStringValue = document.All.Where(m =>
        m.LocalName == "td" &&
        m.HasAttribute("class") &&
        m.GetAttribute("class").Contains("pid-1-bid")
    ).ElementAt(0).TextContent.ToString();

সিএসএস নির্বাচনকারীদের ব্যবহার করতে দয়া করে অ্যাঙ্গেলশার্প উদাহরণ দেখুন ।

Question 6

HttpWebRequestক্লাসটি ব্যবহার করে একটি URL আনার উদাহরণ এখানে

private void buttonl_Click(object sender, EventArgs e) 
{ 
    String url = TextBox_url.Text;
    HttpWebRequest request = (HttpWebRequest) WebRequest.Create(url); 
    HttpWebResponse response = (HttpWebResponse) request.GetResponse(); 
    StreamReader sr = new StreamReader(response.GetResponseStream()); 
    richTextBox1.Text = sr.ReadToEnd(); 
    sr.Close(); 
}

Question 7

যে কোনও ইউআরএল এর জন্য এইচটিএমএল ডাউনলোড করতে আপনি ওয়েবক্লিয়েন্ট ব্যবহার করতে পারেন। একবার আপনি এইচটিএমএল আছে, আপনার মত একটি তৃতীয় পক্ষের গ্রন্থাগার ব্যবহার করতে পারেন HtmlAgilityPack কোড নিচে হিসেবে HTML এ মান অনুসন্ধান করতে -

public static string GetInnerHtmlFromDiv(string url)
    {
        string HTML;
        using (var wc = new WebClient())
        {
            HTML = wc.DownloadString(url);
        }
        var doc = new HtmlAgilityPack.HtmlDocument();
        doc.LoadHtml(HTML);
        
        HtmlNode element = doc.DocumentNode.SelectSingleNode("//div[@id='<div id here>']");
        if (element != null)
        {
            return element.InnerHtml.ToString();
        }   
        return null;            
    }

Question 8

এই সমাধান চেষ্টা করুন। এটা ভাল কাজ করে।

 try{
        String url = textBox1.Text;
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
        HttpWebResponse response = (HttpWebResponse)request.GetResponse();
        StreamReader sr = new StreamReader(response.GetResponseStream());
        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
        doc.Load(sr);
        var aTags = doc.DocumentNode.SelectNodes("//a");
        int counter = 1;
        if (aTags != null)
        {
            foreach (var aTag in aTags)
            {
                richTextBox1.Text +=  aTag.InnerHtml +  "\n" ;
                counter++;
            }
        }
        sr.Close();
        }
        catch (Exception ex)
        {
            MessageBox.Show("Failed to retrieve related keywords." + ex);
        }