网站数据获取

 本例中主要是通过HtmlAgilityPack解析html源码获取所需的数据.

         using HtmlAgilityPack;

1.通过C#中WebRequest,WebResponse,StreamReader类获取网页源代码

 

WebRequest request = WebRequest.Create(url);
using (WebResponse response = request.GetResponse())
using (StreamReader reader = new StreamReader(response.GetResponseStream(), encoding))
result = reader.ReadToEnd();

 

2.通过网页URL获取HtmlNode ,通过HtmlAgilityPack中的HtmlDocument类获取

 

HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();
document.LoadHtml(htmlSource);
HtmlNode rootNode = document.DocumentNode;
return rootNode;

 

3.通过HtmlNode的SelectSingleNode方法就可获取你所需要的内容了,注意以下代码中path是HTML的标签路径如:path="//div[@class=‘article_title‘]/h1/span/a";//文章标题PATH 

对应于

<div class=’article_title’>

<h1>

<span>

<a>获取这里的内容

</a>

</span>

</h1>

</div>

 

参考源码如下:

 

HtmlNode temp = srcNode.SelectSingleNode(path);
if (temp == null)
return null;
return temp.InnerText;

 

返回值为: 获取这里的内容

 

其中temp.InnerHtml可获取网站HTML的内容如:<a>获取这里的内容</a>

 

 

通过以上操作就可获取到网站中你所需要的内容,希望此内容对大家有所帮助,引用源码文章链接http://blog.csdn.net/gdjlc/article/details/11620915

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。