VSTO之玩转网页抓取(C#)

浮华、缠绕指尖

VSTO相对于VBA等有着得天独厚，无法比拟的优势，当然在网抓具体体现在多线程，编码，以及验证码图片等等的处理，当然具体有什么好处，度娘比我更有说服力，我就不多费话了。

C#用于网抓的类和方法很多，我就挑和VBA相近类using System.Net下的HttpWebRequest来和大家探讨一下。

首先引用using System.Net是针对HttpWebRequest<<必需的，再次对于文本的流(上传或处理流)using System.IO<<必需，再者如果是想开启多线程，那么using System.Threading也就是必需的了，还有一个处理验证码图片的时候需要using System.Drawing,当然还有其他的一些类，暂时就不说了，至少上面这几个类也不太可能说得太透彻，主要就是针对网抓来进行。

第一，进行一个最简单的网抓，GET类

1. string url = "填入GET的网页";
   
2.             HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
   
3.             request.Method = "GET";
   
4.             HttpWebResponse response = (HttpWebResponse)request.GetResponse();

复制代码

这样的话就得到了服务器返回的数据流，然后再对这个流进行简单处理

1. public static string GetResponseText(HttpWebResponse response)
   
2.         {
   
3.       string Text = "";
   
4.       using (Stream stream = response.GetResponseStream())
   
5.       {
   
6.             StreamReader sr = new StreamReader(stream, Encoding.Default);
   
7.             Text = sr.ReadToEnd();
   
8.       }
   
9.       return Text;
   
10.         }

复制代码

上面一个自定义函数就是针对处理response流

所以最上面那一段代码只需再加进一句引用这个处理流的函数即可

1. string responseText = GetResponseText(response);

复制代码

这样就得到了我们所需要的文本

第二，最简单的POST

POST的中文意思是提交，所以POST就是客户端与服务器交互，客户端告诉服务器，我提交一些数据，告诉需要做什么，这样等待服务器做出相应的回应。

一般POST和GET在代码上没有什么区别，只不过在POST的时候比GET多了一个提交数据，就是VBA里常用的.send，话不多说，先上一段代码

1. string url = "填入GET的网页";
   
2. HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
   
3. request.Method = "POST";

复制代码

好了，至此就完成了一个简单的POST示例，有了上面这个模板，基本上能完成所以网抓。其他的无非就是在上面进行修修补补，比如模拟其他头文件，针对于HTTPS的证书等，还值得一提的就是Cookie了，因为这个request不再受cookie的困扰，不像VBA里会自动保持cookie，就是说对于同一个request，你每次都需要去设置这个cookie，方法也简单，后面再细说。

我想大家光看完上面这些，估计就在想，啊，C#的写的代码还没VBA的简单，实乎不然，其实比VBA里的代码要简单，为什么这么说呢，首先一点，就是编码问题，再也不用去找转UTF-8,GB2312,还有其实一些网页编码等，还有一个就是上传文件等的流，不用再去想，唉这种文件的怎么send出去呀，代码是什么呀。。不用再去乱翻一堆资料了。

taojun24

谢谢分享，确实觉得VSTO一个最大的优势就是可以有很多的.Net的资源可以直接利用。

zongyj

能不能编个教程大家学习学习

beliefzhang

谢谢分享，不错的内容

pk8500

学习一下，C#还一会噢

minren118

C#搞不来，照着楼主的代码画了下vb.net，测试成功，呵呵

1. Imports Net = System.Net
   
2. Imports IO = System.IO
   
3. Public Class ThisWorkbook
   
4. 
   
5.     Public Function httpweb(url As String)
   
6.         Dim request As Net.HttpWebRequest = Net.HttpWebRequest.Create(url)
   
7.         request.Method = "GET"
   
8.         Dim response As Net.HttpWebResponse = request.GetResponse()
   
9.         httpweb = GetResponseText(response)
   
10.     End Function
    
11. 
    
12. 
    
13.     Private Function GetResponseText(response As Net.HttpWebResponse)
    
14. 
    
15.         Dim text As String = Nothing
    
16.         Dim stream As IO.Stream = response.GetResponseStream()
    
17.         Dim SR As IO.StreamReader = New IO.StreamReader(stream, Encoding.UTF8)
    
18.         text = SR.ReadToEnd()
    
19.         Return text
    
20.     End Function
    
21. End Class

复制代码

minren118

sheet1这里做个按钮来引用，刚刚学VSTO，还是很不熟悉

1. Public Class Sheet1
   
2. 
   
3.     Private Sub Sheet1_Startup() Handles Me.Startup
   
4. 
   
5.     End Sub
   
6. 
   
7.     Private Sub Sheet1_Shutdown() Handles Me.Shutdown
   
8. 
   
9.     End Sub
   
10. 
    
11.     Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
    
12.         Me.Range("A1").Value2 = Globals.ThisWorkbook.httpweb("http://www.baidu.com")
    
13.     End Sub
    
14. End Class

复制代码

jinbinghao

以前用VBA抓过一个天气预报的,一直用的很正常.
改用C#后,试了好久,尝试用各种编码,一直乱码,一直乱码,一直乱码.
原来数据是压缩的,还得先解压,VBA就不需要.
虽然VBA现在太多不支持的东西,但依然还是有点小牛B的地方呀.
GZipStream gzip = new GZipStream(stream, CompressionMode.Decompress)

cbdk

感谢分享，慢慢消化

hodrag

正想学这方面的知识