网页采集(网页抓取)教程第二课-用WinHTTP提交Post，viewstate获取和URLEncode编码方法

星剑所指

'下面是POST的字符串构建过程。
        postdata = "ctl00$ScriptManager2=" & ScriptManager2 & _
                   "&__EVENTTARGET=" & EncodePostdata(eventtarget) & _
                   "&__EVENTARGUMENT=" & _
                   "&__LASTFOCUS=" & _
                   "&__VIEWSTATE=" & EncodePostdata(viewstate) & _
                   "&__VIEWSTATEENCRYPTED=" & _
                   "&__EVENTVALIDATION=" & EncodePostdata(eventvalidation) & _
                   "&ctl00$WidthPixel=" & _
                   "&ctl00$HeightPixel=" & _
                   "&ctl00$cph_content$drpTitle=" & drptitle & _
                   "&ctl00$cph_content$drpZzdj=" & drpZzdj & _
                   "&ctl00$cph_content$txtEnterName=" & _
                   "&ctl00$cph_content$txtDay=" & txtDay & _
                   "&ctl00$cph_content$GridViewPaging1$txtGridViewPagingForwardTo=" & PagingForwardTo & _
                   "&ctl00$cph_content$GridViewPaging1$btnForwardToPage=Go"

向大师求教 关于3楼的POST的字符串构建过程，为什么不是把所有参数和参数值合并后最后来一个 EncodePostdata

'下面是POST的字符串构建过程。
        postdata =EncodePostdata("ctl00$ScriptManager2=" & ScriptManager2 & _
                   "&__EVENTTARGET=" & eventtarget & _
                   "&__EVENTARGUMENT=" & _
                   "&__LASTFOCUS=" & _
                   "&__VIEWSTATE=" & viewstate & _
                   "&__VIEWSTATEENCRYPTED=" & _
                   "&__EVENTVALIDATION=" &eventvalidation& _
                   "&ctl00$WidthPixel=" & _
                   "&ctl00$HeightPixel=" & _
                   "&ctl00$cph_content$drpTitle=" & drptitle & _
                   "&ctl00$cph_content$drpZzdj=" & drpZzdj & _
                   "&ctl00$cph_content$txtEnterName=" & _
                   "&ctl00$cph_content$txtDay=" & txtDay & _
                   "&ctl00$cph_content$GridViewPaging1$txtGridViewPagingForwardTo=" & PagingForwardTo & _
                   "&ctl00$cph_content$GridViewPaging1$btnForwardToPage=Go"）

liucqa

星剑所指 发表于 2012-7-18 02:47
向大师求教 关于3楼的POST的字符串构建过程，为什么不是把所有参数和参数值合并后最后来一个 EncodePostdat ...

只做一次URLEncode编码也是可以的，但需要修改EncodePostData函数，去掉对__和&$=等特殊符号的编码

示例中的编码函数不完整，所以没用采用一次编码的方法

李巴

liucqa 发表于 2012-7-17 18:46
看一楼

谢谢，我好好学下，不知能否学会

kangatang

大师为介绍相关知识，讲得比较全面。但针对1楼的问题我给出另外一种解决思路（XMLHTTP + QURYTABLE）
xml_qureytable.rar (30.97 KB, 下载次数: 512)

2012-7-18 14:17 上传

点击文件名下载附件

方法说明：
1，我没有每次post前都提取_viewstate等相关值，而是从第一次打开http://www.gzgcjg.com/gzqypjtx/Estimate/ZY/MainQueryMarkZY.aspx 输入第1页，点"go"之后获得的post参数。在以后跳页时只要修改"...GridViewPagingForwardTo=***..."星号部分。当然也可以在此基础上改其他参数。
2，XMLHTTP的缺点是后期繁琐的字符串处理，会占用很长时间，但它的提前源文件的速度很快。而QURYTABLE的缺点是无法提取静态网址下的表格，但只要给了它网址和表格名称，提取速度很快且非常节约开发时间。所以以上附件结合两者优点进行。为以后其它网页数据提取提供快捷的通用框架。
希望对听这节课的初学者有帮助。

liucqa

kangatang 发表于 2012-7-18 14:29
大师为介绍相关知识，讲得比较全面。但针对1楼的问题我给出另外一种解决思路（XMLHTTP + QURYTABLE）

你试一下提取专业资质为建筑装修装饰工程的公司列表，你现在提取的是默认的地基与基础工程

xssl002

好贴，支持！！！！！！！！！！！

kangatang

liucqa 发表于 2012-7-18 14:37
你试一下提取专业资质为建筑装修装饰工程的公司列表，你现在提取的是默认的地基与基础工程

建筑装修装饰工程的公司列表
xml_qureytable2.rar (52.94 KB, 下载次数: 266)

2012-7-18 15:21 上传

点击文件名下载附件

引子玄

kangatang 发表于 2012-7-18 15:21
建筑装修装饰工程的公司列表

从源文件的＂表＂可以获取２３个分页面的源文件，我想地址可能就在里面？我只取了第１个和第２个分页，分页地址你是咋找出来的？对网页编码俺还不太熟悉．

引子玄

kangatang 发表于 2012-7-18 14:29
大师为介绍相关知识，讲得比较全面。但针对1楼的问题我给出另外一种解决思路（XMLHTTP + QURYTABLE）

你这个做得好，学习了

kangatang

引子玄 发表于 2012-7-18 16:27
从源文件的＂表＂可以获取２３个分页面的源文件，我想地址可能就在里面？我只取了第１个和第２个分页， ...

简单地讲xlmhttp获取每页的网页源文件，在硬盘上保存为一个html文件，然后用querytable导入。保存到硬盘的速度相对于网络连接来说，对提取速度丝毫没有影响。