网页采集(网页抓取)教程第二课-用WinHTTP提交Post，viewstate获取和URLEncode编码方法

潘某某

对这块很感兴趣  学习了  

莫悠悠

日后再说，谢谢分享

赵莲

请老大写一个实例

VBA 操作网页 比如 本版 搜索 网页 怎么提取 得到的搜索结果的链接

Gipors

楼主搞的这个东西，和我现在的需求，真是极为相似的呀！向楼主学习了！ 我正在尝试使用 火车头采集器 来采集，尝试了一晚上，未果。。。。。  

cumulonimbus

因此，我们做POST提交的时候，会面临一个麻烦：在上述说明的第三点中，如何快速判断网站提交到底是用的什么编码呢？
一般来说，需要我们用抓包软件进行确认。
如果汉字被转成2个以%开头的编码，一般是ANSI的编码方式（简体中文版的系统就是GB2312），很多国内网站用这种方式
如果汉字被转成3个以%开头的编码，一般是UTF-8的编码方式

比如“中国”两个字：
按gb2312进行编码：           %D6%D0%B9%FA
按utf8或unicode进行编码： %E4%B8%AD%E5%9B%BD
根据这个规律，就可以初步判断编码方式，并对提交的Post数据进行URL编码了。

--------------------------------------------------------------------------
我只看到都是以1个%开头的，难道我看错了吗？

cumulonimbus

[code=vb]
Sub kkk()
myday = Split(Now(), " ")(0)
mystr = ReadOut(ThisWorkbook.Path & "\post_test.txt")
mystr = Replace(mystr, "contaminationday", myday)
    With CreateObject("Msxml2.XMLHTTP.6.0")
   
    For m = 1 To 2
        mystr1 = Replace(mystr, "cumulonimbus", m)
        
        .Open "POST", "http://www.gzgcjg.com/gzqypjtx/Estimate/ZY/MainQueryMarkZY.aspx?clearPaging=true", False
        .setRequestHeader "Referer", "http://www.gzgcjg.com/gzqypjtx/Estimate/ZY/MainQueryMarkZY.aspx?clearPaging=true"
        .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
         .Send mystr1
        
        Set oDoc = CreateObject("htmlfile")
        oDoc.body.innerHTML = .responsetext
        
        k = [a65536].End(xlUp).Row + 1
        Set r = oDoc.All.tags("td")
        For i = 1 To 191 Step 10
            For j = 1 To 10
                Cells(k, j) = r(i - 1 + j).innerText
            Next j
            k = k + 1
        Next i
    Next m
        
    End With
End Sub
Private Function ReadOut(FullPath)
    On Error Resume Next
    Dim Fso, FileText
    Set Fso = CreateObject("scRiPTinG.fiLEsysTeMoBjEcT")
    Set FileText = Fso.OpenTextFile(FullPath, 1, True)
    ReadOut = FileText.ReadAll
    FileText.Close
End Function
[/code]

这是我的解法。

WhateverYoung

请问大侠们，我用querytables提取网页表格，产生了超多的connection，导致excel打开后就很慢，好像在跑connection。。。怎么把它们杀掉？

xiapukongtiao

很好的一个教程，非常感谢

东风破55

老师 在这里真心学到很多东西了！

wwwconsumer

很佩服你，如何参加学习呢