ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: liucqa

[原创] 网页采集(网页抓取)教程第二课-用WinHTTP提交Post,viewstate获取和URLEncode编码方法

  [复制链接]

TA的精华主题

TA的得分主题

发表于 2012-12-7 17:08 | 显示全部楼层
本帖已被收录到知识树中,索引项:网页交互
对这块很感兴趣  学习了  

TA的精华主题

TA的得分主题

发表于 2012-12-10 17:24 | 显示全部楼层
日后再说,谢谢分享

TA的精华主题

TA的得分主题

发表于 2012-12-12 23:47 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
请老大写一个实例

VBA 操作网页 比如 本版 搜索 网页 怎么提取 得到的搜索结果的链接

TA的精华主题

TA的得分主题

发表于 2013-1-4 00:00 | 显示全部楼层
楼主搞的这个东西,和我现在的需求,真是极为相似的呀!向楼主学习了! 我正在尝试使用 火车头采集器 来采集,尝试了一晚上,未果。。。。。  

TA的精华主题

TA的得分主题

发表于 2013-2-17 17:12 | 显示全部楼层
因此,我们做POST提交的时候,会面临一个麻烦:在上述说明的第三点中,如何快速判断网站提交到底是用的什么编码呢?
一般来说,需要我们用抓包软件进行确认。
如果汉字被转成2个以%开头的编码,一般是ANSI的编码方式(简体中文版的系统就是GB2312),很多国内网站用这种方式
如果汉字被转成3个以%开头的编码,一般是UTF-8的编码方式

比如“中国”两个字:
按gb2312进行编码:           %D6%D0%B9%FA
按utf8或unicode进行编码: %E4%B8%AD%E5%9B%BD
根据这个规律,就可以初步判断编码方式,并对提交的Post数据进行URL编码了。

--------------------------------------------------------------------------
我只看到都是以1个%开头的,难道我看错了吗?

TA的精华主题

TA的得分主题

发表于 2013-2-27 18:31 | 显示全部楼层
本帖最后由 cumulonimbus 于 2013-2-27 18:40 编辑

[code=vb]
Sub kkk()
myday = Split(Now(), " ")(0)
mystr = ReadOut(ThisWorkbook.Path & "\post_test.txt")
mystr = Replace(mystr, "contaminationday", myday)
    With CreateObject("Msxml2.XMLHTTP.6.0")
   
    For m = 1 To 2
        mystr1 = Replace(mystr, "cumulonimbus", m)
        
        .Open "POST", "http://www.gzgcjg.com/gzqypjtx/Estimate/ZY/MainQueryMarkZY.aspx?clearPaging=true", False
        .setRequestHeader "Referer", "http://www.gzgcjg.com/gzqypjtx/Estimate/ZY/MainQueryMarkZY.aspx?clearPaging=true"
        .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
         .Send mystr1
        
        Set oDoc = CreateObject("htmlfile")
        oDoc.body.innerHTML = .responsetext
        
        k = [a65536].End(xlUp).Row + 1
        Set r = oDoc.All.tags("td")
        For i = 1 To 191 Step 10
            For j = 1 To 10
                Cells(k, j) = r(i - 1 + j).innerText
            Next j
            k = k + 1
        Next i
    Next m
        
    End With
End Sub
Private Function ReadOut(FullPath)
    On Error Resume Next
    Dim Fso, FileText
    Set Fso = CreateObject("scRiPTinG.fiLEsysTeMoBjEcT")
    Set FileText = Fso.OpenTextFile(FullPath, 1, True)
    ReadOut = FileText.ReadAll
    FileText.Close
End Function
[/code]

这是我的解法。

post_test.zip

19.29 KB, 下载次数: 73

TA的精华主题

TA的得分主题

发表于 2013-3-8 13:17 | 显示全部楼层
请问大侠们,我用querytables提取网页表格,产生了超多的connection,导致excel打开后就很慢,好像在跑connection。。。怎么把它们杀掉?

TA的精华主题

TA的得分主题

发表于 2013-3-14 22:08 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2013-3-26 21:36 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2013-4-18 08:13 | 显示全部楼层
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-3-28 17:15 , Processed in 0.056156 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表