ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: liucqa

[原创] 网页采集(网页抓取)教程第二课-用WinHTTP提交Post,viewstate获取和URLEncode编码方法

  [复制链接]

TA的精华主题

TA的得分主题

发表于 2012-8-2 22:47 | 显示全部楼层
本帖已被收录到知识树中,索引项:网页交互
Private Sub getPostData(objWinhttp As Object, URL As String)
    Dim tt$
    '第一次调用取得post的几个参数
    Application.StatusBar = "正在获取Post参数..."
    With objWinhttp
        .Option(6) = 0                                                    '不重定向
        .Open "GET", URL, False                                     '获取第一个动态的POST参数,一般是用GET提交得到,这一点通过抓包软件可以确认
        .setRequestHeader "Connection", "Keep-Alive"
        .send
        tt = .responseText
        With CreateObject("new:{1C3B4210-F441-11CE-B9EA-00AA006B1A69}")       '调试用,得到网页源代码数据,放入剪贴板
            .SetText tt
            .PutInClipboard
        End With
    End With

    If CheckServerError(objWinhttp.Status, tt) Then                 '判断是否网页返回错误
        Application.StatusBar = False
        Application.ScreenUpdating = True
        Set objWinhttp = Nothing
        Set dicMapIndex = Nothing
        End
    End If
   
   '如果网页正确,下面的代码从网页源代码中取出post提交的动态参数
    viewstate = Split(Split(tt, "__VIEWSTATE"" value=""")(1), """")(0)                           '取得VIEWSTATE的Post参数
    eventvalidation = Split(Split(tt, "__EVENTVALIDATION"" value=""")(1), """")(0)         '取得EVENTVALIDATION的Post参数
    txtDay = Split(Split(tt, "ctl00$cph_content$txtDay"" type=""text"" value=""")(1), """")(0)      '提交日期,默认当日
End Sub

Sub kl()
Set objWinhttp = CreateObject("Microsoft.XMLHTTP")
URL = "http://www.gzgcjg.com/gzqypjtx/Estimate/ZY/MainQueryMarkZY.aspx?"
getPostData objWinhttp, URL
End Sub
请问我的代码有啥错,运行不了哈
谢谢

TA的精华主题

TA的得分主题

发表于 2012-8-3 10:14 | 显示全部楼层
liucqa 发表于 2012-7-17 14:15
调用函数  Call getPostData(objWinhttp, URL) ,提取第一次POST需要的参数

Private Sub getPostData(ob ...

请问这个要咋用才能获得第一页人信息,看得有点莫名其妙。

TA的精华主题

TA的得分主题

发表于 2012-8-28 09:44 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2012-9-1 11:14 | 显示全部楼层
该课程的完整实例,可提取相关专业资质的所有记录数据到对应的工作表

WinHttp POST 完善xp.rar

28.55 KB, 下载次数: 215

TA的精华主题

TA的得分主题

 楼主| 发表于 2012-9-1 11:20 | 显示全部楼层
gongnl 发表于 2012-9-1 11:14
该课程的完整实例,可提取相关专业资质的所有记录数据到对应的工作表

咋用上了QueryTables.Add呢?

俺的课程应该是纯粹的xmlhttp

TA的精华主题

TA的得分主题

发表于 2012-9-1 12:02 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
{:soso_e163:}慢慢拜读

TA的精华主题

TA的得分主题

发表于 2012-9-1 16:26 | 显示全部楼层
liucqa 发表于 2012-9-1 11:20
咋用上了QueryTables.Add呢?

俺的课程应该是纯粹的xmlhttp

liucqa 大侠的教程太好了,但单个数据提取繁琐一些,希望liucqa大侠提供一个不使用QueryTables 能分别提取所有数据的版本

TA的精华主题

TA的得分主题

 楼主| 发表于 2012-9-1 18:32 | 显示全部楼层
gongnl 发表于 2012-9-1 16:26
liucqa 大侠的教程太好了,但单个数据提取繁琐一些,希望liucqa大侠提供一个不使用QueryTables 能分别提取 ...

俺一直等着别人给写出来呢,谁能做出来,就说明谁真正看懂了俺的教程,并具备举一反三的能力

TA的精华主题

TA的得分主题

发表于 2012-9-2 21:07 | 显示全部楼层
本帖最后由 gongnl 于 2012-9-2 21:23 编辑

liucqa 大师,经过一天一夜的努力,对原实例更新,去除 QueryTables.Add,完成网页的抓取,请赐教

WinHttp POST 完善2xp.rar

34.24 KB, 下载次数: 164

TA的精华主题

TA的得分主题

发表于 2012-9-2 21:09 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
本帖最后由 gongnl 于 2012-9-2 21:24 编辑
liucqa 发表于 2012-9-1 18:32
俺一直等着别人给写出来呢,谁能做出来,就说明谁真正看懂了俺的教程,并具备举一反三的能力


大师,经过一天一夜的努力,对原实例更新,去除 QueryTables.Add,完成网页的抓取,请赐教
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-3-28 18:18 , Processed in 0.052309 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表