ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: wcymiss

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2014-10-29 21:35 | 显示全部楼层
本帖已被收录到知识树中,索引项:网页交互
wcymiss 发表于 2014-10-22 16:56
再上一个动态参数的例子:

网站:http://www.abchina.com/cn/Public ... t20101217_45743.htm

吴老师,这是我登陆后用fiddler抓到的今天29日,第六页的信息
我干脆把__VIEWSTATE直接放进a1单元格里,直接调用,我倒想看看能不能获得数据,我这里还是不行,下面是附件,您帮我看看能不能获得数据
日元信息.rar (20.92 KB, 下载次数: 27)

点评

不能直接写进代码的才叫动态呀。能直接写明文的就是固定的、静态的参数了。你是不是没理解“动态”的意思?  发表于 2014-10-29 21:43
直接调用当然无法获得数据。否则我为什么还要第一次的open(get)呢。第二次open(post)的senddata一定要是第一次的open(get)而来的。你写明文进去无效。  发表于 2014-10-29 21:41

TA的精华主题

TA的得分主题

发表于 2014-10-29 21:48 | 显示全部楼层
renahu 发表于 2014-10-29 21:35
吴老师,这是我登陆后用fiddler抓到的今天29日,第六页的信息
我干脆把__VIEWSTATE直接放进a1单元格里, ...

其实我这个明文就是和第一次的open(get)而来的内容加上日期等合起来后完全一样的,我写明文是让您看看,我用两次open得到的结果,结果一样,都是数据里显示<title>运行时错误</title>

点评

请上你两次open的代码。  发表于 2014-10-29 21:57

TA的精华主题

TA的得分主题

发表于 2014-10-29 22:04 | 显示全部楼层
wcymiss 发表于 2014-10-22 16:56
再上一个动态参数的例子:

网站:http://www.abchina.com/cn/Public ... t20101217_45743.htm


吴老师,看来是中邪了,折腾一下午,一晚上,都无法获得数据,刚才excel突然死了,然后excel自动重启,竟然通过了!这叫什么事儿呀,不过还是很高兴,呵呵,总算没有白折腾。

TA的精华主题

TA的得分主题

发表于 2014-10-29 22:08 | 显示全部楼层
renahu 发表于 2014-10-29 21:35
吴老师,这是我登陆后用fiddler抓到的今天29日,第六页的信息
我干脆把__VIEWSTATE直接放进a1单元格里, ...

老师,您不信再试一试我刚才发的附件,也通过了,感觉就好像什么东西一直关着,谁刚刚给打开似的,呵呵,有意思

TA的精华主题

TA的得分主题

发表于 2014-10-29 22:11 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
好东西,慢慢研究了要!

TA的精华主题

TA的得分主题

发表于 2014-10-29 22:40 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
本帖最后由 引子玄 于 2014-11-1 12:26 编辑

请问,这个网页里的“大小盘走势”指数,用fiddler方法如何抓取下来?
地址http://fenxi.310v.net/odds_pic/panlu.html?match_id=939357&company_id=397

大小盘需抓内容(如下面的截图):
序 大球 大小球盘口 小球 变化时间



先谢。(抓取代码你如何搞?)


1-42.jpg

点评

抓包后搜索某一变化时间,如:22:02:14,可得数据网页;搜索“2.5”可得大小球盘口索引值的列表;搜索“降”可得升降算法  发表于 2014-10-29 22:52

TA的精华主题

TA的得分主题

发表于 2014-10-29 23:10 | 显示全部楼层
VBA万岁 发表于 2014-10-22 17:09
以前只知道对html.all.tags("table")中的行及单元格进行循环,今方知还可对html.all.tags("div")的行列 ...

如果有这样html.all.tags("table")的例子给发个看看

TA的精华主题

TA的得分主题

发表于 2014-10-30 00:07 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
本帖最后由 kangatang 于 2014-10-30 00:36 编辑
wcymiss 发表于 2014-10-29 15:44
复杂登录一:搜房网登录

网站:http://agent.soufun.com/

模仿这个
[原创] 无偿奉献58同城网站登陆代码 - 有点难度

制作了这个:

搜房网密码加密    encrypt_Sofang2.rar (16.07 KB, 下载次数: 129)

点评

我还真愣了下,我想仅仅3个js怎么就能取到pwdRtn值了。原来你把其余的js代码写在隐藏的工作表里了。  发表于 2014-10-30 08:31

TA的精华主题

TA的得分主题

发表于 2014-10-30 00:22 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
吴姐,分享一个登陆网址,不算复杂,应该没什么难度,但是可以总结前面很多例子~~
https://login.zhubajie.com/login

点评

明码的登录就是若干动态参数+referer+cookie,在获取数据时都讲过方法了,不打算再谈了。。  发表于 2014-10-30 08:20

TA的精华主题

TA的得分主题

发表于 2014-10-30 08:19 | 显示全部楼层
wcymiss 发表于 2014-10-29 16:27
复杂登录二:

吴姐,你好,假如ie方法的  fireevent  change  类似的   事件  到了xml怎么模拟  不然有的动作 或者数据不显示

点评

从打开网页开始一直操作到能看到你要的数据。这整个过程一起抓包。然后搜索所需数据的某个字段,确认数据所在真实网页。  发表于 2014-10-30 08:29
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-12-23 21:41 , Processed in 0.046643 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表