ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: wcymiss

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2014-11-5 17:42 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
本帖已被收录到知识树中,索引项:网页交互
wcymiss 发表于 2014-10-21 12:51
更多Fiddler的使用方法,敬请参考《Fiddler调试权威指南》一书。
电子书下载地址:http://pan.baidu.com/s ...

吴老师,这两天,fiddler搜   http://fenxi.310v.net/odds_pic/p ... &company_id=470

只能搜到数据,只要搜 大小球或2.5 之类的都搜不到了,这一般是怎么回事?幸亏我以前搜的好像还能用

点评

清除缓存  发表于 2014-11-5 21:01

TA的精华主题

TA的得分主题

发表于 2014-11-5 18:00 | 显示全部楼层
好贴, 感谢吴姐分享, 先留个记号, 慢慢拜读.

TA的精华主题

TA的得分主题

发表于 2014-11-5 18:20 | 显示全部楼层
wcymiss 发表于 2014-11-5 13:08
呃,Token找到算法不难,关键Javascript不熟悉,被那个extend给难了下,最后还是自己草草定义个方法。这 ...

吴姐  我这抓包   找不到 token  这个字段 为什么是那些网址?

点评

搜索"Token",找到它的算法在某个JS文件里。  发表于 2014-11-5 20:01

TA的精华主题

TA的得分主题

发表于 2014-11-5 18:22 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
wcymiss 发表于 2014-11-5 13:08
呃,Token找到算法不难,关键Javascript不熟悉,被那个extend给难了下,最后还是自己草草定义个方法。这 ...

为什么 你会知道为什么要这个网址  http://www.131458.com/js/jquery.js?verr=108

点评

这个要看“复杂登录一”和复杂登录“二”。要会javascript。  发表于 2014-11-5 18:29

TA的精华主题

TA的得分主题

发表于 2014-11-5 18:30 | 显示全部楼层
wcymiss 发表于 2014-11-5 13:08
呃,Token找到算法不难,关键Javascript不熟悉,被那个extend给难了下,最后还是自己草草定义个方法。这 ...

    strJS = Split(strText, "})(window);")(1) '抠出所需Javascript代码
        strJS = "var jQuery={};jQuery.extend=function(a){jQuery.Token=a.Token};" & strJS '定义extend方法
        Token = JSEval(strJS & ";jQuery.Token('" & nickCode & "');") '计算Token值


再打扰下 能解释一下  这三个为什么这样做?

点评

就是为了要抠出Token的算法。  发表于 2014-11-5 18:38

TA的精华主题

TA的得分主题

发表于 2014-11-5 20:48 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
liangdonghao922 发表于 2014-11-5 18:20
吴姐  我这抓包   找不到 token  这个字段 为什么是那些网址?

是在 ctrl  +  f  里面查找吗????怎么都找不到呢???吴姐 能不能弄个gif看看,,继续求帮忙

点评

加群310731499  发表于 2014-11-5 21:02

TA的精华主题

TA的得分主题

发表于 2014-11-5 22:54 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
以前一直用IE对象法进行网抓,因为这种方法所见所得,也比较简单。但看了吴姐深入浅出的讲解后,我说服自己也来学学XMLHTTP 和WINHTTP方法来进行网抓。
请教吴姐,XMLHTTP方法是不是不用管网页是不是框架结构?因为我现在要抓的网页是很复杂的框架结构。另外它的POST数据是JSON类型的,比如这种 postData={"tid":"mh047QueryNum?sName=mh047QueryNum#*^@^*#rUUID=83zuk8MAOKQBXEsxG7kG4FyRNgl1DsVg","ctrl":"","page":null,"data":[{"sword":"attr","name":"jsdelegate","value":"null"}],"bindParam":true},像这种JSON类型的post数据,我是不是只需要将它剥离出来后,用xmlhttp方法send就行了?另外图中的网址中,有个r的值总是变化,比如r=0.24816722903901456,r=0.2886853335576446,我不知道这个r的值从哪里来的,第一次遇到。麻烦帮帮我,拜谢了!

网页数据图

网页数据图

点评

1、是,不用管是否框架。 2、是的,send就行。 3、这个是随机数。你自己用随机函数生成一下。  发表于 2014-11-6 09:23

TA的精华主题

TA的得分主题

发表于 2014-11-6 00:00 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2014-11-6 00:11 | 显示全部楼层
无姓人 发表于 2014-11-5 22:54
以前一直用IE对象法进行网抓,因为这种方法所见所得,也比较简单。但看了吴姐深入浅出的讲解后,我说服自己 ...

給個網址,大家一起找

TA的精华主题

TA的得分主题

发表于 2014-11-6 10:03 | 显示全部楼层
wcymiss 发表于 2014-10-28 11:50
初识登录

登录其实没那么神秘。它也就是向服务器发送的一个POST请求。

吴老师,我尝试用这个方法登陆,但抓出来的数据,提示验证码输入错误,是不是要输入验证码,就不好抓了?

点评

有验证码一样能抓包。  发表于 2014-11-6 12:52
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-11-16 01:39 , Processed in 0.046881 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表