ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: wcymiss

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2014-10-28 07:44 | 显示全部楼层
本帖已被收录到知识树中,索引项:网页交互
此用户被禁言 发表于 2014-10-27 21:37
呃,原谅我吧,我是个怀旧的人。我的机器的配置目前为止仍旧是32位的winXP+2003office,IE也刚升级到IE8, ...

还可以把硬盘分出三个主区做多系统,呵呵,我的机器是 XP+WIN7+WIN8

TA的精华主题

TA的得分主题

发表于 2014-10-28 08:41 | 显示全部楼层
本帖最后由 renahu 于 2014-10-28 08:44 编辑
wcymiss 发表于 2014-10-27 15:49
编写JavaScript代码处理JSON(一)

个人为了练习分析JavaScript、JSON的能力,常编写JavaScript处理JSON ...


吴老师,我刚把作业1和作业2整明白(这两个作业很实用很直观,能激发大家学习的兴趣),现在感觉进度太快了,对于我们新手来说,越来越看不懂了,提个建议,能不能就前面的内容再布置一些作业,一是巩固学到的知识,二来也提高大家学习的兴趣。

点评

我不晓得自己描述的是不是足够清晰了。如果有不明白的地方,欢迎及时探讨。谢谢  发表于 2014-10-28 09:24
作业我都是心血来潮的布置的。没有特别计划。你要真想练习的话,论坛里有很多网抓的提问帖,你可以去回帖。获取和处理数据基本都讲完了,后面的登录上传不过就是获取数据的变种。  发表于 2014-10-28 09:21

TA的精华主题

TA的得分主题

发表于 2014-10-28 09:50 | 显示全部楼层
onlycxb 发表于 2014-10-23 16:44
新手作业

想就作业“江苏七星彩”问个问题:
这句 : .SetRequestHeader "Content-Type", "application/json; charset=UTF-8"
在我的request窗口中怎么只有:Content-Type: application/json  没有 ; charset=UTF-8 ?

点评

抓到的是什么就写什么。不需要自己添加。我抓到的也没有charset=utf-8  发表于 2014-10-28 11:32

TA的精华主题

TA的得分主题

 楼主| 发表于 2014-10-28 09:59 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
占楼


TA的精华主题

TA的得分主题

发表于 2014-10-28 10:02 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
wcymiss 发表于 2014-10-28 09:59
占楼


吴老师,您帮我看看223楼的问题,是我抓的有问题吗?

TA的精华主题

TA的得分主题

发表于 2014-10-28 10:08 | 显示全部楼层
wcymiss 发表于 2014-10-28 09:59
占楼


下面是request窗口里的内容:

POST http://www.pinble.com/Template/WebService1.asmx/Present3DList HTTP/1.1
Referer: http://www.pinble.com/Lottery.htm
Content-Type: application/json
X-Requested-With: XMLHttpRequest
Accept: application/json, text/javascript, */*
Accept-Language: zh-CN
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
Host: www.pinble.com
Content-Length: 82
DNT: 1
Connection: Keep-Alive
Pragma: no-cache
Cookie: ASP.NET_SessionId=wza33bj2qoztfn3nph3it045

{pageindex:'1',lottory:'TC7XCData_jiangS',pl3:'',name:'江苏七星彩',isgp: '0'}

TA的精华主题

TA的得分主题

发表于 2014-10-28 10:18 | 显示全部楼层
renahu 发表于 2014-10-28 09:50
想就作业“江苏七星彩”问个问题:
这句 : .SetRequestHeader "Content-Type", "application/json; cha ...


我的request窗口中也只有:Content-Type: application/json  没有 ; charset=UTF-8。
在response窗口才有application/json; charset=UTF-8
但直接用
.SetRequestHeader "Content-Type", "application/json"
也可通过。

TA的精华主题

TA的得分主题

发表于 2014-10-28 10:21 | 显示全部楼层
一直跟吴姐学的网抓,感觉作业例子好像是取自吴姐一套视频的课程里的内容,俺跟随学过了。
很支持吴姐,留个标记,继续学习。

TA的精华主题

TA的得分主题

发表于 2014-10-28 10:21 | 显示全部楼层
wcymiss 发表于 2014-10-21 15:25
获取数据-直接获取-静态参数:

在Request框内经常能看到各种参数。

上述URL或SendData里的参数都是大部分都是静态的(14楼作业2里有一个参数非静态),也就是说,不管何时何地,只要服务器后台代码不改变,相同的页面选择,参数总也是相同的。

我怎么觉得有四个参数(除了日期还有倒数三个)在变,每天只有更新这四个参数才能查出当天数据

点评

查询不同日期的数据当然需要改变日期参数值(假如存在日期参数的话)。查询条件不同了相应参数当然得改。这个不属于“相同页面选择”。动态参数都是由服务器的加密机制计算出来的。  发表于 2014-10-28 11:37

TA的精华主题

TA的得分主题

发表于 2014-10-28 10:23 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
VBA万岁 发表于 2014-10-28 10:18
我的request窗口中也只有:Content-Type: application/json  没有 ; charset=UTF-8。
在response窗口才 ...


我也看见了,在response中有,这么说加和不加不影响最后效果了
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-12-23 15:41 , Processed in 0.036289 second(s), 6 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表