不懂html也来学网抓（xmlhttp/winhttp+fiddler）

boywin3

onlycxb 发表于 2014-10-21 17:04

url = "http://data.bank.hexun.com/lccp/Jrxp.aspx?col=1&tag=desc&date=2014-10-21&page=2"
请问: 以上的关键链接,是如何找到的?(用httpwatch和fiddler都未直接查得...)

wormee

wcymiss 发表于 2014-11-9 21:51
是的，有些网页支持把POST里的SendData放在URL后面用&连接作为参数传递，同时请求方式改为"GET"。比如你 ...

这是网站自己实现上面的处理。一般的server都会提供get()方法和post()方法，获取用户请求的get数据和post数据。现在的大多数server还提供query()方法，可以分别从get/post/cookie中查找某一提交的键值，并获取这个用户输入的值，不管它是来自get还是post
有些情况是网站程序员自己封装了一个query方法，查找某一键值先从get数据找，没有的话找post，再找cookie，知道找到为止。

408715654

楼主您好，如果我要抓取的网站需要登录呢，我有密码，需要的表格是下拉框一个一个选的能不能根据我的一列数据自动选择下拉框的表格抓取数据呢

rhzwan123

wcymiss 发表于 2014-10-22 11:10
还是Cookie。。。

模拟Cookie的宗旨是向服务器发送一个它认可的Cookie。不管这个Cookie是回话Cookie还是 ...

非常感谢吴姐循序渐进和耐心的讲解，教程写的太好了。
关于这个例子，有几点建议和思考，还请多批评指正：
一、将fiddler抓到的请求头中的cookie字符串，粘贴到单元格中。在vba的cookie设置中取单元格的value即可。
二、将cookie字符串通过split存为数组，然后逐一去掉，看哪个元素去掉不影响抓包结果，就逐个去掉，最后保留关键的cookie元素。

wuweitaie

太牛逼了吧，崇拜崇拜

dwgzy

好知识，好帖子。

langxibai

多谢老师！！

Allen2018

wcymiss 发表于 2014-10-21 21:55
获取数据-防盗链的处理-模拟Cookie：

再次提醒，抓包前请先清除浏览器所有Cookie、缓存、历史数据。

吴姐，微信有些链接限于在微信浏览器才打得开
如果用电脑打开，会显示“请在微信客户端打开链接”
介于此类问题有解决办法吗？能否给些建议

rfffg_2017

老师好
您提供的一个例题的网址，很多已经失效了，能不能在提供一些新鲜的试题呢？
谢谢你

rfffg_2017

wcymiss 发表于 2014-10-23 12:13
说到skey和bkn，索性再唠叨一下用IE获取Cookie的例子。

QQ的skey用winhttp比较难以获取，当中包含了一些 ...

这个没用fiddler法啊，看不懂