不懂html也来学网抓（xmlhttp/winhttp+fiddler）

renahu

wcymiss 发表于 2014-11-9 21:51
是的，有些网页支持把POST里的SendData放在URL后面用&连接作为参数传递，同时请求方式改为"GET"。比如你这 ...

谢谢老师，是不是有密码，验证码的，一般先手工登陆，再去抓，就比较容易。那些非手工登陆直接就抓，其实也就省了登陆这一步 。省不了多少事，但难度却增加不少，是这么个意思吧？

Lexliu

膜拜之，学习之~~~

wcymiss

renahu 发表于 2014-11-10 10:22
谢谢老师，是不是有密码，验证码的，一般先手工登陆，再去抓，就比较容易。那些非手工登陆直接就抓，其实 ...

有些网站判断是否是合法用户只根据cookie，这样的网站就可以手工用IE浏览器登录后，用xmlhttp去获取登录后才能查询到的数据。因为xmlhttp可以共享IE的cookie。比如excelhome论坛查看自己的已发帖。

有些网站则不单单是根据cookie判断是否是合法用户。这时你这样的方法就行不通了。比如淘宝的查看已买到宝贝。

renahu

wcymiss 发表于 2014-11-10 10:51
有些网站判断是否是合法用户只根据cookie，这样的网站就可以手工用IE浏览器登录后，用xmlhttp去获取登录后 ...

吴老师，还是关于那个图书网，现在发现一个问题，经测试，当抓包页数达到第431时，以后所有页即432~。。。，都必须手工打开此页才能成功抓包，否则就抓包失败。其实抓包网址除页码外都是一样的，1~431都能顺利抓下，以后的必须手动打开过才能抓到，这是怎么回事？有解决办法吗？

onlycxb

renahu 发表于 2014-11-10 13:04
吴老师，还是关于那个图书网，现在发现一个问题，经测试，当抓包页数达到第431时，以后所有页即432~。。。 ...

那个数据含有回车符或空格，替换掉！

wcymiss

jxyu1217 发表于 2014-11-9 20:52
吴姐，能不能说说xmlHttp法下载百度文库和在线播放视频？

一样都是找到文档和视频的真实地址吧？

测试了下，百度文库里，需要点券的文档可以下载，但需要购买的文档我现在还做不到。

视频网站我只看了爱奇艺，貌似fiddler没抓到视频的真实地址。有空换个抓包工具再研究研究。

heric221

wcymiss 发表于 2014-10-23 14:51
对获取数据作个小结：
1、清除缓存cookie历史记录后用fiddler抓包。
2、搜索所需数据，找到数据真实网页（ ...

一口气学习、操作到84楼，休息休息。嘿嘿……
吴姐写得很好，要是我刚开始学网抓时能碰到这样图文并茂的教程，就可以少走很多弯路。
学习网抓过程中，这近一年来，很多问题都是看别人代码、看W3SCHool以及百度，一步一步调试才解决的。
能出现这样的教程实在是我等网抓菜鸟的福音，谢谢吴姐！

heric221

kangatang 发表于 2014-10-23 16:08
例子非常强大。。。。。一般的人找不全这么多的例子，感叹大师身经百战的传奇经历。这不是一个普通的知识贴 ...

非常赞同，嘿嘿……
这帖子是多次实践的经验总结。

renahu

renahu 发表于 2014-11-10 13:04
吴老师，还是关于那个图书网，现在发现一个问题，经测试，当抓包页数达到第431时，以后所有页即432~。。。 ...

我清了一下缓存，重新登录，好像可以了，可以随便选择后面的页抓取了，我发现时间长了，一是，自动退出，二是，抓不出来了（不过可以打开哪页抓哪页）

renahu

是不是抓得多了，现在频繁退出了