不懂html也来学网抓（xmlhttp/winhttp+fiddler）

oliverpep

oliverpep 发表于 2015-2-13 14:26
吴老师，您的贴子太赞了，为我打开了web操作类编程又一思路。我以前总使用浏览器模拟的方式来实现网络 ...

吴老师，对不起，我没有表达清楚意思，我是想怎么样能得到如你贴子中的
"http://club.excelhome.net/forum.php?mod=attachment&aid=MTA2MjQ1MHw0MDQxMTAzOHwxNDE0MTIxNTg0fDIxODkxN3w4MDk5MjQ%3D"
的地址

oliverpep

oliverpep 发表于 2015-2-15 13:47
吴老师，对不起，我没有表达清楚意思，我是想怎么样能得到如你贴子中的
"http://club.excelhome.net/for ...

吴老师，我意思是如何从fiddler中分析出下载地址并自动生成，能不能给个思路或者实例，因为下载地址没办法直接用find来检索到（这方面我是小白，老师别见笑）

jebbs

好贴，不顶没天理了

wcymiss

oliverpep 发表于 2015-2-15 13:47
吴老师，对不起，我没有表达清楚意思，我是想怎么样能得到如你贴子中的
"http://club.excelhome.net/for ...

先上传一个测试文档：

wcymiss

oliverpep 发表于 2015-2-15 16:38
吴老师，我意思是如何从fiddler中分析出下载地址并自动生成，能不能给个思路或者实例，因为下载地址没办法 ...

获取上贴的文件的下载地址的过程如下：

1、登录excelhome
2、打开fiddler
3、输入网址：http:/ /club.excelhome.net/forum.php?mod=viewthread&tid=1159783&page=71，抓包
4、抓包完毕后，在fiddler里搜索字符串：“先上传一个测试文档”
5、如下图，可以看到下载文档的地址在responsetext里。

oliverpep

wcymiss 发表于 2015-2-17 10:48
获取上贴的文件的下载地址的过程如下：

1、登录excelhome

十分感谢，我会顺着这个思路研究的。在这佳节即将来临之际，先预祝吴老师新春快乐，万事如意。

yuyudada

    很好很强大

lolmuta

超有帮助…
太感动了，终于成功抓到我们公司的网页资料了，
每次登入后，他会发给你一个jsessionid，
这个Jessionid我都无法在cookie中找到，所以卡好久…
但是在reponse的页面就有了，所以直接取用
然后取得这个jsessionid后，后面的网址都是一样的变化，唯一不同的是要用刚取得的Jsessionid
不然会出现登入错误

然后就有很多选择，每选一个，就POST一次

直到POSt n次后，
就有资料了…

真的太感谢这篇文章了…
不过没有基础，感觉就不踏实…

晓东123

楼主讲解的好细！一定要顶！！可是看来好难学的样子呢

lolmuta

lolmuta 发表于 2015-3-5 11:05
超有帮助…
太感动了，终于成功抓到我们公司的网页资料了，
每次登入后，他会发给你一个jsessionid，

jsessionid是在url里面如

www.aaa.com.xx;jsessionid=123123123123

每一个要post 的url虽都不同，但相同都是jsessionid=123123123123

将评点的话消化如下

服务器肯定是认jsessionid的，不然他怎么知道你之前的选择是什么
要记得是一堆人在使用的啊…

当你在登入时，服务器内就产生一个jsessionid给你，但是完全不用设定在cookie中

其实一开始就已经将jsessionid写入到你目前的页面中，可以是按钮，可以是checkbox…反正有要进行post动作的地方，都安置了jsessionid 在里面
所以才可以当我每操作一个动作时，url都有变，但是不变的就是jsessionid=123123123123，

每一个动作后，因为服务器有接收到你的jsessionid, 所以可以合理的认定产生的新的页面也都继续藏着这个jsessionid，
所以这个jsessionid会一直阴魂不散的跟着你走…


http对象从服务器获得的reponse的内容里如果有cookie信息(将jsessionid藏到有post动作的地方)
在同一个http对象下，下一次post或get，
不需要setrequest "cookie"(不用靠cookie，因为不需要靠cookie来存放jsessionid,jsessionid是存在你目前的页面上)
)也可以自动向服务器发送cookie(发送jsessionid，因为你当前页面所有的post动作，都已经写入jsessionid了)