【感谢加精】网页采集教程第五课-如何伪造Cookie及处理Referer防盗链

goldowl2011 · 发表于 2015-9-7 23:45

再次学习COOKIE的使用，感谢好教材！！！

scnjlwb · 发表于 2015-9-17 06:32

学习网抓，好教材！

CNTSHM · 发表于 2016-6-6 17:23

经典，学习中！）：

billzhaopa · 发表于 2016-7-29 17:44

好贴，收藏，感谢

xujia7625 · 发表于 2016-9-29 11:29

mark一下，谢谢老师

pzhhxr · 发表于 2017-12-5 00:47

做个记号做个记号做个记号做个记号

xlsber · 发表于 2018-3-18 21:58

向大侠提问，遇到问题，无法解决了，想用工具替代人工在公司网上查询相关数据，但是不巧每能成功。遇到的问题如下。

在浏览器中直接输入网址通过fiddler看到，第一次应该是协商密钥，黄色部分都是包含同一个SESSIONID的。

然后再第二个包得到就看到了SESSIONID，我把这个cookie值直接放到我的程序代码中就可以正常获取到网页数据。

但是如果在自己程序中直接GET同样的地址，不管连续多少次GET都无法返回Cookie值，网页内容返回的结果一直是：

<html><head><title>SPNEGOauthentication is not supported.</title></head><body>SPNEGOauthentication is not supported on this client.</body></html>

通过winhttp对象的方法.getAllResponseHeader得到的内容一直是下面这些内容。

Connection:Keep-Alive

Date: Sun, 18 Mar2018 13:23:49 GMT
Keep-Alive:timeout=10, max=99
Content-Length: 148
Content-Type:text/html; charset=UTF-8
Content-Language:en-US
Server:IBM_HTTP_Server
WWW-Authenticate:Negotiate
X-Powered-By:Servlet/3.0

我一直无法得到该cookie值，请问哪里出错了？看fiddler抓包看到第二次访问同样的网址应该是有SESSIONID的，为什么我的不行？

xlsber · 发表于 2018-3-18 22:03

请搂主有空帮我分析下，谢谢

xlsber · 发表于 2018-3-19 11:44

看了下，主要是认证的原因，即使开启了.Option(WinHttpRequestOption_EnablePassportAuthentication) = True也没有多少用阿，看fiddler在Compser 的Option页面是有一个“Automatically Authenticate”的选项的，勾选之后可以fiddler可以自动响应401，请问自己要实现这样的功能有什么办法没？

liucqa · 发表于 2018-3-19 14:25

xlsber 发表于 2018-3-19 11:44
看了下，主要是认证的原因，即使开启了.Option(WinHttpRequestOption_EnablePassportAuthentication) = Tru ...

如果需要登录的话，代码要相对复杂一些。

		自动登录	找回密码
密码			免费注册

[分享] 【感谢加精】网页采集教程第五课-如何伪造Cookie及处理Referer防盗链