ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: wcymiss

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2014-11-13 13:31 | 显示全部楼层
本帖已被收录到知识树中,索引项:网页交互
renahu 发表于 2014-11-13 12:41
吴老师,您好
一、第78条上面没有带黄色的了
二、关于显示“LOGIN REUSE”,好像执行代码登陆与网页登陆 ...

是的,我没用fiddler之前都去IE工具栏里进行历史记录的删除,不知道下面这些删的够不够:



点评

第一个“保留”不要选。  发表于 2014-11-13 13:34

TA的精华主题

TA的得分主题

发表于 2014-11-13 14:02 | 显示全部楼层
本帖最后由 renahu 于 2014-11-13 14:12 编辑
renahu 发表于 2014-11-13 13:31
是的,我没用fiddler之前都去IE工具栏里进行历史记录的删除,不知道下面这些删的够不够:

老师我这个应该是删的够全的来,除了第一个没打勾,其他全打钩,连刷新EH都要重新登录了
可我还找不到课程中提到的session
login.rar (1.53 MB, 下载次数: 8)

TA的精华主题

TA的得分主题

 楼主| 发表于 2014-11-13 20:47 | 显示全部楼层
renahu 发表于 2014-11-13 14:02
老师我这个应该是删的够全的来,除了第一个没打勾,其他全打钩,连刷新EH都要重新登录了
可我还找不到课 ...

你看看我抓包的界面:

2014-11-13 20-38-40.png


再跟你的比较下:

2.png


TA的精华主题

TA的得分主题

发表于 2014-11-13 20:55 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
wcymiss 发表于 2014-11-13 20:47
你看看我抓包的界面:

老师,这么说cookie越少越好? 还有您找到“初始登陆”中的那个session了吗?

TA的精华主题

TA的得分主题

发表于 2014-11-13 21:02 | 显示全部楼层

TA的精华主题

TA的得分主题

 楼主| 发表于 2014-11-13 21:35 | 显示全部楼层
renahu 发表于 2014-11-13 20:55
老师,这么说cookie越少越好? 还有您找到“初始登陆”中的那个session了吗?

不是说cookie越少越好。
有cookie证明你浏览器的cookie没有删除干净。

清除浏览器cookie、缓存、历史记录后,先打开fiddler,再打开浏览器。这个步骤,在“fiddler的安装、设置、使用”这楼里说了的。

纯净的浏览器是什么cookie也没有的。


TA的精华主题

TA的得分主题

发表于 2014-11-13 21:56 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
renahu 发表于 2014-11-13 13:09
我在搜房网,登陆后用fiddler搜我的用户名,只有三个GET的,怎么没有POST的?登陆方法不对,还是fiddler有问 ...

其实建议重新再看一下吴姐的教程,示范的是一种方法,师傅领进门,修行靠自己!个中已经很清楚!

TA的精华主题

TA的得分主题

发表于 2014-11-13 21:57 | 显示全部楼层
wcymiss 发表于 2014-11-13 21:35
不是说cookie越少越好。
有cookie证明你浏览器的cookie没有删除干净。

是的,我怕选的太多影响使用,看主要的都打上勾了,也没仔细看选项的内容,所以删的不够,问题是,那个session后来怎么样了,我这边删干净了,好像还是找不到,这课程没法往下走了,看到的数据都跟课程里的不一样了

TA的精华主题

TA的得分主题

发表于 2014-11-14 15:39 | 显示全部楼层
wcymiss 发表于 2014-11-13 21:35
不是说cookie越少越好。
有cookie证明你浏览器的cookie没有删除干净。

吴老师,我的精细版又进一步精细了,我加入了验证码的抓取,不过最后是手工输入,即可完成登陆,详见:

http://club.excelhome.net/thread-1162676-11-1.html   102楼

TA的精华主题

TA的得分主题

发表于 2014-11-14 15:46 | 显示全部楼层
wcymiss 发表于 2014-10-29 15:44
复杂登录一:搜房网登录

网站:http://agent.soufun.com/

老师,我用你的代码(用户名及密码需改为自已的)运行后,登陆成功,接着进入依次进入“个人帐户”-“我的资料”,想将自己的的用户信息下载,抓截图如下:

.jpg

在抓包界面明明可看见详细帐户信息,可运行如下代码(该代码紧在老师的登出代码后)后,在立即窗口显示的信息中跟本就没有个帐户信息,不知错在哪里:
        If InStr(.getallresponseheaders, "Set-Cookie: passport=username=") > 0 Then
            .Open "get", "http://n.agent.fang.com/Magent/Agent/agentinfo/ModifyAgent1.aspx", False
            .Send
            Debug.Print .responseText
        End If

点评

我少了两个cookie参数。global_cookie和unique_cookie。算法也在某个js文件里。晚上有空的话我去改改帖子。之前没用真实账号测试,漏了。多谢提醒。  发表于 2014-11-14 17:10

评分

1

查看全部评分

您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-11-16 03:17 , Processed in 0.039048 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表