ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: wcymiss

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2015-1-11 20:28 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
本帖已被收录到知识树中,索引项:网页交互
onlycxb 发表于 2015-1-9 08:46
终于登上680楼。

非常感谢指导,终于抓到数据了 呵呵

TA的精华主题

TA的得分主题

发表于 2015-1-15 17:54 | 显示全部楼层
wcymiss 发表于 2014-10-23 16:12
缓存的困扰
用xmlhttp对象GET数据时,会优先从缓存中调取。

1.jpg

老师,我为了解决缓存问题用了你介绍的这个“if-modified-since”,"0"的办法,但运行的时候出现上图这种情况,不知如何解决呢?

点评

Open语句的第三参数是不是没写“False”?  发表于 2015-1-16 10:50

TA的精华主题

TA的得分主题

发表于 2015-1-16 16:08 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2015-1-17 12:26 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
谢谢老师解答,确实是后面没写false产生的问题。
主要是我用写false的方法以后运行代码的时候excel老是跟死机似的,等半天才活过来(有时候还活不过来),所以才改成true的。

TA的精华主题

TA的得分主题

发表于 2015-1-18 15:13 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
念一环 发表于 2015-1-2 21:21
Sub 查询()
    Dim mr As Integer, strText As String
    Dim arr(), brr, crr()

Mark一下。

TA的精华主题

TA的得分主题

发表于 2015-1-19 11:51 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
支持下~~~~~~·

TA的精华主题

TA的得分主题

发表于 2015-1-19 15:44 | 显示全部楼层
本帖最后由 feiren228 于 2015-1-19 16:13 编辑
wcymiss 发表于 2014-10-21 12:47
Fiddler抓包并确认数据页面一例:

网站:http://www.cffex.com.cn/fzjy/tjsj/pztj/

请教大师,我想抓内网上的报表数据,登录需要用户名和密码,抓到了table=201
下面要怎么操作,请老师指点,附上图片
QQ截图20150119154559.jpg

QQ截图20150119154533.jpg


QQ截图20150119160531.jpg


QQ截图20150119161530.jpg

TA的精华主题

TA的得分主题

发表于 2015-1-19 17:45 | 显示全部楼层
本帖最后由 feiren228 于 2015-1-19 18:26 编辑
wcymiss 发表于 2014-10-21 12:47
Fiddler抓包并确认数据页面一例:

网站:http://www.cffex.com.cn/fzjy/tjsj/pztj/

弄了半天,我抓不到包
直接点击http://【服务器ip】/dccell/nBuyNations.do?tab=201
可以打开网页且能查到数据,可是用Fiddler搜索某一数值却一直找不到。这种情况要怎么抓??

点评

其实最好跟着我的贴子内容走一遍。这样会有点抓包的经验。  发表于 2015-1-21 13:37
内网数据我无法测试,只能给你点建议:搜索的内容尽量不要选中文,如果是数字的话,尽量只选择整数部分。注意在抓包前清除缓存和cookie,还有fiddler的Decode按钮要按下。  发表于 2015-1-21 13:36

TA的精华主题

TA的得分主题

发表于 2015-1-21 11:03 | 显示全部楼层
您好!请教您一个问题:
我在采用POST方法抓取网页数据时,只能抓取到目标网页的最后几行数据,请问您以前有没有遇到类似问题?
可能是哪些原因引起的?有没有解决思路?
由于目标网页处于内部局域网,无法给您公网地址,我把相关资料都打包放在附件中了,麻烦您有空的时候帮忙看下,谢谢!
问题.zip (22.33 KB, 下载次数: 11)

点评

立即窗口内容不全的原因帖子里有讲。  发表于 2015-1-21 14:27

TA的精华主题

TA的得分主题

发表于 2015-1-24 12:10 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
wcymiss 发表于 2014-10-23 16:12
缓存的困扰
用xmlhttp对象GET数据时,会优先从缓存中调取。

吴姐,3个方法都试过了,还是不能清除缓存啊

点评

那3个方法不是清除缓存的方法,是用来“避免调用缓存”的方法  发表于 2015-2-3 11:00
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-7-5 16:55 , Processed in 0.055077 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表