ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 674734|回复: 1547

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2014-10-21 11:12 | 显示全部楼层 |阅读模式
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
本帖已被收录到知识树中,索引项:网页交互
本帖最后由 wcymiss 于 2014-11-1 09:24 编辑

本帖主要针对的是不懂html的网抓新手,所以,本帖基本不谈原理,只说实战

学网抓对vba的要求:
1、了解对象及对象属性方法的基本概念;
2、熟练使用循环、判断及vba数组;
3、掌握一种以上提取文本的方法,可以在各种有规律的文本里提取所需数据;
4、会调试代码,会用立即窗口、本地窗口。(很重要,请务必学会)
5、有录制宏的经验。

可以这样说,只要你具备上述vba知识,再对网抓有点兴趣,有点耐心,那你就能学会网抓。

我本人开始用xmlhttp和fiddler的时候,对html和javascript是一窍不通的,对get、post也不懂,全是依样画葫芦。画成功后,有了兴趣,才慢慢去寻找它的原理和相关知识去学习。我想我这样的学习方法或许可以给一些像我一样的小白一个借鉴。但愿没有误导新人才好。

学习html强力推荐此网站:http://www.w3school.com.cn/ ,绝对权威

==================================================
如果发觉楼主有写错的地方,或是用错术语,或是概念模糊,或是运行出错、运行效果与楼主不同,或是有看不懂、不理解的地方,请大家及时提出来。
希望在大家的帮助和建议下完善本帖,让不会网抓的朋友由此贴学会写一些基础的网抓代码,同时感受到网抓的乐趣。

谢谢大家!



补充内容 (2014-11-5 19:37):
交流QQ群:310731499

评分

87

查看全部评分

TA的精华主题

TA的得分主题

发表于 2024-3-29 15:49 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
perfect131 发表于 2024-3-28 14:26
好 找我 我给你写个 ie 或 非selenium cdp

加你啦,麻烦通过一下

TA的精华主题

TA的得分主题

发表于 2024-3-28 14:26 | 显示全部楼层
猫不吃先生 发表于 2024-3-28 12:08
目标网址:http://szhyt.rtb56.com/

提供抓取用的账号密码如下:

好 找我 我给你写个 ie 或 非selenium cdp

TA的精华主题

TA的得分主题

发表于 2024-3-28 14:06 | 显示全部楼层
只需要网站的【运费试算】功能,如图:
只要红框里的功能内容,红框以外的任何内容都不需要。
212.png

TA的精华主题

TA的得分主题

发表于 2024-3-28 12:08 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
本帖最后由 猫不吃先生 于 2024-3-28 14:19 编辑

目标网址:http://szhyt.rtb56.com/

提供抓取用的账号密码如下:
账户:XUTING
密码:ZYH@#3453hao
只需要网站的【运费试算】功能,如图:

只要红框里的功能内容,红框以外的任何内容都不需要。
需要做成可以在电脑上安装使用,或者直接使用的小工具程序,检索结果也在小工具里呈现。
这样我和我的同事们就可以快速搞定工作啦。
希望各位大神能够帮忙,付费哦。
可以做的话加我V:xx616525
加我请备注:小工具
谢谢,期待。

TA的精华主题

TA的得分主题

发表于 2024-3-22 09:08 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2024-3-22 09:05 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册


http://ddx.gubit.cn/new2.html
请问大师以上网站数据如何抓取?

TA的精华主题

TA的得分主题

发表于 2024-3-21 10:28 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2024-3-21 10:18 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
网抓王抓学习

TA的精华主题

TA的得分主题

发表于 2024-2-20 11:58 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
jeain 发表于 2024-2-19 16:56
我现在找到的:http://www.pinble.com/LotteryOneList.aspx?type=59DAE47BC0A467C82C20144B4C19F18E89DA3 ...

还能用 只能那说明 网站管理员还没封这个接口

现在 找到的接口 不能用 说明你的代码写的不太对,先curl一下

TA的精华主题

TA的得分主题

发表于 2024-2-19 19:43 | 显示全部楼层
jeain 发表于 2024-2-19 17:31
问题1,我找到的url:http://www.pinble.com/LotteryOneList.aspx?type=59DAE47BC0A467C82C20144B4C19F18E ...

重新使用createobject("winhttp.winhttprequest.5.1)方法获取到数据了,然后在使用正则表达式处理了这个问题,还好后面成功了,真的是脑壳疼。目前还是懵懵懂懂的,需要能有大神总结一下关系网,这样感觉就更清晰了。拜谢

彩票测试.7z

31.64 KB, 下载次数: 1

您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

关闭

最新热点上一条 /1 下一条

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-4-20 19:52 , Processed in 0.048683 second(s), 11 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表