ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: nsqrlj

[求助] 新人求助:采集网页数据失败,求帮助

[复制链接]

TA的精华主题

TA的得分主题

发表于 2017-6-25 19:25 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
nsqrlj 发表于 2017-6-25 17:50
谢谢,看了你的回复,结合这几天的学习,好像明白点了,但还是不太懂,下来再多琢磨琢磨。
如果有时间, ...

你论坛搜一下,我记得以前帮人写过,就是抓取行政区的数据,时间过去太久远了,我都忘记了是哪一年写的代码

TA的精华主题

TA的得分主题

 楼主| 发表于 2017-6-25 22:08 | 显示全部楼层
本帖最后由 nsqrlj 于 2017-6-25 22:12 编辑
huang1314wei 发表于 2017-6-25 19:25
你论坛搜一下,我记得以前帮人写过,就是抓取行政区的数据,时间过去太久远了,我都忘记了是哪一年写的代 ...

老师你好,我搜了,但没找到,抓取行政区划的数据大都是在已有数据库的基础上操作,从网页上抓取的太少了,而且大都是抓取当前页面的,最多的到县(3级),帮帮忙吧,因为工作需要,需要抓取行政区划的数据,有时是一个省的,有时是全国的,都是到村(5级),全部都是已国家统计局公布的为准(http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2016/index.html
以前都是手动复制、粘贴、整理,自从学习VBA,看到可以直接网抓,就想做一个,方便快捷准确。

TA的精华主题

TA的得分主题

发表于 2017-6-25 23:00 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
什么错误? 测试了一下貌似正常的.

TA的精华主题

TA的得分主题

 楼主| 发表于 2017-6-26 16:09 | 显示全部楼层
liu-aguang 发表于 2017-6-25 23:00
什么错误? 测试了一下貌似正常的.

Set objtd = oDoc.all.tags("table")(4).all.tags("td")标黄,提示运行错误91:对象变量或with块变量未设置
我用的是2345浏览器,这有关系吗?

采集网页的数据1.rar

1 MB, 下载次数: 3

TA的精华主题

TA的得分主题

发表于 2017-6-26 17:32 | 显示全部楼层
nsqrlj 发表于 2017-6-26 16:09
Set objtd = oDoc.all.tags("table")(4).all.tags("td")标黄,提示运行错误91:对象变量或with块变量未设 ...

采集数量很大, 中途可能出现网页请求错误.这会一切重来,建议以一级目录为单位采集.

TA的精华主题

TA的得分主题

 楼主| 发表于 2017-6-26 18:02 | 显示全部楼层
liu-aguang 发表于 2017-6-26 17:32
采集数量很大, 中途可能出现网页请求错误.这会一切重来,建议以一级目录为单位采集.

如果只采集一个省的也可以,如“河北省”的

TA的精华主题

TA的得分主题

发表于 2017-6-26 18:09 | 显示全部楼层
nsqrlj 发表于 2017-6-26 18:02
如果只采集一个省的也可以,如“河北省”的

把模块中的URL地址用"河北省"的一级地址代替.

TA的精华主题

TA的得分主题

 楼主| 发表于 2017-6-26 22:06 来自手机 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
那只能抓取河北省各市,不会往下扩,附件中的代码是一个朋友指导的,但总运行出错

TA的精华主题

TA的得分主题

发表于 2017-6-27 00:34 | 显示全部楼层
nsqrlj 发表于 2017-6-26 22:06
那只能抓取河北省各市,不会往下扩,附件中的代码是一个朋友指导的,但总运行出错

能写这种代码应该是高手了. 能正常采集. 此代码有两点小问题:
1. 如果某项数据缺三,四或五级, 并且不在采集的第一项, 该项数据不正确.
2. 代码能捕获超时错误,并重新发送请求. 但如果某次请求, 服务器没有反应, 则会忽略此次请求.
如有问题可以问一下你的朋友.他应该最清楚代码逻辑.

TA的精华主题

TA的得分主题

 楼主| 发表于 2017-6-27 09:41 | 显示全部楼层
liu-aguang 发表于 2017-6-27 00:34
能写这种代码应该是高手了. 能正常采集. 此代码有两点小问题:
1. 如果某项数据缺三,四或五级, 并且不在 ...

谢谢,还是不行,先再学学吧。
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-3-29 07:39 , Processed in 0.047960 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表