ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 622|回复: 6

[求助] 如何快速地抓取网页的部分数据

[复制链接]

TA的精华主题

TA的得分主题

发表于 2019-1-22 06:33 | 显示全部楼层 |阅读模式
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助

想要从网页抓取“跟踪标的”和“基金规模”的数据,用excel打开网页真是一个大坑,速度太慢而且经常未响应。研究了CreateObject("MSXML2.XMLHTTP")一整天,不得要领,因此上来求各位大侠相助。谢谢!

Sub coll_fund_data()
Application.ScreenUpdating = False
Application.DisplayAlerts = False
Dim fs, i%, j%, p%, b%, k%, c%, tt$, pp%, arr(1 To 20000, 1 To 4), prr(1 To 20000, 1 To 1) As Integer, xg$, fil$, ff$, til$, zz$
Dim zt$, ut$, d%, bg$, u%
zz = "http://fund.eastmoney.com/"
std = ".html"
With ThisWorkbook
    With .Worksheets(1)
        pp = .[b65536].End(xlUp).Row
        k = 1
        For i = 2 To pp
            ff = .Cells(i, 2)
            zt = zz & ff & std
            Workbooks.Open zt, 0
            With ActiveWorkbook
                With .Worksheets(1)
                    For irow = 110 To 122
                        For icol = 1 To 4
                            If Left(.Cells(irow, icol), 4) = "跟踪标的" Then arr(k, 1) = Mid(.Cells(irow, icol), 6, 8)
                            If Left(.Cells(irow, icol), 4) = "基金规模" Then arr(k, 2) = Mid(.Cells(irow, icol), 6, 6)
                        Next icol
                    Next irow
                End With
                .Close False
            End With
            k = k + 1
        Next i
    End With
    With .Worksheets(2)
       .[a1].Resize(k - 1, 2) = arr
    End With
End With
Application.ScreenUpdating = True
Application.DisplayAlerts = True
End Sub

Fund list.zip

51.98 KB, 下载次数: 3

TA的精华主题

TA的得分主题

 楼主| 发表于 2019-1-22 06:35 | 显示全部楼层
能不能用CreateObject("MSXML2.XMLHTTP") 加速一下,代码要怎么优化。现在是超过30分钟还不能完成,而且“未响应”了好几次!谢谢各位了!

TA的精华主题

TA的得分主题

发表于 2019-1-22 08:31 来自手机 | 显示全部楼层
这是网站的原因吧,就算除掉浏览器的渲染加载的因素,还有响应时间啊

TA的精华主题

TA的得分主题

发表于 2019-1-22 09:27 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
  1. http://fund.eastmoney.com/pingzhongdata/161725.js?v=20190122090326
复制代码


看看上面这个地址哦

TA的精华主题

TA的得分主题

发表于 2019-1-22 10:23 来自手机 | 显示全部楼层
ssyonline 发表于 2019-1-22 06:35
能不能用CreateObject("MSXML2.XMLHTTP") 加速一下,代码要怎么优化。现在是超过30分钟还不能完成,而且“ ...

东方财富网,现在可能有限制的措施就像某宝,不能大规模抓。

TA的精华主题

TA的得分主题

发表于 2019-1-22 12:07 来自手机 | 显示全部楼层
不用代理,不增加反反扒措施,生抓是行不通的,特别是批量抓取时网抓不是一帆风顺。
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-3-29 20:33 , Processed in 0.041304 second(s), 10 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表