VBA抓取网页表格数据

mail249120

Kaohsing 发表于 2019-1-25 14:25
是的。 每日从https://www.ccmn.cn/bxg/201/从这个页面获取连接，在请求连接得到数据。时间长了你就有历 ...

可以帮忙写个代码？

Kaohsing

mail249120 发表于 2019-1-26 09:56
可以帮忙写个代码？

15楼就是

mail249120

Kaohsing 发表于 2019-1-26 10:09
15楼就是

不明白，这个是针对那个链接的，网页一打开就是数据表格；而这个新的网页，首先先要抓取新出现链接地址，然后再进去才能出现数据表格了

samsinn

1. Sub main()
   
2. Set xmlhttp = CreateObject("msxml2.xmlhttp")
   
3.     xmlhttp.Open "GET", "https://www.ccmn.cn/bxg/201/", False
   
4.     xmlhttp.send
   
5.     strhtml = xmlhttp.responseText
   
6. Set HTML = CreateObject("htmlfile")
   
7. HTML.write strhtml
   
8. Set List = HTML.all.tags("table")(0).all.tags("a")(0) '获取网站新消息列表中的第一个链接
   
9. NewUrl = Replace(List.href, "about:", "https://www.ccmn.cn")

复制代码

mail249120

Kaohsing 发表于 2019-1-25 14:22
Set xmlhttp = CreateObject("WinHttp.WinHttpRequest.5.1")

大神，厉害啊，佩服！感谢

mail249120

samsinn 发表于 2019-1-26 18:24

谢谢指导，调试成功得到第一个链接地址
现在的问题是，每天可能出现的链接不止一个，这个数量是不恒定的，比如1-25就有9个链接地址，怎么得到所有这些链接呢?
另外，得到链接后怎么进入各自的链接再取所需表格数据？毕竟最终目的是要得到这些数据然后放在同一工作表中，非常感谢！

samsinn

mail249120 发表于 2019-1-27 09:55
谢谢指导，调试成功得到第一个链接地址
现在的问题是，每天可能出现的链接不止一个，这个数量是不恒定的 ...

你用"For Each i In List"方法遍历全部链接，或者先用语句判断链接后面的日期再取想要的链接
然后调用这个过程
Sub GetTable(ByVal NewUrl$)
Set xmlhttp = CreateObject("msxml2.xmlhttp")
    xmlhttp.Open "GET", NewUrl, False
    xmlhttp.send
    strhtml = xmlhttp.responseText
Set HTML = CreateObject("htmlfile")
HTML.write strhtml
Set tableX = HTML.all.tags("table")(0)
For i = 0 To tableX.Rows.Length - 1    '网页集合的计数是从0开始
      Set Row = tableX.Rows(i)
      '遍历每行所有表格
      For j = 0 To Row.Cells.Length - 1
          ActiveSheet.Cells(i + 1, j + 1) = Row.Cells(j).innertext
      Next
    Next
ActiveSheet.Columns("A:I").AutoFit
End Sub

mail249120

samsinn 发表于 2019-1-27 13:16
你用"For Each i In List"方法遍历全部链接，或者先用语句判断链接后面的日期再取想要的链接
然后调用这 ...

多谢多谢，成功抓取所需数据，有问题再向你请教，还请不吝指教！

mail249120

samsinn 发表于 2019-1-27 13:16
你用"For Each i In List"方法遍历全部链接，或者先用语句判断链接后面的日期再取想要的链接
然后调用这 ...

有个错误麻烦帮忙看看，
我查看了下，对应链接https://www.ccmn.cn/bxg/feibxg/2019-01-28/79523cd764ce4fbdb0ee13f332c58c5a.html上面是有table

mail249120

mail249120 发表于 2019-1-28 12:31
有个错误麻烦帮忙看看，
我查看了下，对应链接https://www.ccmn.cn/bxg/feibxg/2019-01-28/79523cd764ce ...

会不会是因为有多个链接循环的原因？因为我单独调试这个链接貌似没有问题