网页抓取数据有大佬帮忙写下么

homextt

大佬们，求助下在https://www.chinamoney.com.cn/chinese/bkccpr/?tab=2   这个网站里抓取汇率的数据（红色框里的），导入excel中，最好能选定时间区间的那种抓取，这样还会涉及翻页面抓取，初出茅庐的我搞不定呀。不知道如何抓取<tr data-row="0"><td class下的数据，请大佬帮忙，感谢
。

wodewan

homextt

wodewan 发表于 2023-6-8 20:27

我这边暂时还是想用vba抓取下，没下载其他软件

佳能lT搬砖着

1. Sub getExchangeRate()
   
2.     ' 1. 创建 XMLHTTP 对象
   
3.     Dim xhr As Object
   
4.     Set xhr = CreateObject("MSXML2.XMLHTTP")
   
5. 
   
6.     ' 2. 设置请求参数
   
7.     Dim url As String
   
8.     url = "https://www.chinamoney.com.cn/ags/ms/cm-u-bk-currency/CurrencyPage"
   
9. 
   
10.     Dim beginDate As String, endDate As String
    
11.     beginDate = "2021-10-01"
    
12.     endDate = "2021-10-31"
    
13. 
    
14.     Dim postData As String
    
15.     postData = "{""beginDate"":""" & beginDate & """,""endDate"":""" & endDate & """,""pageSize"":""200"",""pageNum"":""1""}"
    
16. 
    
17.     ' 3. 发送请求
    
18.     With xhr
    
19.         .Open "POST", url, False
    
20.         ' 如果需要代理，可以在这里设置
    
21.         '.setProxy 2, "127.0.0.1:8080"
    
22.         .setRequestHeader "Content-Type", "application/json"
    
23.         .setRequestHeader "User-Agent", "Mozilla/5.0"
    
24.         .send postData
    
25.     End With
    
26. 
    
27.     ' 4. 解析响应内容
    
28.     Dim json As Object
    
29.     Set json = JsonConverter.Parse(xhr.responseText)
    
30. 
    
31.     Dim data() As Variant
    
32.     Dim headers() As String
    
33.     headers = Array("货币名称", "币种代码", "中间价", "单位", "发布日期")
    
34. 
    
35.     Dim rows As Object
    
36.     Set rows = json("records")
    
37. 
    
38.     ReDim data(1 To rows.Count, 1 To UBound(headers) + 1)
    
39. 
    
40.     Dim i As Long
    
41.     For i = 1 To rows.Count
    
42.         Dim row As Object
    
43.         Set row = rows(i - 1)
    
44. 
    
45.         data(i, 1) = row("currencyName")
    
46.         data(i, 2) = row("currencyCode")
    
47.         data(i, 3) = row("middPrice")
    
48.         data(i, 4) = row("unit")
    
49.         data(i, 5) = row("pubDate")
    
50.     Next i
    
51. 
    
52.     ' 5. 导出数据到Excel
    
53.     Dim wb As Workbook
    
54.     Set wb = Workbooks.Add
    
55. 
    
56.     With wb.Sheets(1)
    
57.         .Range("A1").Resize(1, UBound(headers) + 1).Value = headers
    
58.         .Range("A2").Resize(UBound(data, 1), UBound(data, 2)).Value = data
    
59.         .Columns.AutoFit
    
60.     End With
    
61. End Sub
    

复制代码

另外，代码中使用了一个 Json 解析库 JsonConverter，需要先下载并安装该库才能运行。

homextt

佳能lT搬砖着 发表于 2023-6-8 22:30
另外，代码中使用了一个 Json 解析库 JsonConverter，需要先下载并安装该库才能运行。

感谢大哥送上的代码，我先学习下

Yalishanda30

.............

lwx228

wodewan 发表于 2023-6-8 20:27

感谢老师的完整代码。

还想请教老师如何用js来处理这个JSON数据为表格数据、非常感谢！

homextt

佳能lT搬砖着 发表于 2023-6-8 22:30
另外，代码中使用了一个 Json 解析库 JsonConverter，需要先下载并安装该库才能运行。

这个是还要下载java么？excle里的加载项是不是不适用呀

smiletwo

https://www.chinamoney.com.cn/ag ... m=1&pageSize=22
查询时间区间：startDate=2023-05-10&endDate=2023-06-09


数据项数：pageSize=22

homextt

Yalishanda30 发表于 2023-6-9 08:30
.............

大神牛逼是牛逼的，但是我看不懂，只能直接用了。原本还想看懂修改下抓取领一个网站的数据，太难了哈哈哈