网上抓取数据

莫悠悠 · 发表于 2024-3-7 22:20

请教各位大神以下网站数据存放在哪个角落？网站数据如何抓取？

http://ddx.gubit.cn/sz0.php
http://ddx.gubit.cn/sh0.php
http://ddx.gubit.cn/cyb.php
http://ddx.gubit.cn/new2.html

smiletwo · 发表于 2024-3-8 08:30

http://ddx.gubit.cn/ygetszddxpm. ... 0.15757274475273375

smiletwo · 发表于 2024-3-8 08:31

bj917 · 发表于 2024-3-8 11:07

表格抓取我是这样弄得：
打开chrome的调试模式，选择“元素”，移动鼠标，左侧窗口会显示鼠标对应的窗口，从而确定显示内容与网页源码的对应关系。例如：第一个网址http://ddx.gubit.cn/sz0.php中的表格。对应源码是绿色框内的部分，点击绿色窗口左边的小三角箭头，以<table 开头的内容即为行情数据表格的源码。

现在，有两个方法：
1.手工复制，邮件点击<table，复制，复制outerHtml，，构建一个空的html文件，内容为：
<html>
<head>
<meta content="text/html; charset=GB2312" http-equiv="content-type">
<title></title>
</head>
<body>
<br>
</body>
</html>
，然后把刚才复制的<table 内容粘贴到<body>之后，保存，打开这个html即可看到表格内容，可复制。如图；此方法可解决所有网页不能复制的限制。注意：使用chrome浏览器。

2.第二个方法，如果需要多次自动执行，可以通过vba+js程序抓来完成以上操作，打开网页，拼接html内容，保存为独立文件。
js 获取网页源码的命令 "return document.getElementsByTagName('table')[1].outerHTML"
网页中table可能有多个，具体序号以实际为准，从0开始计算。
head=“<html><head><meta content="text/html; charset=GB2312" http-equiv="content-type"><title></title></head><body>”
body=js的返回内容
end = “<br></body></html>"
head & body & end 即为html文件的内容。

莫悠悠 · 发表于 2024-3-8 11:35

smiletwo 发表于 2024-3-8 08:31

非常感谢

smiletwo · 发表于 2024-3-8 14:49

本帖最后由 smiletwo 于 2024-3-8 14:51 编辑

网址中有t=0.……

莫悠悠 · 发表于 2024-3-8 16:16

bj917 发表于 2024-3-8 11:07
表格抓取我是这样弄得：
打开chrome的调试模式，选择“元素”，移动鼠标，左侧窗口会显示鼠标对应的窗口， ...

250页这样弄下来估计也够呛

perfect131 · 发表于 2024-3-8 17:39

bj917 发表于 2024-3-8 11:07
表格抓取我是这样弄得：
打开chrome的调试模式，选择“元素”，移动鼠标，左侧窗口会显示鼠标对应的窗口， ...

你可以试试直接复制法
https://club.excelhome.net/thread-1628424-1-1.html

莫悠悠 · 发表于 2024-3-8 20:43

perfect131 发表于 2024-3-8 17:39
你可以试试直接复制法
https://club.excelhome.net/thread-1628424-1-1.html

以下脚本是我几年以前下载同样网站数据抓取的（忘记了作者名字），最近因为散户大家庭的数据经常断更没有更新，才想起来以前有这么一个文件，以前是可以运行抓取到数据的，现在发现脚本失效了，看看哪位大神能帮忙修改一下？脚本如下：
Sub 查股网个股历史DDX数据1()
On Error Resume Next
Columns("A:A").NumberFormatLocal = "@"
[a1:x1] = Split("代码,开盘(元),收盘(元),最高,最低,涨幅,成交量(万元),通吃率,BBD(万元),DDX,DDX3日,DDX5日,DDX10日,DDX60日,DDY,单数比,小单差,小单流入(万元),中单差,中单流入(万元),大单差,大单流入(万元),特大单差,特大单流入(万元)", ",")
Dim temp
With CreateObject("Microsoft.XMLHTTP")
      .Open "GET", "http://ddx.gubit.cn/js/astocksuggest.js" & p, True
      .Send
      Do Until .ReadyState = 4
         DoEvents
      Loop
      temp = Split(.responsetext, "~")
      With CreateObject("internetexplorer.application")
         .Visible = True
         For k = 1 To UBound(temp)
            .Navigate "http://ddx.gubit.cn/ddelist.html?code=" & Format(Split(temp(k), "`")(0), "000000") & "&bdate=2012-09-14&edate=2012-09-27"
            Do Until .ReadyState = 4
                  DoEvents
            Loop
            n = Range("b65536").End(xlUp).Row
            Set r = .Document.getElementByid("sjtableright").Rows
            For i = 1 To r.Length - 2
                  For j = 0 To r(i).Cells.Length - 1
                     Cells(i + n, j + 2) = r(i).Cells(j).innerText
                  Next j
            Next i
            m = Range("b65536").End(xlUp).Row
            Range(Cells(n + 1, 1), Cells(m, 1)) = Format(Split(temp(k), "`")(0), "000000")
            Set r = Nothing
         Next k
         .Quit
      End With
End With
Cells.Font.Size = 9
Cells.Columns.AutoFit
End Sub

Holiday2022 · 发表于 2024-3-8 23:15

莫悠悠发表于 2024-3-8 16:16
250页这样弄下来估计也够呛

页码是可以用循环结构来套的

		自动登录	找回密码
密码			免费注册

[求助] 网上抓取数据