解析网页源码，获得所需数据。

Kaohsing · 发表于 2017-11-4 15:09

本帖最后由 Kaohsing 于 2017-11-6 19:22 编辑

一步一步优化提取的数据（js法）（一）
目标：

数据结构：

数据是个jsonp，所需数据就在data数组中，里面嵌套json,遍历它就是

好像以前写过，数据是出来，但是格式不对。那就另一楼完善吧。

kings12333 · 发表于 2017-11-4 15:44

Kaohsing 发表于 2017-11-4 15:09
占楼。。。。。。。。。。。。。。。。。。。。。。

搞死了，玩不了了。。。靠，都还没干啥，直接把IP封了。

Kaohsing · 发表于 2017-11-6 18:53

本帖最后由 Kaohsing 于 2017-11-6 20:45 编辑

一步一步优化提取的数据（js法）（二）

本想有js语句处理数据格式，又怕语句臃肿，就录了个宏了事。处理里面的utc时间格式，耽误不少时间，
由于不牵扯小时就用repalce替换出了时间。split的好像以前讲过类似，不在赘述。

分红送股.zip (145.13 KB, 下载次数: 81)

Kaohsing · 发表于 2017-11-6 20:34

本帖最后由 Kaohsing 于 2017-11-7 09:31 编辑

一步一步优化提取的数据（js法）（三）

提供两种方法取出所有的源码数据。

分红送股.zip (183.19 KB, 下载次数: 60)

五指山888 · 发表于 2017-11-6 23:25

Kaohsing 发表于 2017-11-6 18:53
一步一步优化提取的数据（js法）（二）
本想有js语句处理数据格式，又怕语句臃肿，就录了个宏了事。 ...

老师做的很好了，假如能在d1单元格输入日期就能选择不同季度抓取更好了，没有也可以很好用了，谢谢了

五指山888 · 发表于 2017-11-6 23:28

Kaohsing 发表于 2017-11-6 18:53
一步一步优化提取的数据（js法）（二）
本想有js语句处理数据格式，又怕语句臃肿，就录了个宏了事。 ...

老师的注释需要时间慢慢消化了，难得的教材。

Kaohsing · 发表于 2017-11-7 06:58

财经类网站，返回的数据一般都是js的数组,数组嵌套，或者是json,学点js有必要。

不笑猫-v · 发表于 2017-11-7 07:51

还是解析HTML的方法好

Kaohsing · 发表于 2017-11-7 09:11

本帖最后由 Kaohsing 于 2017-11-8 09:04 编辑

一个简单的实例

获取图中数据源码中的数据

就不抓取网站的数据了，省去麻烦服务器，抓自己的静态网页。抓取价格，分析源码得知数据在data数组中，那就把他返回就是。
x = Split(Split(tt, "var series = [")(1), "]")(0) & "]}" ，这样就得到了数据，但是没有变量名（自己理解的），那就加一个就是，
"var ghb=" & x ,再配合js的遍历语句，就得到了数据.

源码：
Sub kaohsing_解析本地html3()
Set HTML = CreateObject("HTMLFile")
Set win = CreateObject("microsoft.xmlhttp")
With win
      .Open "GET", "C:\Users\Administrator\Desktop\fullyear.html", False
      .send
   tt = .responseText
End With
x = Split(Split(tt, "var series =  [")(1), "]")(0) & "]}"
Stop
js = "var ghb=" & x & ";var b=ghb.data;var j=1;var i=1; for(x in b){rng(i,1)=b[x];i++;} "
Debug.Print js
With CreateObject("msscriptcontrol.scriptcontrol")
      .Language = "javascript"
      .AddObject "rng", [a1]
      .eval (js)

End With
Stop
End Sub

所用html文件：

fullyear.zip (2.93 KB, 下载次数: 46)

Kaohsing · 发表于 2017-11-8 08:48

本帖最后由 Kaohsing 于 2017-11-13 20:06 编辑

45楼code
Sub kaohsing()
  '  MODIFY 11/13
Application.DisplayAlerts = False
Dim Pages%
Dim tt$, strJs$
sURL$ = "http://data.eastmoney.com/notices/getdata.ashx?StockCode=&FirstNodeType=0&CodeType=1&PageIndex=1&PageSize=5&jsObj=GeyLybKP&SecNodeType=0"
sRefer$ = "http://data.eastmoney.com/yjfp/"
With CreateObject("WinHttp.WinHttpRequest.5.1")
      .Open "GET", sURL, False
      .setrequestheader "Referer", sRefer
      .send
      DoEvents
      tt = .responseText
End With

Set reg = CreateObject("vbscript.regexp")
reg.Pattern = "NOTICEDATE"":""(.*?)T.*?,""NOTICETITLE"":""(.*?)"",.*?""SECURITYCODE"":""(.*?)"",""SECURITYFULLNAME"":""(.*?)"".*?COLUMNNAME"":""(.*?)"",""NodeName"
reg.Global = True
Set mh = reg.Execute(tt)

End Sub

		自动登录	找回密码
密码			免费注册

[讨论] 解析网页源码，获得所需数据。

评分