关于VBA抓取网页内容的难题，希望高人指导！！！

qcw911

1. https://data-gkcx.eol.cn/soudaxue/queryschool.html?messtype=jsonp&callback=jQuery18308144987225532532_1519172852347&province=&schooltype=&page=1&size=30&keyWord1=&schoolprop=&schoolflag=&schoolsort=&schoolid=&_=1519172852362

复制代码

Kaohsing

pc_12 发表于 2018-2-21 07:22
用vba进行网页抓取的时候，数据的源文件，我已经抓取，并且在vba中都能够显示了，可是数据并不在源代码中， ...

地址：https://data-gkcx.eol.cn/soudaxu ... amp;_=1519173617744
格式：json
数据片段：

1. "school":  [
   
2.     {
   
3.    "schoolid": "31",
   
4.    "schoolname": "北京大学",
   
5.    "clicks": "14585600",
   
6.    "monthclicks": "62850",
   
7.    "weekclicks": "7950",
   
8.    "province": "北京",
   
9.    "schooltype": "普通本科",
   
10.    "schoolproperty": "综合类",
    
11.    "edudirectly": "1",
    
12.    "f985": "1",
    
13.    "f211": "1",
    
14.    "level": "本科",
    
15.    "autonomyrs": "1",
    
16.    "library": "703",
    
17.    "membership": "教育部",
    
18.    "schoolnature": "公办",
    
19.    "shoufei": "北京大学校本部学费收费标准：理科试验班类、文科试验班类、电子信息类、生物科学专业为5300元人民币/学年，其他专业5000元人民币/学年;住宿费：750-1200元人民币/学年。",
    
20.    "jianjie": "北京大学创于1898年，初名京师大学堂，是第一所国立综合性大学，也是当时中国的最高教育行政机关。辛亥革命后，于1912年改为现名。作为新文化运动的中心和ldqu",
    
21.    "schoolcode": "112000100",
    
22.    "ranking": "4",
    
23.    "rankingCollegetype": "4",
    
24.    "guanwang": "http://www.pku.edu.cn",
    
25.    "oldname": "北京大学  曾用名：北京大学-1",
    
26.    "ads": "0",
    
27.    "center": "0",
    
28.    "master": "221",
    
29.    "num": "250",
    
30.    "firstrate": "1",
    
31.    "firstrateclass": "1"
    
32.   },
    
33.     {
    
34.    "schoolid": "1217",
    
35.    "schoolname": "北京大学医学部",
    
36.    "clicks": "1637804",
    
37.    "monthclicks": "4670",
    
38.    "weekclicks": "682",
    
39.    "province": "北京",
    
40.    "schooltype": "普通本科",
    
41.    "schoolproperty": "医药类",
    
42.    "edudirectly": "0",
    
43.    "f985": "0",
    
44.    "f211": "0",
    
45.    "level": "本科",
    
46.    "autonomyrs": "0",
    
47.    "library": "0",
    
48.    "membership": "教育部",
    
49.    "schoolnature": "公办",
    
50.    "shoufei": "北京大学医学部学生学费：本科生6000元/学年，长学制学生本科阶段按本科生标准收取，进入二级学科阶段按照当年同类研究生学费标准收取;住宿费1200元/学年。",
    
51.    "jianjie": "北京大学医学教育开始于1912年，建校后先后称为国立北京医科专门学校、北京大学医学院、北京医学院、北京医科大学。2000年与北京大学合并成为新的北京大学后，改称北京大学医学部。",
    
52.    "schoolcode": "112000101",
    
53.    "ranking": "511",
    
54.    "rankingCollegetype": "41",
    
55.    "guanwang": "http://www.bjmu.edu.cn",
    
56.    "oldname": "北京大学医学部",
    
57.    "ads": "0",
    
58.    "center": "0",
    
59.    "master": "0",
    
60.    "num": "--",
    
61.    "firstrate": "0",
    
62.    "firstrateclass": "0"
    
63.   },
    

复制代码

pc_12

地址：https://data-gkcx.eol.cn/soudaxu ... amp;_=1519173617744
格式：json
这个网址是怎么给查获得，方法？

Kaohsing

pc_12 发表于 2018-2-21 12:16
地址：https://data-gkcx.eol.cn/soudaxu ... amp;_=1519173617744
格式：json
这个网址是怎么给查获得 ...

fiddle抓包获得

hehex

pc_12 发表于 2018-2-21 12:16
地址：https://data-gkcx.eol.cn/soudaxu ... amp;_=1519173617744
格式：json
这个网址是怎么给查获得 ...

参考附件：
点击按钮，一键自动抓取所有学校信息。VBA 只能单线分页抓，没有轮子自动解析Json，自己写代码解析Json字符串。和其他
语言多线抓取框架封装好的Json 处理库，效率无法同日而语。我在公司办公破网络（限速的）大概需要150秒抓取全部信息，不到3分钟。

Talk is Cheap, Show you the Code.

Kaohsing

hehex 发表于 2018-2-22 14:56
参考附件：
点击按钮，一键自动抓取所有学校信息。VBA 只能单线分页抓，没有轮子自动解析Json，自己写代 ...

解析json方法好，字典转字典。