不懂html也来学网抓（xmlhttp/winhttp+fiddler）

VBA万岁 · 发表于 2014-10-27 09:38

onlycxb 发表于 2014-10-27 09:20
学习很刻苦，赏花

多谢你的鲜花，更多谢你的帮助！

VBA万岁 · 发表于 2014-10-27 09:51

xmyjk 发表于 2014-10-26 16:08
玩一玩。呵呵，我登陆没选下次自动登陆，过一天左右sue和sup就失效了，就没法用了。
所以呵呵，如果要 ...

Mark一下，申请了微博后再学习。

VBA万岁 · 发表于 2014-10-27 09:53

本帖最后由 VBA万岁于 2014-10-27 09:54 编辑

suwenkai 发表于 2014-10-26 22:50
换一种方法下载数据，哪个页面有下载excel的功能，捕捉数据后发送出来的效果。

我这里打不开目标网页，日后换台电脑再测试。

VBA万岁 · 发表于 2014-10-27 10:03

此用户被禁言发表于 2014-10-26 22:56
不明白为什么，使用IE对象与msxml2对象的时候，表格不一样
这个是在第二个

也想知道答案。

coby001 · 发表于 2014-10-27 10:43

此用户被禁言发表于 2014-10-26 22:56
不明白为什么，使用IE对象与msxml2对象的时候，表格不一样
这个是在第二个

因为IE执行了网页中的 js ，而js中有向html 插入 table 。
xmlhttp 不执行 js。
所以，得到的html 结构会不同。

coby001 · 发表于 2014-10-27 10:47

此用户被禁言发表于 2014-10-26 22:56
不明白为什么，使用IE对象与msxml2对象的时候，表格不一样
这个是在第二个

在这个网页中，数据所在的table有唯一标识：id="Table1"

用这个特征，可以迅速找到数据。

菜鸟无敌 · 发表于 2014-10-27 10:49

好东西，必须收藏，

wcymiss · 发表于 2014-10-27 11:35

本帖最后由 wcymiss 于 2014-10-28 09:29 编辑

初识JSON

JSON数据的特点：
1、用方括号扩住的是数组，数组内元素以逗号分隔。如：["甲","乙","丙"]、[1,2,3]
2、用花括号扩住的是对象，对象内各属性以逗号分隔，属性名和属性值以冒号分隔。同一对象里的属性名不会重复。如对象{"name":"甲","age":36}，含name、age两个属性，属性值分别为 “甲”和36。
3、对象的属性值可以是数组。数组的元素可以是对象。JSON数据就是数组对象嵌套的大集合。比如，下面的JSON数据记录了甲乙二人的基本信息：

[{"name":"甲","age":36,"children":[{"name":"甲儿","age":10},{"name":"甲女","age":7}]},{"name":"乙","age":28,"children":[{"name":"乙女","age":6}]}]

复制代码

将其格式化后，看起来更清晰:

[
{
"name" : "甲",
"age" : 36,
"children" :
[
{
"name" : "甲儿",
"age" : 10
},
{
"name" : "甲女",
"age" : 7
}
]
},
{
"name" : "乙",
"age" : 28,
"children" :
[
{
"name" : "乙女",
"age" : 6
}
]
}
]

复制代码

解读：甲36岁，有10岁的甲儿和7岁的甲女两个子女；乙28岁，有6岁的乙女一个子女。

JSON数据易于解读，字符简短，方便网络传输，在网络中应用相当广泛。

敬请进入http://www.w3school.com.cn/json/index.asp学习更多JSON知识。

小贴士：
点击Fiddler的Response框的JSON按钮，可以很清晰的看到JSON数据结构。

再补个附件，对比下类似效果的table和xml：

对比类似效果的table和xml.rar (457 Bytes, 下载次数: 436)
可以都用excel打开，xml打开的时候选择“xml列表”

吐槽：囧！这篇帖子提交时居然提示我含有不良信息！后来一个个词检查，发现问题竟然在“孩子”二字上，改成“子女”就没问题了！！！。额滴大神，“孩子”二字有啥问题涅？

此用户被禁言 · 发表于 2014-10-27 12:30

coby001 发表于 2014-10-27 10:47
在这个网页中，数据所在的table有唯一标识：id="Table1"

用这个特征，可以迅速找到数据。

原来如此，明白了，谢谢

wcymiss · 发表于 2014-10-27 14:05

本帖最后由 wcymiss 于 2014-10-31 09:41 编辑

JSON转换成vba对象

1、JSON数组在vba内需要用For Each来获取其元素：（For Each 后面的变量不能定义为Object类型）

Sub Test()
Const strJSON As String = "[""甲"",""乙"",""丙""]"
Dim objJSON As Object
Dim Cell '这里不能定义为object类型
With CreateObject("msscriptcontrol.scriptcontrol")
.Language = "JavaScript"
.AddCode "var mydata =" & strJSON
Set objJSON = .CodeObject
End With
Stop '查看vba本地窗口里objJSON对象以了解JSON数据在vba里的形态
For Each Cell In objJSON.mydata
Debug.Print Cell
Next
End Sub

复制代码

2、JSON对象在vba内可直接用“对象.属性”的方法获取，但当名称不被vba允许时，用CallByName函数获取：

Sub Test()
Const strJSON As String = "{""name"":""甲"",""age"":36}"
Dim objJSON As Object
With CreateObject("msscriptcontrol.scriptcontrol")
.Language = "JavaScript"
.AddCode "var mydata=" & strJSON
Set objJSON = .CodeObject
End With
Stop '查看本地窗口
Debug.Print objJSON.mydata.age
Debug.Print objJSON.mydata.Name '此句出错
End Sub

复制代码

“name”作为vba对象的属性时会被自动首字母大写。而JavaScript里是区分大小写的，“Name”不能等同“name”，json数据里无“Name”属性，所以代码运行出错。

这时让我们请出“CallByName”吧。（使用前请先查看vba帮助中对此函数的说明）

将出错的那句代码改成：

Debug.Print CallByName(objJSON.mydata, "name", VbGet)

复制代码

ok。数据成功获取！

3、综合处理：

Sub Test()
Const strJSON As String = "[{""name"":""甲"",""age"":36,""children"":[{""name"":""甲儿"",""age"":10},{""name"":""甲女"",""age"":7}]},{""name"":""乙"",""age"":28,""children"":[{""name"":""乙女"",""age"":6}]}]"
Dim objJSON As Object
Dim Person, Child
Dim arrData(1 To 100, 1 To 4)
Dim i As Long
With CreateObject("msscriptcontrol.scriptcontrol")
.Language = "JavaScript"
.AddCode "var mydata =" & strJSON
Set objJSON = .CodeObject
End With
Stop '多多查看本地窗口，你才会进步更快。。。
'为了编写方便，假设每个Person的children数组里至少有一个元素：
For Each Person In CallByName(objJSON, "mydata", VbGet)
For Each Child In CallByName(Person, "children", VbGet)
i = i + 1
arrData(i, 1) = CallByName(Person, "name", VbGet)
arrData(i, 2) = CallByName(Person, "age", VbGet)
arrData(i, 3) = CallByName(Child, "name", VbGet)
arrData(i, 4) = CallByName(Child, "age", VbGet)
Next
Next
Cells.Clear
Range("a1:d1").Value = Array("name", "age", "childname", "childage")
Range("a2").Resize(i, 4).Value = arrData
End Sub

复制代码

个人建议：为了区分vba对象本身的属性，建议JSON对象的属性都用CallByName表示。

更多在vba中使用JavaScript的例子，敬请参考figfig大师的帖子：
http://club.excelhome.net/thread-478544-1-1.html、
http://club.excelhome.net/thread-483942-1-1.html、
http://club.excelhome.net/thread-484702-1-1.html

		自动登录	找回密码
密码			免费注册

[原创] 不懂html也来学网抓（xmlhttp/winhttp+fiddler）

评分

评分

评分

评分