网页数据采集---网页文档解析篇(json/html/xml)

天之雨露

liu-aguang 发表于 2016-10-18 17:35
没有发现你说的情况. 该网页请求不需要Cookie也可正确返回json; 你可以用WinHttp.WinHttpRequest.5.1测试 ...

用你43楼中vba代码可以正确返回，成功

我直接用2种浏览器出现问题，也许是我电脑哪里设置原因吧。

liu-aguang

6. 利用xPath查询XML元素


<1>xPath简介


XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

例:XML文档
<?xml version="1.0" encoding="ISO-8859-1"?>
<bookstore>
<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>
<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>
</bookstore>

xPath路径表示式示例:
/bookstore/book/title   book元素的所有title子元素
/bookstore/book[1]/title  第二个book元素的所有title元素
xPath语法极其丰富, 可以灵活自由选择XML元素. 有兴趣的朋友可以参考:http://www.w3school.com.cn/xpath/index.asp

<2>XML DOM中使用xPath示例


XML DOM节点有两个方法可以使用xPath:

A. selectSingleNode() 方法查找和 XPath 查询匹配的一个节点
语法：
nodeObject.selectSingleNode(query)
query XPath 查询串。
返回值
匹配查询的一个单独的 Node。如果没有，则为 null。
说明
这个特定于 IE 的方法计算一个 XPath 表达式，使用这个节点作为 context 节点。它返回找到的第一个匹配节点，如果没有匹配的节点就返回 null。这个 selectSingleNode() 方法只在 XML 文档节点上存在，在 HTML 文档中不存在。

例:测试XML文档如上
Sub xPathXMLb()
    Text = "<?xml version='1.0' encoding='ISO-8859-1'?><bookstore><book>  <title lang='eng'>Harry Potter</title>  <price>29.99</price></book><book>  <title lang='eng'>Learning XML</title>  <price>39.95</price></book></bookstore>"
    Set xmlDoc = CreateObject("Microsoft.XMLDOM")
    xmlDoc.async = "false"
    xmlDoc.loadXML (Text)
    Set x = xmlDoc.SelectSingleNode("/bookstore/book/title")    '第一个book节点的首个title节点
    Set y = xmlDoc.SelectSingleNode("/bookstore/book[1]/title") '第二个Book节点的首个title节点
    MsgBox x.ChildNodes(0).nodevalue    'x.FirstChild.nodevalue
    MsgBox x.attributes(0).nodevalue
    MsgBox y.FirstChild.nodevalue
End Sub


B. selectNodes() 方法用一个 XPath 查询选择节点
语法：
nodeObject.selectNodes(query)
query XPath 查询串。
返回值
包含了匹配查询的节点的一个 NodeList。
说明
这个特定于 IE 的方法计算一个 XPath 表达式，使用该节点作为查询的根节点，并且将结果作为一个 NodeList 返回。这个 selectNodes() 方法只用于 XML 文档节点，不用于 HTML 文档节点。

例:测试XML文档同上
Sub xPathXMLa()
    Text = "<?xml version='1.0' encoding='ISO-8859-1'?><bookstore><book>  <title lang='eng'>Harry Potter</title>  <price>29.99</price></book><book>  <title lang='eng'>Learning XML</title>  <price>39.95</price></book></bookstore>"
    Set xmlDoc = CreateObject("Microsoft.XMLDOM")
    xmlDoc.async = "false"
    xmlDoc.loadXML (Text)
    Set x = xmlDoc.SelectNodes("/bookstore/book/title")
    MsgBox x.Length
    MsgBox x(0).FirstChild.nodevalue
End Sub

叻咕仔

找遍了工具发现没有收藏帖子的功能，只能做个标记

xel_fan

留脚印,必须加精啊!!!

wormtwo

此乃神贴!鉴定完毕!楼主辛苦了!

wormtwo

如何提取这段的属性值呢?

1. <caseItemLog><WL B="9073185407748296660" I="9073185407748296660" N="14700356538634" P="4053418715206535326" PN="张三" ICD="1470819508317" IUD="1470819508317" AS="0"/><WL B="7981047663275560771" I="7981047663275560771" N="14700356538637" P="5471147329064354838" PN="于李四" ICD="1470819508317" IUD="1474212600407" AS="0,26,5"/></caseItemLog>
   

复制代码

比如提取B,PN的值?

liu-aguang

wormtwo 发表于 2016-10-28 10:02
如何提取这段的属性值呢?

比如提取B,PN的值?

1. Sub test()
   
2.     s = "<caseItemLog><WL B='9073185407748296660' I='9073185407748296660' N='14700356538634' P='4053418715206535326' PN='寮犱笁' ICD='1470819508317' IUD='1470819508317' AS='0'/><WL B='7981047663275560771' I='7981047663275560771' N='14700356538637' P='5471147329064354838' PN='浜庢潕鍥' ICD='1470819508317' IUD='1474212600407' AS='0,26,5'/></caseItemLog>"
   
3. 
   
4.     Set xmlDoc = CreateObject("Microsoft.XMLDOM")
   
5.     xmlDoc.async = "false"
   
6.     xmlDoc.LoadXML (s)
   
7.     For Each k In xmlDoc.getElementsByTagName("WL")(0).Attributes '第一个WL元素的属性
   
8.        MsgBox k.Text
   
9.     Next
   
10. End Sub
    

复制代码

venomlk

多谢大神们的指点，发帖辛苦了

herro_gs

selectSingleNode和selectNodes不能用于html，那我用xmlhttp加载的http代码有什么办法用xpath啊？试过loadXML直接把ResponseText，发现无法加载，返回false。大神怎么解决？

liu-aguang

herro_gs 发表于 2016-11-7 21:08
selectSingleNode和selectNodes不能用于html，那我用xmlhttp加载的http代码有什么办法用xpath啊？试过loadX ...

xPath不能用于HTML节点查询.