网页数据采集---网页文档解析篇(json/html/xml)

天生懒美人 · 发表于 2017-6-10 23:04

这又是一门学问呀，顶下先

codexq · 发表于 2017-6-17 16:54

dalao，HTMLDocument，有一个疑问，我已经整了一个下午了，无解，请教一下。

我先把已经打开的IE窗口赋值给变量ie
然后Set doc = ie.document
现在想得到特定的值或者特定的innertext
如图右下角的value=“××合同”
但是我发现这些tag是</td>里面的东西好像怎样都拉不出来，想问下有没有办法将整个Document 转成字符串，我自行搜索

liu-aguang · 发表于 2017-6-17 18:11

codexq 发表于 2017-6-17 16:54
dalao，HTMLDocument，有一个疑问，我已经整了一个下午了，无解，请教一下。

我先把已经打开的IE窗口赋 ...

'以“value=“××合同”为例：
sValue = doc.getElementById("合同名称").Value

复制代码

codexq · 发表于 2017-6-17 20:45

本帖最后由 codexq 于 2017-6-17 21:04 编辑

liu-aguang 发表于 2017-6-17 18:11

doc.getElementById("合同名称") is nothing=true
遍历doc.all(i).id，不存在合同名称的id

结论document里面不存在“合同名称”的element

但是我能够在IE浏览器F12中看到

会不会是网站问题，这是眀源系统的内网。。。（我确定没有取错document，因为我可以找到其他element的id）

另外请教一下，有没有办法将document像XMLhttp一样，转换为字符串？这样就方便查找了
其实个人更喜欢xmlhttp，查询快速而且更加直观，但是XMLHTTP一定要send url+send password，关键是sendpassword可能会导致我IE浏览器的眀源或者OA系统下线。所以现在才会在IE打开，然后用VBA通过shell查询到打开的页面并抽取HTMLdocument

liu-aguang · 发表于 2017-6-17 21:28

codexq 发表于 2017-6-17 20:45
doc.getElementById("合同名称") is nothing=true
遍历doc.all(i).id，不存在合同名称的id

你把整个返回文档（doc.DocumentElement.innerHTML）写进“即时窗口”或记事本中看看是怎么回事。

codexq · 发表于 2017-6-18 02:17

liu-aguang 发表于 2017-6-17 21:28
你把整个返回文档（doc.DocumentElement.innerHTML）写进“即时窗口”或记事本中看看是怎么回事。

<!DOCTYPE html>
<html id="compontentHtml" style="height: 100%;...</html>

这一段全部没有了，主题内容都在“<html id="compontentHtml" style="height: 100%;...</html>”里面

这个抓的是OA系统

codexq · 发表于 2017-6-18 02:23

本帖最后由 codexq 于 2017-6-18 11:39 编辑

liu-aguang 发表于 2017-6-17 21:28
你把整个返回文档（doc.DocumentElement.innerHTML）写进“即时窗口”或记事本中看看是怎么回事。

估计是HTML5版本部分消失了
Webbrowser的版本是理论上IE7（我的是OFFICE 2016），IE7应该不兼容HTML5吧？正在摸索怎么讲webbrowser升到IE11

codexq · 发表于 2017-6-18 11:07

liu-aguang 发表于 2017-6-17 21:28
你把整个返回文档（doc.DocumentElement.innerHTML）写进“即时窗口”或记事本中看看是怎么回事。

代码如下：

Sub Main()
（略）
Set IE = FindWin("特定的URL片段")
Set doc = IE.document

返回 doc.DocumentElement.innerHTML
End Sub

'这段函数是抄其他帖子的，返回特定网页的IE object
Function FindWin(ByVal strRef As String) As Object
Dim objWin As Object
For Each objWin In CreateObject("Shell.Application").Windows
      Do While objWin.ReadyState <> 4 Or objWin.Busy
         DoEvents
      Loop
      If LCase(TypeName(objWin.document)) = "htmldocument" Then
         MsgBox objWin.LocationURL
         If objWin.LocationURL Like "*" & strRef & "*" Then
            Set FindWin = objWin
            Exit For
         End If
      End If
Next
Set objWin = Nothing
End Function

codexq · 发表于 2017-6-19 13:21

liu-aguang 发表于 2017-6-17 21:28
你把整个返回文档（doc.DocumentElement.innerHTML）写进“即时窗口”或记事本中看看是怎么回事。

我终于找到答案了T_T

document.body.innerhtml只能获得iframe的outerhtml，是不能抓到innerhtml的，所以才会出现以下语句消失的情况。

<!DOCTYPE html>
<html id="compontentHtml" style="height: 100%;...</html>

网上搜到的答案是：document.getElementById("MyFrame").contentWindow.document.innerhtml (这里MyFrame就是iFrame的ID)，这样就可以了。

当然也有可能存在iframe套iframe的情况，这时候就要不断的虚幻套用上述语句

smhf_6 · 发表于 2017-7-10 12:16

liu-aguang老师：
因单位禁用office, 只能使用wps，导致access无法使用，我想用xml作为数据库使用，这涉及到数据库的创建、数据删除、数据追加、数据检索等内容
您能否写一个简单的例子？

   另外，我还不知道用xml文件代替access这个想法是否可行，比如速度？容量（比如有500万行数据）？
   至于数据内容，每行只有姓名、身份证、账号三列

		自动登录	找回密码
密码			免费注册

[原创] 网页数据采集---网页文档解析篇(json/html/xml)