解说一下，关于读取网页表格

hiyou

论坛上经常有朋友在网页表格数据抓取方面求取，呃...... 多集中于股票和彩票，这方面个人不是很感兴趣，不过仅从代码的角度，还是可以说说的
读取网页有数据流方式（XMLHTTP）和对象模式，各有利弊，这里拿网页对象模型说说，因为数据流的话，提析数据往往要用到正则解析之类的字串分析，初学的朋友眼都会花掉吧。

附件是完成的一个VBA，主程序SAMPLE，有两个例子，一个是本论坛VBA页面，另一个是在HAO123找的股票表格
附件的代码见后面，这里只说说原理，理解了灵活运用。

代码的主要部分是下面那个getTableByNumber函数，调用方式是

1. CALL getTableByNumber(网页地址,网页上要抓取的表格编号,要把数据导出的RANGE对象)

复制代码

首先假设你已经对打开IE APPLICATION对象已经了解了，这部分不讲（以前发过相关OX）,总之是创建InternetExplorer.Application,等它完全打开,最后关掉这个APPLICATION
我们从Set tableX = Ie.document.getElementsByTagName("table")(TableNumber) 这一行开始讨论

在网页的DOCUMENT模型中,TABLE是标准的网页元素,因此它可以用上一级网页元素的getElementsByTagName方法取得所有TABLE的集合

1. Set 表格集合 = Ie.document.getElementsByTagName("table")(TableNumber)

复制代码

这里网页新手注意一下,取得的是集合而不是单张表,它是一个网页架构上的colletion集合,与我们EXCEL VBA的大部分集合差不多,
但这种集合的计数属性是length而不是count,从0开始使用下标,使用FOR N=X TO Y 循环计数时,就要用 FOR I=0 TO 表格集合对象.length-1 遍历,
当然用FOR EACH我就不管了.

表格集合对象的ITEM是每张表,要抓取指定表格,请在网页源文本里查出表的位置.
以ID定位是最好的,但我们不指望每个网页表都有ID,所以用表出现的次序定位,第一个<TABLE>是0号表格,第N个<TABLE>自然是N-1号表格
得到表集合以后,用
set 表格对象变量=表格集合(I)  得到具体的第I张表

然后是表格中单元格数据的定位.
在EXCEL里,RANGE对象有ROWS子集和COLS子集定位行列,或者用RANGE对象.CELLS(ROW,COL)定位第ROW行第COL列的单元格

TABLE也有行\列属性,行集合是TABLE对象.ROWS,列是COLS
同样具体定位I行就是
SET 行对象=表格对象.ROWS(I)
不再解说列对象,它的调用是相似的

行对象属于网页元素<TR>,它有CELLS集合访问"本行的每一个单元格"——注意与EXCEL的RANGE.CELLS(X,Y）不同，因为它只是“行”，所以只要给出列序号即可
行对象.CELLS(j)   '<==访问这行的第J个单元格

换一种说法,我们还可以用  表格对象.ROWS(i).CELLS(J)    访问这个网页表格的第I行第J个单元格

后面就不详细解释了,一句话就是当定位到具体单元格后,读取文本到EXCEL的RANGE

SAMPLE代码给出两个例子,都是定义了 URL网页位置\表格出现的编号 读取数据到第一个工作表,
不过股票的赋值已经注释掉,有兴趣自已试验

代码只是作为参考,读取网页的函数本身固定了把抓取的数据放到SHEET1,并不是说一定要用这种格式,各位朋友请在理解以后,灵活运用

1. Option Explicit
   
2. 
   
3. Sub sample()
   
4. Dim myUrl As String, myTableNumber As Integer
   
5. Dim shtX As Worksheet, rngX As Range
   
6.   
   
7.   '指定网页URL
   
8.   
   
9. 'myUrl = "http://www.hao123.com/stocknew"
   
10. 'myTableNumber = 0  '<==第一张表是0号表,依次类推
    
11.   
    
12.   myUrl = "http://club.excelhome.net/forum-2-1.html"
    
13.   'myTableNumber = 0  '<==第一张表是0号表,依次类推
    
14.   
    
15.   '指定网页上的表格编号,自已在网页源里测试
    
16.   myTableNumber = 4  '<==第一张表是0号表,依次类推
    
17.   
    
18.   '设置要显示网页内容的目标位置,这里是在第一张表的A2
    
19.   Set shtX = ThisWorkbook.Worksheets(1)
    
20.   Set rngX = shtX.Range("a2")
    
21.   
    
22.   shtX.Cells.ClearContents
    
23.   Call getTableByNumber(myUrl, myTableNumber, rngX)
    
24. End Sub
    
25. 
    
26. 
    
27. Sub getTableByNumber(Optional Url As String, Optional TableNumber As Integer, Optional rngX As Range)
    
28.     Dim Ie
    
29. 
    
30.    
    
31. 
    
32.     Set Ie = CreateObject("InternetExplorer.Application")
    
33.    
    
34.     With Ie
    
35.         .Visible = True  '<==自定,调试时可设为显示
    
36.         .navigate Url
    
37.         
    
38.         Do Until .readyState = 4
    
39.             DoEvents
    
40.         Loop
    
41.     End With
    
42.    
    
43.     Dim docX, tableX, row, tdGroup
    
44.     Dim I, J
    
45.    
    
46.     Set tableX = Ie.document.getElementsByTagName("table")(TableNumber) '<==网页所有表格的集合
    
47.    
    
48.     '遍历此表的所有行,TD标签.
    
49.     '在此说明一下TABLE相关属性,ROWS是行数,COLS是列数
    
50.     '网页集合的计数是从0开始
    
51.     For I = 0 To tableX.rows.Length - 1
    
52.       
    
53.       Set row = tableX.rows(I)
    
54.       '遍历每行所有表格
    
55.       For J = 0 To row.Cells.Length - 1
    
56.          
    
57.           '显示内容,注意在EXCEL里RANGE集合取表格位是从1开始,所以要加1
    
58.           rngX.Cells(I + 1, J + 1) = row.Cells(J).innerText
    
59.       Next
    
60.     Next
    
61.     Ie.Quit
    
62. End Sub
    
63. 
    
64. 
    

复制代码

wudixin96

你 应该用XMLHTTP+HTMLFILE两个对象来解决，比用IE打开效率上提高太多了

hehex

wudixin96 发表于 2014-8-8 16:54
你 应该用XMLHTTP+HTMLFILE两个对象来解决，比用IE打开效率上提高太多了

二锅好，最近不露面...

0wchz

谢谢学习了Document.all.tags("td")那这是什么对象，如何加到你的代码里？

lipton

顶一下，留个记号备查。

AVEL

一般我也用IE对象法来取网页数据，
因为XML用不大来。。  继续学习

hiyou

wudixin96 发表于 2014-8-8 16:54
你 应该用XMLHTTP+HTMLFILE两个对象来解决，比用IE打开效率上提高太多了

主贴已经解释了为什么用网页对象模型作例子。

XMLHTTP数据流的好处是快捷，但没有经过WEB模型解析，在HTTP文本中要用正则（或相当于正则）的方法分析字符，
另一个问题是因为没有解析，在WEB OPEN之后能用HTTP接口分析出的WEB对象模型——比如说内嵌文件生成、代码生成的动态目标对象，在原始文本数据流中是看不到的。

网页对象的问题正好相反，解析过程是在解析引擎中完成，速度较慢。

对初学者来说，对网页层次对象的分析更直观更好理解。

hiyou

回 @wudixin96
用HTMLFILE对象也是可以的，可是......这东东也是W3C下DOCUMENT模型层次啊，

你的想法不会是那种用MSXML/XMLHTTP读入字符流，再借用HTMLFILE解析出网页模型？
强调快捷XML读取数据流没什么，这个这个，再套上DOCUMENT往下GETTAGS、GETELEMENTS，避开了字符解析，但不觉得绕回来了么，还是要用DOCUMENT对象

本来绕回来也没关系，黑猫白猫，能用就行
我个人认为，对新手与其走MSXML又套上HTMLFILE得到DOCUMENT,直接读取IEAPPLICATION.DOCUMENT 应该更直接罢。

hiyou

0wchz 发表于 2014-8-8 17:08
谢谢学习了Document.all.tags("td")那这是什么对象，如何加到你的代码里？

这是“DOCUMENT下的所有TD集合”，直接解释，是取得网页（DOCUMENT这个文档）下属一切TABLE 单元格对象集。

用这个解析的话，可以得到本页一切表格元素（不管有几张表，一张表的网页最合适），但在具体的应用中，有时可能达不到需求，比如这个TD集合的某个TD，究竟属于哪个TABLE，还有某个表的一系列TD，它们的行列关系是什么——就是纯粹TD集合没有了上级TABLE、行列定位信息。

sqsyjs

楼主看看我的帖子呗：
http://club.excelhome.net/forum.php?mod=viewthread&tid=1143790&extra=&ordertype=1&threads=thread