QueryTables的批量抓取办法（两个变量的处理）

引子玄

问：EXCEL 如何获取网站多页数据？地址 http://www.sdzs.gov.cn/score/gaokao/2012/0715/Book1.htm
==================
答：
先通过QueryTables获取分页URL
得出分页URL为：
http://www.sdzs.gov.cn/score/gaokao/2012/0715/Book1.files/sheet001.htm
http://www.sdzs.gov.cn/score/gaokao/2012/0715/Book2.files/sheet001.htm
http://www.sdzs.gov.cn/score/gaokao/2012/0715/Book3.files/sheet001.htm
http://www.sdzs.gov.cn/score/gaokao/2012/0715/Book4.files/sheet001.htm
http://www.sdzs.gov.cn/score/gaokao/2012/0715/Book5.files/sheet001.htm

再做循环处理：
先QueryTables宏录制代码为：
Sub Macro1()
    With ActiveSheet.QueryTables.Add(Connection:= _
        "URL;http://www.sdzs.gov.cn/score/gaokao/2012/0715/Book1.files/sheet001.htm", _
        Destination:=Range("A1"))
        .Name = "sheet001"
        .FieldNames = True
        .RowNumbers = False
        .FillAdjacentFormulas = False
        .PreserveFormatting = True
        .RefreshOnFileOpen = False
        .BackgroundQuery = True
        .RefreshStyle = xlInsertDeleteCells
        .SavePassword = False
        .SaveData = True
        .AdjustColumnWidth = True
        .RefreshPeriod = 0
        .WebSelectionType = xlAllTables
        .WebFormatting = xlWebFormattingNone
        .WebPreFormattedTextToColumns = True
        .WebConsecutiveDelimitersAsOne = True
        .WebSingleBlockTextImport = False
        .WebDisableDateRecognition = False
        .WebDisableRedirections = False
        .Refresh BackgroundQuery:=False
    End With
End Sub

然后修改：
1、如果按行植入，代码为
Sub 翻动网页按行植入()
x = 0
Do
x = x + 1
    With ActiveSheet.QueryTables.Add(Connection:= _
        "URL;http://www.sdzs.gov.cn/score/gaokao/2012/0715/Book" & x & ".files/sheet001.htm", _
        Destination:=Cells(60 * (x - 1) + 1, 1))
        .Name = "sheet001"
        .FieldNames = True
        .RowNumbers = False
        .FillAdjacentFormulas = False
        .PreserveFormatting = True
        .RefreshOnFileOpen = False
        .BackgroundQuery = True
        .RefreshStyle = xlInsertDeleteCells
        .SavePassword = False
        .SaveData = True
        .AdjustColumnWidth = True
        .RefreshPeriod = 0
        .WebSelectionType = xlAllTables
        .WebFormatting = xlWebFormattingNone
        .WebPreFormattedTextToColumns = True
        .WebConsecutiveDelimitersAsOne = True
        .WebSingleBlockTextImport = False
        .WebDisableDateRecognition = False
        .WebDisableRedirections = False
        .Refresh BackgroundQuery:=False
    End With
Loop Until x = 5
End Sub

2、如果按列植入，代码为
Sub 翻动网页按列植入()
x = 0
Do
x = x + 1
    With ActiveSheet.QueryTables.Add(Connection:= _
        "URL;http://www.sdzs.gov.cn/score/gaokao/2012/0715/Book" & x & ".files/sheet001.htm", _
        Destination:=Cells(1, 12 * (x - 1) + 1))
        .Name = "sheet001"
        .FieldNames = True
        .RowNumbers = False
        .FillAdjacentFormulas = False
        .PreserveFormatting = True
        .RefreshOnFileOpen = False
        .BackgroundQuery = True
        .RefreshStyle = xlInsertDeleteCells
        .SavePassword = False
        .SaveData = True
        .AdjustColumnWidth = True
        .RefreshPeriod = 0
        .WebSelectionType = xlAllTables
        .WebFormatting = xlWebFormattingNone
        .WebPreFormattedTextToColumns = True
        .WebConsecutiveDelimitersAsOne = True
        .WebSingleBlockTextImport = False
        .WebDisableDateRecognition = False
        .WebDisableRedirections = False
        .Refresh BackgroundQuery:=False
    End With
Loop Until x = 5
End Sub
====================
QueryTables网页抓取的批量处理，最主要的是解决好URL和Range两个基本变量的问题。
学会对这两个变量的处理，那么网页抓取的门槛，难度将随之降低、、、、、、
千万别小瞧ＱueryTables，帮助寻找ＵＲＬ作用可大呢！
QueryTables结合F12键和ＩＥ功能，这样那样的隐藏看不见的ＵＲＬ，统统可以擒入囊中。（没有啥么装这装那工具的繁琐，只要一个ＩＥ浏览器就可以），而且对页面看得见的内容，统统都可以实现导入（直接或间接）。
ＱueryTables真可谓“只要看得见、就能抓得到”，是一款适众、通用、简易的抓取武器。

引子玄

面向我等菜鸟分享、交流
（俺没装这样那样的浏览器，也没装这样那样的工具，分析网页靠IE浏览器自带功能的F12）

lzqlaj

收藏了，互相交流。。

引子玄

lzqlaj 发表于 2012-7-18 03:46
收藏了，互相交流。。

互相学习帮助，多谢鼓励。

在后面的QueryTables摸索中，俺将尝试QueryTables在一些细节处理上的难点，比如：
URL变量中出现空白页，如何办？
只选择导入部分的规定内容，Range变量如何办？
在QueryTables上尝试更深的挖掘和扩展、、、、、、让QueryTables成为人见人爱的网抓好助手。
让更多的我等菜鸟主流，对网抓不再望而生畏，QueryTabkes正在摸索中、、、、、、

引子玄

多谢蓝天大师在关键性地方的大力帮忙。
俺学E，在其中的两次关键突破中，都和您的帮助有着重要的关系。
一次是在做全自动软件时，其中的网页采集部分不会做，是您帮写了代码，结果使软件顺利完成；
这次网抓入门突破，也是因为您在相关帖子的提示，才促成了俺第一次做出了真正意义上的网抓代码。
受惠至深，言语难表。多谢您了。

homewin

好东西，收藏起来学习！

kangatang

我思量着对于单独用qureytable 无法完成的提取工作用另一种方式完成
用xmlhttp提取整个页面的源文件，暂存于temp文件夹（为html文件）。再用qureytable提取相应的table.
速度还是可以的。免去了对responsetext(长字符串)复杂的处理(不停地split，或正则提取)。
比较有通用性

引子玄

kangatang 发表于 2012-7-18 10:33
我思量着对于单独用qureytable 无法完成的提取工作用另一种方式完成
用xmlhttp提取整个页面的源文件，暂存 ...

经验的指路对于摸索者，很重要，多谢．

kangatang

引子玄 发表于 2012-7-18 10:43
经验的指路对于摸索者，很重要，多谢．

xmlhttp+querytable的提取方式见介绍和实例：
http://club.excelhome.net/forum. ... 527&pid=6131196

tt253605057

千万别小瞧ＱueryTables，帮助寻找ＵＲＬ作用可大呢！
QueryTables结合F12键和ＩＥ功能，这样那样的隐藏看不见的ＵＲＬ，统统可以擒入囊中。（没有啥么装这装那工具的繁琐，只要一个ＩＥ浏览器就可以），而且对页面看得见的内容，统统都可以实现导入（直接或间接）。
ＱueryTables真可谓“只要看得见、就能抓得到”，是一款适众、通用、简易的抓取武器。
============================================================================
隐藏看不见的ＵＲＬ怎么获得,能不能讲详细一点?