VBA爬取网页信息实例

chentonny

Sub 获取网页信息()
    Dim cnnObject As Object, strText, j$, js As Object
    t1 = Timer
    Set cnnObject = CreateObject("msxml2.xmlhttp")
    For I = 1 To 10
        cnnObject.Open "GET", "http://218.12.43.28:2018/pub/gongshi?pageIndex=" & I, False
line4:
        cnnObject.send

        Do Until cnnObject.readystate = 4
            DoEvents
        Loop
        If cnnObject.Status <> 200 Then
            GoTo line4
        End If

        strText = cnnObject.responseText
        With CreateObject("vbscript.regexp")
            .Global = True
            .Pattern = "<tr bgcolor=.*>\s*<td>\s*(\d*)\s*</td>\s*<td>\s*(\S*)\s*</td>\s*<td height=.*>\s*(\S*)\s*</td>\s*<td>\s*(\S*)\s*</td>\s*<td>\s*(\S*)\s*</td>\s*<td>\s*(\S*)\s*</td>\s*<td>\s*(\S*)\s*</td>\s*<td>\s*(\S*)\s*</td>\s*<td>\s*(\S*)\s*</td>\s*<td>\s*(\d*)\s*</td>\s*<td>\s*(\S*)\s*</td>\s*<td>\s*(\d*.\d{2})\s*</td>\s*<td>\s*(\d*.\d{2})\s*</td>\s*<td>\s*(\d*.\d{2})\s*</td>\s*<td>\s*(\S*)\s*</td>\s*</tr>"
                Set mat = .Execute(strText)
                For Each m In mat
                    n = n + 1
                    For I2 = 1 To 15
                    Sheets("temp").Cells(n, I2) = .Replace(m, "$" & I2)
                    Next
                Next m
        End With
        Sheets("temp").Columns("A:O").AutoFit
        Sheets("temp").UsedRange.Font.Size = 9
    Next
    t2 = Timer - t1
    MsgBox ("用时" & Format(t2, "0.00") & "秒")
End Sub

yjgy6669

这个怎么用？？？

chentonny

yjgy6669 发表于 2019-1-20 10:12
这个怎么用？？？

贴到VBE里运行。

五指山888

学习了很好的，网址如何解析出来？

chentonny

五指山888 发表于 2019-1-20 12:53
学习了很好的，网址如何解析出来？

解析网页有好几种方法，这里用正则解析的。

mfz1975

老师怎么提示下标越界？

chentonny

mfz1975 发表于 2019-1-20 15:01
老师怎么提示下标越界？

你在你的工作簿中增加一个工作表，改名为temp，就不会提示下标越界。temp表是用来存放下载数据的。

mfz1975

chentonny 发表于 2019-1-20 15:19
你在你的工作簿中增加一个工作表，改名为temp，就不会提示下标越界。temp表是用来存放下载数据的。

感谢老师的指导，我按照您的方法实现了，还的麻烦您指点一下，我这个怎样能在temp中加入标题，提取的数据在标题下开始写入。现将附件上传请老师指点。十分抱歉刚才传错附件了。

chentonny

mfz1975 发表于 2019-1-20 16:09
感谢老师的指导，我按照您的方法实现了，还的麻烦您指点一下，我这个怎样能在temp中加入标题，提取的数据 ...

数据下下来了，一个标题自己搞定不是难事吧

13825719951

亲，方法很好。有个问题，怎么知道网面总共分了多少页呢？还有，下载稍稍有点慢呢。谢