网页采集(网页抓取)教程第三课-获取网络图片四种方法,如何判断WebBrowser控件导航结束

liucqa · 发表于 2012-7-22 18:02

本帖最后由 liucqa 于 2013-4-11 18:23 编辑

第一课：http://club.excelhome.net/thread-893760-1-1.html
第二课：http://club.excelhome.net/thread-894527-1-1.html
第三课：http://club.excelhome.net/thread-896608-1-1.html
第四课：http://club.excelhome.net/thread-897117-1-1.html
第五课：http://club.excelhome.net/thread-899268-1-1.html

高级篇：
第一课：http://club.excelhome.net/thread-902266-1-1.html
第二课：http://club.excelhome.net/thread-939881-1-1.html

***********************我是上课的分割线******************************

前两堂课，我讲解了获取网页源文件的方法，在实际应用中，除了获取网页源数据，我们也经常需要获取网页中的图片。
特别是在登录网站处理验证码的时候，我们还需要将图片读到image控件里面，以便人工输入。

获取网页图片的方法有许多，下面讲解几个常用的方法

一、使用API函数 OleLoadPicturePath 直接得到下载文件的对象，再使用这个对象就可以进行保存文件和加载到Image控件的操作了。

Private Sub cbnLoad_Click()
Dim nPicture As Picture
Set nPicture = LoadNetPicture(tbxURL.Value) '将图片下载到对象
If Not nPicture Is Nothing Then
SavePicture nPicture, ThisWorkbook.Path & Application.PathSeparator & "\MyImg.bmp" '保存到硬盘
Image1.Picture = nPicture
Else
tbxURL.Value = "链接地址错误，不能获取图片"
End If
End Sub
Public Function LoadNetPicture(ByVal strImgSrcName As String) As Picture
Dim riid As GUID
riid.Data1 = &H7BF80980: riid.Data2 = &HBF32: riid.Data3 = &H101A
riid.Data4(0) = &H8B: riid.Data4(1) = &HBB: riid.Data4(2) = &H0
riid.Data4(3) = &HAA: riid.Data4(4) = &H0: riid.Data4(5) = &H30
riid.Data4(6) = &HC: riid.Data4(7) = &HAB
OleLoadPicturePath StrPtr(strImgSrcName), 0&, 0&, 0&, riid, LoadNetPicture
End Function
Private Sub UserForm_Initialize()
Dim URL$
URL = "http://www.baidu.com/img/baidu_logo.gif" '链接地址
tbxURL.Value = URL
End Sub

复制代码

这个方法很简便，代码也容易理解和修改，推荐使用。

liucqa · 发表于 2012-7-22 18:03

本帖最后由 liucqa 于 2013-4-11 18:24 编辑

二、使用API中的 URLDownloadToFile函数下载文件，代码如下，

Option Explicit
Private Declare Function URLDownloadToFile Lib "urlmon" Alias "URLDownloadToFileA" (ByVal pCaller As Long, ByVal szURL As String, ByVal szFileName As String, ByVal dwReserved As Long, ByVal lpfnCB As Long) As Long
Public Declare Function DeleteUrlCacheEntry Lib "wininet" Alias "DeleteUrlCacheEntryA" (ByVal lpszUrlName As String) As Long
Sub test()
Dim nUrl As String, localFilename As String, lngRetVal As Long
nUrl = "http://www.baidu.com/img/baidu_logo.gif" '要下载的文件链接
localFilename = ThisWorkbook.Path & Application.PathSeparator & "myimg.gif" '保存到本地的完整路径
DeleteUrlCacheEntry nUrl '清除缓存
lngRetVal = URLDownloadToFile(0, nUrl, localFilename, 0, 0)
If lngRetVal = 0 Then
MsgBox "成功"
Else
MsgBox "失败"
End If
End Sub

复制代码

注意URLDownloadToFile函数会读取缓存，所以需要清空缓存或者在URL后面加上随机数。
本例使用API中的DeleteUrlCacheEntry函数清空缓存

下面是一个URLDownloadToFile函数的包装函数
http://www.cpearson.com/Excel/DownloadFile.aspx

liucqa · 发表于 2012-7-22 18:03

本帖最后由 liucqa 于 2013-4-11 18:24 编辑

三、使用 Microsoft.XMLHTTP 对象，下载网页文件（也可以是图片等其他文件）到硬盘

Sub HttpDownNetFile()
Dim nUrl As String, localFilename As String
Dim XmlHttp As Object, ayrHttpBody() As Byte
nUrl = "http://www.baidu.com/img/baidu_logo.gif"
localFilename = ThisWorkbook.Path & Application.PathSeparator & "myimg.gif"
Set XmlHttp = CreateObject("Microsoft.XMLHTTP")
XmlHttp.Open "GET", nUrl, True '异步下载
XmlHttp.Send
Do Until XmlHttp.ReadyState = 4
DoEvents
Loop
If XmlHttp.Status = 200 Then
ayrHttpBody() = XmlHttp.ResponseBody
Open localFilename For Binary As #1
Put #1, , ayrHttpBody()
Close #1
MsgBox "成功"
Else
MsgBox "失败"
End If
Set XmlHttp = Nothing
End Sub

复制代码

本例采用伪异步下载的方法，异步下载可以避免下载时间过长导致Excel挂起。

liucqa · 发表于 2012-7-22 18:04

本帖最后由 liucqa 于 2013-4-11 18:25 编辑

四、可以使用WebBrowser控件来导航页面，并遍历图片。这个方法需要熟练掌握控件的使用，适合中高级水平的人使用。

知识点1：使用WebBrowser_DocumentComplete事件来确认网页导航完毕
知识点2：使用API 剪贴板函数来得到图片
知识点3：使用stdole.SavePicture方法保存图片到本地

代码如下：

Private bLoadComplete As Boolean
Private Sub CommandButton1_Click()
Dim Pic As PicBmp, IPic As Picture, IID_IDispatch As Guid
Dim nUrl As String, localFilename As String, lngRetVal As Long, objElement, n&, nRange
nUrl = "http://www.baidu.com/" '网址
localFilename = "Myimg.gif" '保存到本地的文件名
Label1.Caption = "开始导航页面..."
frmWB.WebBrowser1.Silent = True '关闭交互禁止脚本错误
frmWB.WebBrowser1.Navigate nUrl '开始导航
bLoadComplete = False
Do While Not bLoadComplete '等待DocumentComplete事件确认加载结束
DoEvents
Loop
n = 1
For Each objElement In WebBrowser1.Document.images
Set nRange = WebBrowser1.Document.body.createControlRange()
nRange.Add objElement
nRange.execCommand "Copy" '复制到剪贴板
OpenClipboard 0 'OpenClipboard
With IID_IDispatch 'GUID理论上可以随便写，只要和操作系统已有的不重复就行
.Data1 = &H20400
.Data4(0) = &HC0
.Data4(7) = &H46
End With
With Pic
.Size = Len(Pic)
.Type = 1
.hBmp = GetClipboardData(CF_BITMAP)
End With
OleCreatePictureIndirect Pic, IID_IDispatch, 1, IPic
stdole.SavePicture IPic, ThisWorkbook.Path & Application.PathSeparator & n & localFilename '图片保存到本地
CloseClipboard
Set Image1.Picture = IPic '图片显示到Image控件
Label1.Caption = "第" & n & "张图片"
frmWB.Repaint '刷新窗体，以便显示图片
Sleep 1000
n = n + 1
Next
Set Image1.Picture = Nothing
Label1.Caption = "图片显示完毕"
End Sub
Private Sub WebBrowser1_DocumentComplete(ByVal pDisp As Object, URL As Variant)
If pDisp Is WebBrowser1 Then bLoadComplete = True '确认页面加载完毕
End Sub

复制代码

使用Webbrowser控件可以处理几乎所有的网页，与使用IE相比，用户界面和程序可控性要好一些。
但是窗体中自带的Webbrowser控件目前问题较多，使用时需要仔细调试。

如果想进一步学习Webbrowser控件的使用可以参考下贴
http://club.excelhome.net/forum.php?mod=redirect&goto=findpost&ptid=815805&pid=6110079

liucqa · 发表于 2012-7-22 18:05

本帖最后由 liucqa 于 2012-8-11 14:48 编辑

第三课小结：

本课以四个实例，讲解了四种方法获取下载图片，并保存到本地硬盘或放到Image控件的方法。其中除了XmlHttp方法之外，其余都使用了API函数。对初学者来说，可能一看到API函数就头晕目眩，大呼看不懂。其实，只要耐心下来，慢慢看，至少前两种方法的API函数并不难理解，也很容易使用。
推荐一个API速查的网站 http://ahan.sourceforge.net/api/ ，本课用到的函数都可以在此网站查询到使用方法。

使用Image控件加载网络图片，在需要进行验证码输入的时候非常有用。

在下一课，我会演示处理验证码图片的例子。

本课的示例代码在这里

网页采集和抓取教程-第三课示例.rar (28.22 KB, 下载次数: 2067)

AVEL · 发表于 2012-7-22 18:07

占位听课。。
老师还不贴出来呢。

lzqlaj · 发表于 2012-7-22 18:10

占位听课，开讲吧。已经学习了1，2课。1课明白了些。

清泉石上流shm · 发表于 2012-7-22 18:55

收藏下先，慢慢学！！

引子玄 · 发表于 2012-7-22 20:22

来听课了，继续学习

liucqa · 发表于 2012-7-22 22:52

同学们可以来学习了

		自动登录	找回密码
密码			免费注册

[原创] 网页采集(网页抓取)教程第三课-获取网络图片四种方法,如何判断WebBrowser控件导航结束

评分

评分

评分