vba中使用Selenium

源理

aman1516 发表于 2018-12-22 12:34
关于定位元素的都讲完了。这里很重要!!!!!!!!!!!!是操作网络对象的基础！！！

——掌握了这点，才算是开 ...

获取了网页元素就获得了，网页上大多数的能操作的内容。url也就是他的一个属性，图片视频文档也就是他的下载按钮用了一下click事件。不过这样还得交互一下才能存，如果是批量下载一些图片，还是直接 用xhr异步请求来获得。
selenium适合网页上的操作！！！

源理

8、Cookie

由于网页是无状态的，为了保证服务器知道网页端的状态，就整出了很多东东其中就有cookie。这样服务器就知道你是访问的网页是不是通过了登录。我们多半是为了网页抓取信息或是填写表单。现在我们的思路是：登录后把这个cookie存起来，然后在后续的自动化工作中直接填写这个cookie就能实现自动化了。

Cookie也是键值对存在的名称、值。在selenium中获得cookie是通过Manage。

示例15

获得打开excelhome网页,并把获得网页中会话的cookie，打印到立即窗口输出

效果

07-01

代码

1. Sub 示例15()
   
2.     Dim cd As New ChromeDriver
   
3.     cd.Get "http://www.excelhome.net/"
   
4.     Dim cookie As cookie
   
5.     For Each cookie In cd.Manage.Cookies
   
6.         Debug.Print "name:" & cookie.Name
   
7.         Debug.Print "Path:" & cookie.Path
   
8.         Debug.Print "Secure:" & cookie.Secure
   
9.         Debug.Print "Expiry:" & cookie.Expiry
   
10.         Debug.Print "Value:" & cookie.Value
    
11.         Debug.Print "Domain:" & cookie.Domain
    
12.         Debug.Print "================="
    
13.     Next
    
14.     Stop
    
15.     cd.Quit
    
16.     Set cd = Nothing
    
17. End Sub

复制代码

Cookie是存在于manage对象中的，此对象除了有获得cookie还有增加cookie的方法AddCookie

语法

instance.AddCookie(name, value, domain, path, expiry, secure,httpOnly)

除secure、httpOnly是布尔类型外，其它都是字符串。具体的意义请百度。

Name,value为必填项，其它为选填项。

示例16

先通过网站登录，记录下登录状态的cookie。然后再运行另一个新的网页，添加cookie，并刷新本页看用户是否登录。

效果：

07-02

1. Dim Cookies As Collection
   
2. Sub 示例16()
   
3.     Dim cd As New ChromeDriver
   
4.     Set Cookies = New Collection
   
5.     cd.Get "http://www.8888888.com/gskuc"
   
6.     Stop '这里进行一下登录操作
   
7.     Dim cookie As cookie
   
8.     For Each cookie In cd.Manage.Cookies
   
9.         If Not hasCookie(cookie.name, Cookies) Then
   
10.             Cookies.Add cookie, cookie.name
    
11.         End If
    
12.     Next
    
13.     Stop
    
14.     cd.Quit
    
15.     Set cd = Nothing
    
16. End Sub
    
17. 
    
18. Sub 示例16_1()
    
19.     Dim cd As New ChromeDriver
    
20.     cd.Get "http://www.8888888.com/gskuc"
    
21.     Dim cookie As cookie
    
22.     '通过上次存的cookie存入本次打开的网页中，这样就能不用再次登录就能记录了
    
23.     cd.Manage.DeleteAllCookies
    
24.     For Each cookie In Cookies
    
25.         cd.Manage.AddCookie cookie.name, cookie.Value
    
26.     Next
    
27.     cd.Get "http://www.8888888.com/gskuc"
    
28.     Stop
    
29. End Sub
    
30. 
    
31. Function hasCookie(name, Cookies As Collection)
    
32.     hasCookie = False
    
33.     For Each cookie In Cookies
    
34.         If cookie.name = name Then hasCookie = True
    
35.     Next
    
36. End Function
    

复制代码

只是技术分享， 不想涉及具体网站，网址就不给了。

小结：cookie能直接绕过很多网站的登录，当然不是全部，另一些还涉及别的知识。

源理

9处理等待

关于等待是一个难点，我也不知道如何下手写。想了很久，但我发现想得太多，不如先记下来我所了解的，以后再补充。

等待是不可避免的，因为网页中的js代码会从后台无刷新带来数据，然后再根据数据添加一些元素在网页上或是删除一些网页元素，这个就是Ajax，这个东西应用太多了。现在我们的遇到的网页基本上都是这种交互。

那么问题来了，一个网页程序在对一个元素进行创建或是删除，我们VBA主线程怎么知道浏览器怎么处理好这个元素。这个网页元素消失了完了吗？这个网页元素创建完了，我们能用了吗？（如果没有创建完，我们不能用就会报错，这个太讨厌了，大大降低了我们的信心）。

为了解决以上问题所以这个我研究了很久，也很肤浅，写出我查资料得出的几个方法。

• 用Wait方法
• 用webelement中wait的方法
  

Wait

说明：主程序等待指定的时间（毫秒）。这个我喜欢用，因为不用考虑太多，直接有效。但很明显，每次网络异步加载的数据时间是不一样的，我这样会取一个最大的值，这样会浪费很多时间。当然有时我们不在意这些时间，我们可以等待。

语法

instance.Wait(timems)

instance:驱动，如chormDriv

timems:毫秒、等待的时间

示例，抓取https://www.epubit.com/book/screen网页1-9页的售出数据

下面为不用Waiter的报错

01

加了wait后的代码效果

02

代码中加了一个等待1s

Webelement的等待方法

WaitAttribute ：等待元素的指定属性变为指定值

WaitNotAttribute：等待元素的指定的属性不等于指定的值

returnValue = instance.WaitAttribute(attribute, pattern,timeout)

returnValue = instance.WaitNotAttribute(attribute,pattern, timeout)

其中attribute为属性名，pattern预期的值，timeout超时时间

WaitCssValue：等待元素指定的Css属性变为指定值

WaitNotCssValue: 等待元素指定的Css属性不等于指定值

returnValue = instance.WaitCssValue(propertyName, value,timeout)

returnValue = instance.WaitNotCssValue(propertyName,  value, timeout)

其中propertyName为css属性名，value为属性值，，timeout超时时间

WaitDisplayed：等待元素的可见性

returnValue = instance.WaitDisplayed(displayed, timeout)

其中displayed为布尔类型是否可见

WaitEnabled：等待元素可用

returnValue = instance.WaitEnabled(enabled, timeout)

其中enabled为布尔类型是否可用

WaitNotElement：等待元素消失

instance.WaitNotElement(by, timeout)

其中by 是by机制查找元素

WaitRemoval：等待元素从dom中被移除 【我测试出来这个不管用】

instance.WaitRemoval(timeout)

等待元素出现其实就是FindElement开头一类的方法，只是注意一下最后一个raise参数，当为false时为不引发异常，给一个空值。可以利用这点来帮我们判断一个元素是否出现。第二个参数time默认是3秒，等3秒如果没有找到看第三个参数是否引发异常，如果这个响应时间长可以设置长一点。这样就能智能的判断不像wait是一个定值。

WaitNotText：等待元素的值不是指定的值

WaitText：等待元素的值是指定的值

returnValue = instance.WaitNotText(pattern, timeout)

returnValue = instance.WaitText(pattern, timeout)

其中pattern指定的值（可匹配正则）

WaitSelection：等待元素指定的选中状态，可选的元素且原生如下拉列表，单元框，复选框元素。

returnValue = instance.WaitSelection(selected, timeout)

其中selected是否被选中布尔型，

这里我就做几个例子，其它的大同小意，当然这里很重要，自己去一个一个试吧。

1. .FindElementByXPath("//div[@class='ivu-page-options-elevator']/input").WaitAttribute "value", "3", 60000

复制代码

03

1. cd.FindElementByXPath("//ul[@class='ivu-page']").WaitNotElement by.XPath("//li[@title=2]"), 30000

复制代码

04

1. cd.FindElementById("screenList").WaitText "下载版", 60000

复制代码

05

在实际案例中，需要分析出网站是那个元素是加载完后，你所要的数据就加载出来了。有的还要分析点击事件是否被js（得看网页原代码）响应完成，响应完成后那才能抓取，还得用到我没讲的waiter,这是一个回调的应用。我给出作者的代码，这块我也没有研究明白。

1. Private Assert As New Selenium.Assert
   
2. Private Waiter As New Selenium.Waiter
   
3. 
   
4. 
   
5. Private Sub Should_Wait_For_Delegate()
   
6.   Dim driver As New FirefoxDriver
   
7. 
   
8.   ' without delegate
   
9.   While Waiter.Not(WaitDelegate1(), timeout:=2000): Wend
   
10.   
    
11.   ' without delegate with argument
    
12.   While Waiter.Not(WaitDelegate2(driver), timeout:=2000): Wend
    
13. 
    
14.   ' with delegate on the driver
    
15.   driver.Until AddressOf WaitDelegate1, timeout:=2000
    
16.   
    
17.   ' with delegate with argument
    
18.   Waiter.Until AddressOf WaitDelegate1, driver, timeout:=2000
    
19.   
    
20.   ' with delegate without argument
    
21.   Waiter.Until AddressOf WaitDelegate2, timeout:=2000
    
22. End Sub
    
23. 
    
24. 
    
25. Private Function WaitDelegate1()
    
26.   WaitDelegate1 = True
    
27. End Function
    
28. 
    
29. 
    
30. Private Function WaitDelegate2(driver As WebDriver)
    
31.   WaitDelegate2 = True
    
32. End Function
    

复制代码

小结：如果是想要重复的操作特别是异步的网页，这个必须要掌握，不然就是一个半自动化办工。异步需要对网页的响应进行全面的分析，花费时间长，不过一切都是值得的。我用这个解决了一无聊系统的无聊工作，大大减少了我的工作时间。这是爽点啊！！

10 js

Selennium可以直接 在网页中响应js，包括网页引用的jquery，easyui什么什么的，可以打开网页原码自己爽。

这里就以最后一个有趣的例子结束这个帖子

通过js给自己改了一个徽章，当然只是页面上显示多了，实际没有什么用。不过很好玩是不是！

06

1. Sub 示例19()
   
2.     Dim cd As New ChromeDriver
   
3.     cd.Get "http://club.excelhome.net/thread-1452021-1-1.html"
   
4.     Stop '请登录
   
5.     '通过script获得一个新徽章
   
6.     jsStr = "document.getElementById('g_up9762161').firstChild.setAttribute('src','static/image/common/medal20.gif');"
   
7.     jsStr = jsStr & "alert('恭喜你获得了新徽章')"
   
8.     cd.ExecuteScript jsStr
   
9.     Stop
   
10. End Sub
    

复制代码

结语：写了一个星期占用了很多业余时间，感觉也在写的过程中有所得。希望对大家有用吧！

源理

差点忘记了！
下面把所有示例的代码放到这里！
帖子示例.rar (69.7 KB, 下载次数: 516)

2018-12-27 19:49 上传

点击文件名下载附件
帖子示例的所有代码

Moneky

强力点赞，之前只在python中用过，需要的时候才查资料，楼主总结的很丰富，收藏了。

chis3

樓主,請問這段怎麼定位?
用class怎樣也定不了

源理

chis3 发表于 2018-12-28 11:04
樓主,請問這段怎麼定位?
用class怎樣也定不了

class如果是唯 一的你就能精准 定位到那个，如果不是唯一的，你看他第几个
用数组定位是那个就行了

chis3

源理 发表于 2018-12-28 11:19
class如果是唯 一的你就能精准 定位到那个，如果不是唯一的，你看他第几个
用数组定位是那个就行了

像這個,應該怎麼寫?
而且有些class 有空格的 原來空格後的不用寫入去的

fxl447098457

chis3 发表于 2018-12-28 11:24
像這個,應該怎麼寫?
而且有些class 有空格的 原來空格後的不用寫入去的

classname有空格是复合名，你只需要以空格为分隔符用其中一个就可以了。

源理

chis3 发表于 2018-12-28 11:24
像這個,應該怎麼寫?
而且有些class 有空格的 原來空格後的不用寫入去的

发连接，和你要抓的元素，我给你做一个示例