vba中使用Selenium

源理 · 发表于 2018-12-20 13:59

chis3 发表于 2018-12-20 08:56
請問下樓主
官方是否不再更新vba的版本了?所以要用舊的firefox?

官方的VBA 一直没怎么动过了.但和用旧版本的firefox无关
这个是一个老外用.net封装的一个包装器,这个老外不更新了.最新的更新到2016年3月份了
不过.net封装程序是开源的一个项目,也说不定那个VBA 大神可能去搞一下,更新一下

源理 · 发表于 2018-12-20 14:01

chis3 发表于 2018-12-20 09:19
我有一個工作需要在網站重覆百多次的操作,希望這個幫到忙自動化就好了

肯定能行,不过我还没有写到,框架,异步求请
如果你没有这些需求,只是简单的操作应该都没有问题

chis3 · 发表于 2018-12-20 18:55

源理发表于 2018-12-20 13:59
官方的VBA 一直没怎么动过了.但和用旧版本的firefox无关
这个是一个老外用.net封装的一个包装器,这个老 ...

也就是說,如果現在去官網下載的firefox是不能用的是不是?

chis3 · 发表于 2018-12-20 18:56

源理发表于 2018-12-20 14:01
肯定能行,不过我还没有写到,框架,异步求请
如果你没有这些需求,只是简单的操作应该都没有问题

啊,謝謝
有個網要不停登入很多帳號再把pdf下載,很麻煩
和發薪時要登入銀行需要一個一個的輸入再提交形式的
沒有整個import file的提交,希望能自動化

源理 · 发表于 2018-12-20 21:22

本帖最后由源理于 2018-12-22 10:47 编辑

8、FindElementByXpath

说明: 查找与XPath查询相匹配的第一个元素。

语法基本与上面的一致这里略！

XPath也是一个很重要的东东，基本能定位到所有的元素，但用法很奇特，学习较困难。要在这里细说不太可能，我只能说一下概念。首先什么是xpath？》我的理解就是像文件地址一样的东东，然后用它来定位树形结构中的元素，，这种树形结构特指xml结构。具体学习地址：http://www.w3school.com.cn/xpath/index.asp这里有详解

下面是常用的一个路径示例截图

04-04

当然不指这点路径的功能，他还能通过他的“轴”（这个概念不好理解！）来定位与他相关的元素如：兄弟、儿子、父亲等等

04-05

轴的用法是轴名::节点

示例child::book 选取所有属于当前节点的子元素的 book 节点

常用函数有：Contains、starts-with、text、

我在这里列举几个用法

示例13

网页的dom结构

04-06

我们要查的是VBA版块中第一个帖子，（置顶的不算）。我们可以看到我们要找的网页元素的id是一个后台生成的可变的id，可能今天能用，明天就不行了。现在的思路是，通过separatorline这个固定的id查找到tbody，然后定位他后面的第一个tbody就是我们要的元素了。

效果

04-07

代码

Sub 示例13()
Dim cd As New ChromeDriver
cd.Get"http://club.excelhome.net/forum-2-1.html"
'查找ExcelHome论坛 VBA版块中第一个帖子（置顶的不算）
Debug.Printcd.FindElementByXPath("//*[@id='separatorline']/following::tbody").Text
'//从任意节点开始，不是从根节点
'tbody是标签节点
'[]是谓语的用法，谓语用来查找某个特定的节点或者包含某个指定的值的节点
'谓语中的@id节点的属性 ,即网页中的标签的id @id='separatorline' 表示，id必须是 forumnewshow
'following::轴，表示与本元素相邻的兄弟元素
End Sub

复制代码

示例14

这里演示两个函数的用法

04-08

代码：

Sub 示例14()
Dim cd As New ChromeDriver
cd.Get"http://club.excelhome.net/forum-2-1.html"
Debug.Print cd.FindElementByXPath("//p[contains(text(),'讨论与VSTO')]").Text
'这里用了两个函数 contains 包含字符串的函数
'text节点的text文字
'这里是指包含了讨论与VSTO文字的p标签，打印出来是VBA的一个子版块VSTO中的一个p标签
cd.Quit
End Sub

复制代码

小结：xpath真的很强大，基本上是算是一个如正则一样的神器。只有你想不到的表达示，没有他做不到的。强力推荐使用这种方法，因为他具有广范性。当然也有一点小难度。

源理 · 发表于 2018-12-20 21:24

chis3 发表于 2018-12-20 18:56
啊,謝謝
有個網要不停登入很多帳號再把pdf下載,很麻煩
和發薪時要登入銀行需要一個一個的輸入再提交形 ...

没有什么变态的登录验证的话这个没问题。如12306那种，或是滑动验证什么的。

Kaohsing · 发表于 2018-12-21 07:52

只要浏览器的版本与调试工具Selenium的版本匹配，就可以很好的使用。

源理 · 发表于 2018-12-22 10:21

本帖最后由源理于 2018-12-22 10:24 编辑

9、FindElement

说明：返回符合by所查询元素机制的第一个元素

returnValue = instance.FindElement(by, timeout, raise)

以上的参数，除了by其它的都讲过，不重复了。这里的by是一个类，他是一种包含了查询元素的机制，他也包含了以前我们讲过的通过class、css、linkText、Name、PartialLinkText、Xpath来查询。

By的方法截图

05-01

他最主要的功能是有一个Any方法可以组合以上查询所得到的所有元素。

语法：returnValue = By.Any(by1, by2, by3,by4, by5, by6)

当然这个放到FindElements中会更有意义。

示例11：

演示by其中的id、PartialLinkText的示例说明by的用法，对比一下和以前讲过的FindElementByXXX发现其实是一样的。

05-02

Sub 示例11()
Dim cd As New ChromeDriver
cd.Get "http://club.excelhome.net/forum-2-1.html"
Dim by As New by '新建一个by类，在by类中可以构造自己定位方法如下
Debug.Print "通过by.id方法获得元素:" & cd.FindElement(by.ID("mn_N2de8")).Text
Debug.Print "通过FindElementById获得:" & cd.FindElementById("mn_N2de8").Text
Debug.Print "##############################################"
Debug.Print "通过by.id方法获得元素:" & cd.FindElement(by.partiallinktext("Excel 2016数据透视表应用大全")).Text
Debug.Print "通过FindElementById获得:" & cd.FindElementByPartialLinkText("Excel 2016数据透视表应用大全").Text
'通过以上两个示例可以看出通过by方法和FindElementByXXXX是一样的，by只是提供了一种定位的机制
Stop
cd.Quit
End Sub

复制代码

示例 12

通过by.any一次性抓取三个不相关的元素

效果

05-03

Sub 示例12()
Dim cd As New ChromeDriver
cd.Get "http://club.excelhome.net/forum-2-1.html"
Dim by As New by '新建一个by类，在by类中可以构造自己定位方法如下
Set bt = by.Any(by.ID("mn_N2de8"), by.ID("mn_N3b30"), by.XPath("//td[@class='fl_icn']/following::td[1]")) '用了这个感觉就像是在点将台中点大将一样，很爽
'上面第一个参数by构造了查询id为mn_N2de8的第一种机制（你叫条件也行）、
'上面第一个参数by构造了查询id为mn_N3b30的第二种机制、
'上面第一个参数by构造了查询XPath为
'当程序解读dom时，当元素满足任意一个机制就被添加进 FindElements 中
cd.FindElements(bt).Text.ToExcel Range("A1")
Stop
cd.Quit
End Sub

复制代码

10、FindElementBy

说明：通过给定的策略和所对应的值来定位元素。

语法

returnValue = instance.FindElementsBy(strategy, value,minimum, timeout)

其中strategy是一个枚举型，他包含了所有的策略类型。其实也是我们上面所讲的一些方法 class、css、linkText、Name、PartialLinkText、Xpath、any.

下面是他的成员：

05-04

示例13

通过strategy的id和PartialLinkText查询元素，也做了一个对比自己看一下很简单

05-05

代码

Sub 示例13()
Dim cd As New ChromeDriver
cd.Get "http://club.excelhome.net/forum-2-1.html"
cd.FindElementBy Strategy.Strategy_Id, "mn_N2de8"
Debug.Print "通过Strategy的id方法获得元素:" & cd.FindElementBy(Strategy.Strategy_Id, "mn_N2de8").Text
Debug.Print "通过FindElementById获得:" & cd.FindElementById("mn_N2de8").Text
Debug.Print "##############################################"
Debug.Print "通过StrategyPartialLinkText方法获得元素:" & cd.FindElementBy(Strategy.Strategy_PartialLinkText, "Excel 2016数据透视表应用大全").Text
Debug.Print "通过FindElementById获得:" & cd.FindElementByPartialLinkText("Excel 2016数据透视表应用大全").Text
End Sub

复制代码

至此，所有关于定位元素的都讲完了。这里很重要!!!!!!!!!!!!是操作网络对象的基础！！！

aman1516 · 发表于 2018-12-22 12:34

关于定位元素的都讲完了。这里很重要!!!!!!!!!!!!是操作网络对象的基础！！！

——掌握了这点，才算是开始摸着门道了

希望楼主后面能讲下获取链接的例子（url），最终获取图片、视频、文档等原始数据

源理 · 发表于 2018-12-22 13:49

七、框架

所见不一定所得，因为网页元素中有一个框架的东西。即iframe标签，这个标签能嵌套一个网站。记得第一次抓网上的东东时，发现和教程都一样就是获得不了网页元素，后来才发现就是iframe的问题。

本来想找一个好的网站做示例，但发现大型网站都没有iframe，在工作中用的系统管理软件也不能做例子。只能广告网页作成例子说明一下：

地址：http://news.sina.com.cn/c/2018-12-21/doc-ihqhqcir9093218.shtml

06-01

从上图可以看到广告页面是一个单独的页面，他嵌套在了iframe中。那我们定位这个广告页中的元素，直接通过findelement是不行的，因为他只能找主框架中的dom元素。那么怎么办呢?

Selenium中提供了转向子框架的方法

SwitchToFrame 这个方法就能跳到子框架中去，当跳到子框架中后对需要操作的网页元素进行了操作后，如何跳转回主框架呢？需要用到SwitchToParentFrame方法。

SwitchToFrame语法：

returnValue = instance.SwitchToFrame(identifier, timeout,raise)

其中instance：WebDriver（驱动,即我常用的cd）;

Identifier：iframe的名字（字符串）或者iframe在主框架中的标签索引index（从0开始）。

示例14：

获得上面网站广告中的标题

06-02

Sub 示例14()
Dim by As New by
Dim cd As New ChromeDriver
Dim ele As WebElement
cd.Get "http://news.sina.com.cn/c/2018-12-21/doc-ihqhqcir9093218.shtml"
'通过name名称跳进第一层框架
cd.SwitchToFrame ("sinaadtk_sandbox_id_0")
'获得框架所在网页元素，这里采用了xpath 定位
Set ele = cd.FindElementByXPath("//div[contains( @id,'BAIDU_SSP__wrapper')]/iframe")
'通过ele.Attribute("name")获得框架元素的name值，由于这个值是变化的，所以只能通过这种方法获得
cd.SwitchToFrame (ele.Attribute("name"))
'由于广告每一次都不一样，所以我采用by.any来设置可能存在的网页元素
Set bt = by.Any(by.Class("adTitle"), by.Class("pic_title"), by.Class("title_under_pic"))
'通过上面设置的机制，获得最终框架中的网页元素，并打印出其text
Debug.Print "这两层框架下的一元素：" & cd.FindElement(bt).Text
'跳回主框架，有两层，没办法找不到简单的例子
cd.SwitchToParentFrame
cd.SwitchToParentFrame
Debug.Print "这是主框架中的标题：" & cd.FindElementByClass("main-title").Text
Stop
cd.Quit
End Sub

复制代码

小结：框架是一个坑，跳来跳去很烦。其实直接用get转到框架中的网页是最正确的做法，这样网页中的元素更好定位。

		自动登录	找回密码
密码			免费注册

[原创] vba中使用Selenium

评分

评分

评分