本论坛首发，分享个网抓科技Selenium

t13564865256 · 发表于 2015-9-24 15:56

回馈EXCELHOME，分享个网抓科技Selenium
在论坛学习了很多东西，受益匪浅，今天奉献一个网抓技术，支持20多种浏览器。
常规的网抓仅支持IE浏览器，这使得网抓受到非常大的限制。

一、首先要在计算机上安装Selenium驱动包：SeleniumWrapperSetup-1.0.23.0.exe
QQ图片20150924151814.png

没什么特殊的，按步骤点下一步就可以完成安装
二、然后安装火狐浏览器FireFox33.1.1
QQ图片20150924152142.png

为什么是火狐，因为只有火狐支持Selenium的自动生成代码功能，由于这是一门新技术，所以靠自己研究代码是很困难的。
通过火狐的自动生成代码功能，可以很大程度解决我们的问题。并且他支持VBA代码等多种程序语言的生成。
我安装的是FireFox33.1.1，建议大家不要安装这个版本以上的火狐
由于火狐的Selenium插件是不断更新的，当火狐浏览器比Selenium插件高可能会出现VBA代码生成不正确的情况
三、更新你的火狐Selenium插件：selenium-ide.xpi
QQ图片20150924152931.jpg

由于FireFox33.1.1内置的Selenium插件不支持VBA代码生成，所以要更新。
这个很简单，托进火狐浏览器界面就自动安装了。
如果大家有其他的selenium资料参考，不需要自动生成代码，那第二、三步可以省略。
四、接下来我们看看怎么来完成一个简单的操作。

首先在VBE中引用
QQ图片20150924152844.png

然后在模块中放入如下代码
Private Sub aaa()
Dim driver As New SeleniumWrapper.WebDriver
Dim collection As WebElement
Call driver.Start("firefox", "http://www.baidu.com/")
Call driver.get("/")
Set collection = driver.findElementById("kw")
collection.SendKeys ("其乐无穷")
driver.findElementById("su").Click
Exit Sub

运行后，就会发现程序用火狐浏览器打开了百度，并输入“其乐无穷”关键字后点击搜索按键。
是不是很神奇？
五、我们来看下如何使用自动生成VBA代码
打开火狐浏览器，依次选择右上角菜单-开发者-Selenium IDE
QQ图片20150924153740.png

此时就出来了如下的界面
QQ图片20150924153914.jpg

又上脚的红色圆圈为开始按键，单击后开始记录浏览器的操作。再次单击后停止
然后就会自动生成代码了。需要切换生成的语言种类，如下图
QQ图片20150924154214.png

好了，就介绍到这里了，下面上一些必须的附件。由于比较大，用的好压分卷压缩的，打不开不怪我了啊
压箱底的东西都分享给大家了，多送鲜花哦。
自己做的测试文件Selenium_test.xlsm(google浏览器和Firefox浏览器打开百度的)：

selenium_test.zip (13.8 KB, 下载次数: 388)
然后是国外google论坛原始说明（文档，纯英文，我也不会翻译，有看的懂的可以看看）：

Selenium网页自动化.zip (466.21 KB, 下载次数: 958)
Selenium-ide.xpi：

selenium-ide.zip (741.78 KB, 下载次数: 913)
SeleniumWrapperSetup-1.0.23.0.exe：

SeleniumWrapperSetup-1.0.23.0.haozip01.zip (2 MB, 下载次数: 1242)

SeleniumWrapperSetup-1.0.23.0.haozip02.zip (2 MB, 下载次数: 2475)

SeleniumWrapperSetup-1.0.23.0.haozip03.zip (2 MB, 下载次数: 1591)

SeleniumWrapperSetup-1.0.23.0.haozip04.zip (2 MB, 下载次数: 1494)

SeleniumWrapperSetup-1.0.23.0.haozip05.zip (2 MB, 下载次数: 1350)

SeleniumWrapperSetup-1.0.23.0.haozip06.zip (2 MB, 下载次数: 1701)

SeleniumWrapperSetup-1.0.23.0.haozip07.zip (2 MB, 下载次数: 1168)

SeleniumWrapperSetup-1.0.23.0.haozip08.zip (1.53 MB, 下载次数: 1402)
WINRAR解压不了解决办法：解压分卷二，会提示你找分卷一，而且给出文件名，你对着修改分卷一的文件名就好了。
感谢学导的技术分，这是我EH生第一个技术分。我会继续努力的，不让管理们失望，咩哈哈！

wudixin96 · 发表于 2015-9-24 16:36

真是不错的东东，哈哈
谢谢分享

liu-aguang · 发表于 2015-9-24 16:40

一个新的组件,如果没有相应中文说明,只能是盲抓了.
请问楼主是否测试过用它来抓一些复杂的页面. 如登陆/viewstart等?

t13564865256 · 发表于 2015-9-24 16:42

liu-aguang 发表于 2015-9-24 16:40
一个新的组件,如果没有相应中文说明,只能是盲抓了.
请问楼主是否测试过用它来抓一些复杂的页面. 如登陆/vi ...

测试过一个非常复杂的内部网站操作和网抓，全部用这个完成。而且速度很快，代码简洁。不然我也不会发了。我只能说他能实现现在网抓所有功能。但是需要摸索。

liu-aguang · 发表于 2015-9-24 17:02

楼主可以好好研究研究, 写一些使用案例,包括返回各种媒体类型的方法,及解析方法. 相信该组件功能绝不可能只是把返回内容展示在浏览器中.

建议版主们给点财富什么的, 鼓励鼓励. 论坛需要通常视野外的东西才新鲜, 无论这些东西的受众有多大.

t13564865256 · 发表于 2015-9-24 17:05

liu-aguang 发表于 2015-9-24 17:02
楼主可以好好研究研究, 写一些使用案例,包括返回各种媒体类型的方法,及解析方法. 相信该组件功能绝不可能只 ...

当然不是啊，我是用VBA调用这个控件，然后对一个内部网站进行了登陆，选择，跳转，最后抓去内容放到EXCEL的操作啊。并不是返回到浏览器中的啊。只是他能控制的浏览器更多，不只是IE当然包括IE

范德萨 · 发表于 2015-9-24 17:09

谢谢分享，先收藏起来。期待继续放出压箱底的。。。

t13564865256 · 发表于 2015-9-25 09:27

自己顶，让更多的人看到

百度不到去谷歌 · 发表于 2015-9-25 10:51

要使用这个组件要做以下准备工作？
1、下载安装组件
2、安装火狐浏览器
再加上资料稀少案例稀少
如果是要同时满足这2条才能运行的话
除非他有某方面巨大优势
那我觉得还是不如好好深刻研究xmlhttp

t13564865256 · 发表于 2015-9-25 10:59

百度不到去谷歌发表于 2015-9-25 10:51
要使用这个组件要做以下准备工作？
1、下载安装组件
2、安装火狐浏览器

如果真的太浮躁就不要搞了。毕竟对你没啥用。仔细看看吧，他写代码比现在任何一种网抓都简单很多。

		自动登录	找回密码
密码			免费注册

[分享] 本论坛首发，分享个网抓科技Selenium

评分

最新热点 /1