本论坛首发，分享个网抓科技Selenium

coby001

t13564865256 发表于 2015-9-25 10:59
如果真的太浮躁就不要搞了。毕竟对你没啥用。仔细看看吧，他写代码比现在任何一种网抓都简单很多。

你倒是写个能具体抓到数据的例子啊~
打开个网页没啥难度啊~

t13564865256

coby001 发表于 2015-9-25 11:09
你倒是写个能具体抓到数据的例子啊~
打开个网页没啥难度啊~

我分享我内部网站的例子，你看了也没啥用啊，我也没有任何的参考资料，都用的VBA录制宏，然后就解决了。分享一段你看看吧。不需要学什么东西的
    Dim driver As New WebDriver
    Dim driver2 As New WebDriver
    Dim collection As WebElementCollection
    driver.Start "firefox", ThisWorkbook.Sheets(1).Cells(2, 1).Value
'    driver.setImplicitWait 5000
    driver.Open ThisWorkbook.Sheets(1).Cells(2, 1).Value
    driver.findElementByName("userId").Clear
    driver.findElementByName("userId").SendKeys ThisWorkbook.Sheets(1).Cells(6, 1).Value
    driver.findElementByName("password").Clear
    driver.findElementByName("password").SendKeys ThisWorkbook.Sheets(1).Cells(6, 2).Value
    driver.findElementByCssSelector("button.btn.btn-primary").Click
    Dim frameUrl: frameUrl = driver.findElementsByTagName("frame").Item(2).getAttribute("src")
    driver.get frameUrl
    driver.findElementsByName("CHOOSE_MODE")(ThisWorkbook.Sheets(1).Cells(7, 1)).Click
    driver.findElementByXPath("//input[@value='" & ThisWorkbook.Sheets(2).Cells(5, 1).Value & "']").Click
    frameUrl = driver.findElementsByTagName("frame").Item(2).getAttribute("src")
    driver.get frameUrl
    driver.findElementById("btn_listSet").Click
    driver.switchToWindow (1)
    driver.findElementById("FROM_DATE").Clear
    driver.findElementById("FROM_DATE").SendKeys ThisWorkbook.Sheets(1).Cells(5, 1).Value
    driver.findElementById("TO_DATE").Clear
    driver.findElementById("TO_DATE").SendKeys ThisWorkbook.Sheets(1).Cells(5, 2).Value
    driver.findElementByCssSelector("input.button.buttonXS").Click
    Set collection = driver.findElementsByTagName("td")
    For i = 0 To collection.Count - 1
        If collection.Item(i).Text = ThisWorkbook.Sheets(1).Cells(4, 1).Value Then
            collection.Item(i - 1).findElementByXPath("//input[@value='" & ThisWorkbook.Sheets(2).Cells(2, 1).Value & "']").Click
            driver.switchToAlert().accept
            Exit For
        End If
    Next i
    driver.Close
    driver.switchToWindow (0)
    driver.findElementById("btn_submit").Click
    driver.switchToAlert().accept
    driver.switchToWindow (1)
    driver.Close
    driver.stop
这段函数完成了内部网站相当复杂的操作，如果用IE去写 代码长度是他的3倍多。
这个技术国外很早就有了，国内只用于大型网站的测试，VBA代码生成功能去年刚出来的。
日本已经在用这个技术了。国人要进步啊

coby001

t13564865256 发表于 2015-9-25 11:13
我分享我内部网站的例子，你看了也没啥用啊，我也没有任何的参考资料，都用的VBA录制宏，然后就解决了。 ...

嗯 还算可以~
那些代码只是在模拟操作网页元素，
要熟练得操纵这些东西，还是要熟悉 html + css

t13564865256

coby001 发表于 2015-9-25 11:39
嗯 还算可以~
那些代码只是在模拟操作网页元素，
要熟练得操纵这些东西，还是要熟悉 html + css

根本不需要，有录制宏功能。我只配合了一个谷歌的自动分析就解决了。我对网页根本不是很熟悉。网抓我也只是个菜鸟而已。

coby001

coby001 发表于 2015-9-25 11:39
嗯 还算可以~
那些代码只是在模拟操作网页元素，
要熟练得操纵这些东西，还是要熟悉 html + css

如果可以通过 xmlhttp 直接获得web上的数据，何必啰里啰唆的模拟点击网页呢~

joforn

对于刚刚接触这类操作的人来说，有代码参考，也是很好的。
这个工具其实和"录制宏"功能类似，对要用的人有用，对不需要用的人无用。
无所谓什么技术什么什么的……最近几年看论坛里总把什么网抓吹得上天，用这个用那个的……有点小奇怪：就那么几个对象，用哪个还不都是使用不同的对象方法一些不同？无非是同步或是异步，用哪个还不是看在什么时候用更合造？无非是单线程或是多线程，那也不是什么高深的东西，VBA天然有缺陷（多线程不兼容），那也是众所周知的，也没必要拿多线程来说事。

最近总看到坛子里不停的吵吵吵，有感而发，发泄一下而已，不针对任何人。
顺便提下：我现在还真是没搞明白坛友们总提的"网抓"是什么东西？一提到"网抓"总是让我想起谷歌，想起百度……

liucqa

百度不到去谷歌 发表于 2015-9-25 10:51
要使用这个组件 要做以下准备工作？
1、下载安装组件
2、安装火狐浏览器

支持那么多语言就是最大的优势了

liucqa

t13564865256 发表于 2015-9-24 16:42
测试过一个非常复杂的内部网站操作和网抓，全部用这个完成。而且速度很快，代码简洁。不然我也不会发了。 ...

你可以把这个例子发上来让大家学习，看看代码的特点

coby001

t13564865256 发表于 2015-9-25 11:40
根本不需要，有录制宏功能。我只配合了一个谷歌的自动分析就解决了。我对网页根本不是很熟悉。网抓我也只 ...

我说的是 熟练，
你录制了那么长的代码，却不知简化，说明还不够熟练~

t13564865256

coby001 发表于 2015-9-25 11:47
我说的是 熟练，
你录制了那么长的代码，却不知简化，说明还不够熟练~

录制出来的代码当然不可能是这样的。不只要简化，还要做很多调试。网抓不都这样吗，哪里有一次成功的。