本论坛首发，分享个网抓科技Selenium

t13564865256

liucqa 发表于 2015-9-25 11:46
你可以把这个例子发上来让大家学习，看看代码的特点

刚把代码发上来了。内部网站我是不能发的。不会为了分享个软件，我专门去搞个网站生成点代码吧。我只是分享，并不是教程啊。有用的人自然会去用，没用的人写再多，他也只会说收藏了，有空学学而已

coby001

joforn 发表于 2015-9-25 11:42
对于刚刚接触这类操作的人来说，有代码参考，也是很好的。
这个工具其实和"录制宏"功能类似，对要用的人有 ...

网抓，爬虫，蜘蛛，机器人~~~~等等
都是些烂大街的技术了，核心就是 XHR 或 Ajax
其中的技术难点在：网页分析 和 http 数据包分析。
新人不会，或 有些人装新人，做伸手党而已~

t13564865256

coby001 发表于 2015-9-25 11:52
网抓，爬虫，蜘蛛，机器人~~~~等等
都是些烂大街的技术了，核心就是 XHR 或 Ajax
其中的技术难点在：网 ...

嗯，网抓录制宏技术是烂大街，但是网抓生成EXCEL VBA能运行的代码，你之前有听说过吗？
当然你可以说我用其他语言也能实现，但是这里是EXCELHOME不是吗

百度不到去谷歌

看了代码 网抓方面的按键精灵 最大优势就是录制代码了 通过录制就得到了一些元素关键字
编码速度会有很大提升
还有个疑问 就是不知道提交某个操作后 下句代码是会立即执行 还是会等到网页操作执行完毕再继续执行下面代码（操作比如点击了某个链接 ）
缺点就是需要客户另外安装组件什么的 对有些人来说比较抵触
遇到比较难搞的网站 倒是可以试试
对习惯了用其他方法的人来说 倒是可以作为辅助工具
录制得到的代码可以比较方便的了解网页关键元素和了解网页运行方式

t13564865256

百度不到去谷歌 发表于 2015-9-25 11:55
看了代码 网抓方面的按键精灵 最大优势就是录制代码了 通过录制就得到了一些元素关键字
编码速度会有很大 ...

按键精灵学习也不是那么简单的。我曾经用按键精灵做过一个外G，做了整整一个月。学习的脑袋都晕了。并且他并不能和其他程序软件借口，和这个又是另一码事了。我忘记说了，这个接口去连接网页，不需要做任何等待，他会自动判断网页执行，我不知道他怎么做到的。但是事实就是这样，你可以看到我程序里面没有任何的等待。

t13564865256

coby001 发表于 2015-9-25 11:41
如果可以通过 xmlhttp 直接获得web上的数据，何必啰里啰唆的模拟点击网页呢~

HMLHTTP 我到现在都玩不来，学了很久，还下载了fiddler4。也同样不会用。这都已经超出初学者的范围了。就我看来

百度不到去谷歌

t13564865256 发表于 2015-9-25 11:56
按键精灵学习也不是那么简单的。我曾经用按键精灵做过一个外G，做了整整一个月。学习的脑袋都晕了。并且 ...

这个功能比较实用 大大降低了网抓门槛

coby001

t13564865256 发表于 2015-9-25 11:54
嗯，网抓录制宏技术是烂大街，但是网抓生成EXCEL VBA能运行的代码，你之前有听说过吗？
当然你可以说我 ...

写vba不难，难在：

其中的技术难点在：网页分析 和 http 数据包分析。

还要加一个：字符集编码转换。

就好像，给你同样的锅子、灶，同样的调料和配料，
但是你能做出和老厨师同样的菜吗？
其中的差距在哪里？在 知识、技巧和经验。

所以，难点不是某个对象怎么用的问题，而是怎么分析html 和 http。

范德萨

模拟点击ie元素还可以，有时候还是需要打开网页操作简单的，个人感觉火狐浏览器用起来还是要舒服许多。

t13564865256

范德萨 发表于 2015-9-25 12:16
模拟点击ie元素还可以，有时候还是需要打开网页操作简单的，个人感觉火狐浏览器用起来还是要舒服许多。

我发的那段代码不只是模拟点击了。还涉及到循环取元素值，他可以实现现在网抓技术所有功能。只是要摸索一下。我也觉得火狐比IE不知道快多少。