VBA网页爬虫和多线程指南

wolfccb

liucqa 发表于 2018-2-23 01:12
我测试过，使用winhttp一次发送800个异步链接请求是可以的，如果你只能发20个，速度上不去，应该是其它原因 ...

谢谢，我发的多些也可以，但不能用winhttp，因为登录时涉及到MD5之类的加密以及跨站验证，需要用webbrowser空间来帮xmlhttp获取登录信息，winhttp获取不到。我的速度上不去是由于网站后天数据的响应比较慢，并发请求多了也没用，别的网站可能会好很多。

以上。
路过的老狼

aoe1981

技术部分看不懂，ccb里也没有atm、窗口……倒是一堆有见地的思想……牛人啊

liucqa

wolfccb 发表于 2018-2-23 08:51
谢谢，我发的多些也可以，但不能用winhttp，因为登录时涉及到MD5之类的加密以及跨站验证，需要用webbrows ...

你说这些应该vba是可以通过调用js或者htmlfile来实现的，不需要webbrowser

wolfccb

liucqa 发表于 2018-2-24 14:30
你说这些应该vba是可以通过调用js或者htmlfile来实现的，不需要webbrowser

太麻烦了，还不如webbrowser直接模拟一个click。我爬的网站还有跨站登录验证，没找到好办法。

以上。
打哈欠的老狼

HD·结界

大神，没有留个附件，让我们后来者，研究研究哈~~
求大神，贴图上的源码，能共享吗

cowb

好好好好好好好好好

goldowl2011

打个标识，好文章，学习！

浮华、缠绕指尖

粗略看了文章，好多的似乎、看似，不知道楼主是谦虚还是根本没实测过就妄下结论
无知者不言，言之勿误导人，楼主看起来应该没抓取过多少网站
说多线程，如果离开了VBA范畴，无论vbscript还是ActiveX EXE，还有再使用的vba的必要吗？为什么不用脚本或者是其他语言来实现整个爬虫呢？excel顶多承载一个存储的作用再说异步，其实和多线程并没有多少联系，不知道你在说异步的时候为什么会扯上多线程，如果你觉得异步会影响速度或者效率，同一个网址你可以再用你所谓的多线程对比一下结果再来说速度和效率。如果取决于网站的速度，那不管你用什么办法都是不可能解决的，这样就不用再怪罪于异步了
再说登录，如果遇到问题都不用去解决，还学习做什么？用Webbrowser来登录倒不是什么问题，但如果我有几百个帐号，也要手动来实现共享cookie吗？拜托，我程序本身就是用来解决批量问题，而不是单个问题。当然了，还有Click这样的模拟点击，说实话，我也不会这个，意思是我就不用去再学学这个本身的用法了？好了，模拟点击也实现了，共享cookie也实现了，那现在我需要多帐号并发登录实现抓取呢？

半杯茗

Microsoft Excel中刚刚测试，无法实现，不知为何。

wolfccb

浮华、缠绕指尖 发表于 2019-4-1 09:08
粗略看了文章，好多的似乎、看似，不知道楼主是谦虚还是根本没实测过就妄下结论
无知者不言，言之勿误导人 ...

这位是以偏概全、断章取义的典范。我提供的是一些方法和思路，如果你觉得对你没有价值，你不用就是了，自有觉得它有价值的人来用。现在Python爬虫确实流行，甚至还有很多现成的爬虫工具连编程都不需要，按你的逻辑，excel网抓的帖子就都别写了呗？

我从没说过异步和多线程是一回事或者有什么联系，我提供的也是一些思路。在一些情景下，异步还真就有提高速度的作用，我也从没说过什么情景都取决于网站的速度。

登录的问题，我也是提供了一种方便的方法，如果你觉得这个方法不适用于你的需求，你别用就是了。对于不熟悉cookie的人，或者网站登录有本地js、登录后还要跳转等等情况，直接用webbrowser来click一下，省了多少心？

我的文章压根没提到多账号登录，你在2019年提出的问题，指望我在2018年预测未来给你提前解决？不好意思，我不欠你的。

以上。
不客气的老狼