测试同步采集和异步采集的速度差异

liucqa · 发表于 2015-6-5 15:26

今天有点时间，用winhttp测试同步采集和异步采集的速度差异，看图

同步
同步.png

异步

网址：http://chagu.dingniugu.com/dde.php?code=000002

liucqa · 发表于 2015-6-5 21:20

本帖最后由 liucqa 于 2015-6-5 21:38 编辑

测试发现，winhttp在我的机器上一次异步发送1000个问题不大
动画演示：

如果网站给力的话，1000个请求，也就几秒钟！！！！！

liucqa · 发表于 2015-6-5 21:47

当然，这种异步并发采集不能无限制发送请求，2000个错误率就超过2%了，10000个错误率接近50%

因此，合理的控制并发的数量，以及恰当的处理采集错误，是写异步并发采集时需要重点考虑的问题。

coby001 · 发表于 2015-6-5 21:55

同时发上千个请求，网站不封你IP ？

浮华、缠绕指尖 · 发表于 2015-6-6 00:10

哈哈，这一点你应该解释一下为什么会出错。。
我记得我前面有说过异步很容易出现采集不到数据的情况

liucqa · 发表于 2015-6-7 13:05

浮华、缠绕指尖发表于 2015-6-6 00:10
哈哈，这一点你应该解释一下为什么会出错。。
我记得我前面有说过异步很容易出现采集不到数据的情况

异步并发采集，加上错误处理（重试）

vba操作异步并发采集貌似不太可靠，除非在工作表里面做标记发现错误重新采集，相当于二次执行代码。

下面的测试是在HttpRequest_OnError事件中重新发送请求，最大三次。看这个网站情况，勉强可以应付1000个以内的采集了。少量的采集错误都能得到修正。

wuyouyidish · 发表于 2015-6-7 13:23

liucqa 发表于 2015-6-7 13:05
异步并发采集，加上错误处理（重试）

vba操作异步并发采集貌似不太可靠，除非在工作表里面做标记发现 ...

这个不就是我求你的问题吗？请问我的问题出在哪里？

liucqa · 发表于 2015-6-7 14:10

wuyouyidish 发表于 2015-6-7 13:23
这个不就是我求你的问题吗？请问我的问题出在哪里？

很抱歉，我一般不答复伸手党的问题。

当然，你提供的这个网站很不错，非常适合测试并发请求，谢谢！

wuyouyidish · 发表于 2015-6-7 14:15

是不是要首先建立一个名字叫做clsXMLHttpMonitor的类模块

wuyouyidish · 发表于 2015-6-7 14:35

liucqa 发表于 2015-6-7 14:10
很抱歉，我一般不答复伸手党的问题。

当然，你提供的这个网站很不错，非常适合测试并发请求，谢谢！

咱只有高小文化，你讲解的网页采集数据的很多帖子都看过，对我来说太深奥，跟天书没有什么区别，我在这个论坛索求的东西，都是为了更好的在股市里有的收获，想想咱小学文化，能把VBA知识看懂了1%并且能把论坛里的老师（比如蓝天老师）写的代码拿来修改修改为自己使用，就这点........我自己都有点佩服自己，非常感谢你能和我对话，虽然你表示不会帮忙，还是对你说声------------谢谢！

		自动登录	找回密码
密码			免费注册

[分享] 测试同步采集和异步采集的速度差异

评分

点评

点评