测试同步采集和异步采集的速度差异

liucqa

今天有点时间，用winhttp测试同步采集和异步采集的速度差异，看图

同步


异步


网址：http://chagu.dingniugu.com/dde.php?code=000002

liucqa

测试发现，winhttp在我的机器上一次异步发送1000个问题不大
动画演示：



如果网站给力的话，1000个请求，也就几秒钟！！！！！

liucqa

当然，这种异步并发采集不能无限制发送请求，2000个错误率就超过2%了，10000个错误率接近50%



因此，合理的控制并发的数量，以及恰当的处理采集错误，是写异步并发采集时需要重点考虑的问题。

coby001

同时发上千个请求，网站不封你IP ？

浮华、缠绕指尖

哈哈，这一点你应该解释一下为什么会出错。。
我记得我前面有说过异步很容易出现采集不到数据的情况

liucqa

浮华、缠绕指尖 发表于 2015-6-6 00:10
哈哈，这一点你应该解释一下为什么会出错。。
我记得我前面有说过异步很容易出现采集不到数据的情况

异步并发采集，加上错误处理（重试）

vba操作异步并发采集貌似不太可靠，除非在工作表里面做标记发现错误重新采集，相当于二次执行代码。

下面的测试是在HttpRequest_OnError事件中重新发送请求，最大三次。看这个网站情况，勉强可以应付1000个以内的采集了。少量的采集错误都能得到修正。

wuyouyidish

liucqa 发表于 2015-6-7 13:05
异步并发采集，加上错误处理（重试）

vba操作异步并发采集貌似不太可靠，除非在工作表里面做标记发现 ...

这个不就是我求你的问题吗？请问我的问题出在哪里？

liucqa

wuyouyidish 发表于 2015-6-7 13:23
这个不就是我求你的问题吗？请问我的问题出在哪里？

很抱歉，我一般不答复伸手党的问题。

当然，你提供的这个网站很不错，非常适合测试并发请求，谢谢！

wuyouyidish

是不是要   首先建立一个名字叫做clsXMLHttpMonitor的类模块

wuyouyidish

liucqa 发表于 2015-6-7 14:10
很抱歉，我一般不答复伸手党的问题。

当然，你提供的这个网站很不错，非常适合测试并发请求，谢谢！

咱只有高小文化，你讲解的网页采集数据的很多帖子都看过，对我来说太深奥，跟天书没有什么区别，我在这个论坛索求的东西，都是为了更好的在股市里有的收获，想想咱小学文化，能把VBA知识看懂了1%并且能把论坛里的老师（比如蓝天老师）写的代码拿来修改修改为自己使用，就这点........我自己都有点佩服自己，非常感谢你能和我对话，虽然你表示不会帮忙，还是对你说声------------谢谢！