selenium和CreateObject("InternetExplorer.Application")哪种网抓方式好？

q8254733 · 发表于 2023-10-7 14:46

selenium用了一段时间了，确实用起来简单点，但是前妻配置太复杂。

感觉CreateObject("InternetExplorer.Application")也挺简单的，配合着正则抓取数据也问题不大。
现在主要抓亚马逊数据，有没有人一起讨论下，用哪个比较方便，可能我现在用的少，感觉selenium不如CreateObject("InternetExplorer.Application")+正则好用。

shiruiqiang · 发表于 2023-10-7 14:55

python方便一点

wanghan519 · 发表于 2023-10-7 15:02

本帖最后由 wanghan519 于 2023-10-7 15:05 编辑

很多网站反机器人selenium不能用（起码不能简单用），ie有些网站不支持win11里好像也没了，论坛里还有cdp方式，也可以油猴，也可以mitmdump，还有browsercookie之类，或者miniblink、webview2之类，方法很多，但各有各的好处坏处。。。

perfect131 · 发表于 2023-10-7 15:48

自动化终究还是小儿科，ie 反爬虽少但毕竟太老了，没有反爬还是推荐selenium 或 selenium cdp
协议post get 才是较快较稳定方法

q8254733 · 发表于 2023-10-7 16:35

shiruiqiang 发表于 2023-10-7 14:55
python方便一点

不会啊。。。。。。。。。。。。。

q8254733 · 发表于 2023-10-7 16:37

perfect131 发表于 2023-10-7 15:48
自动化终究还是小儿科，ie 反爬虽少但毕竟太老了，没有反爬还是推荐selenium 或 selenium cdp
协议post ...

我现在怕爬取亚马逊数据太快，会被亚马逊封，反正时间有，半个小时完成和半天完成对我影响不大，不知道有没有爬数据太快被封的案例

perfect131 · 发表于 2023-10-7 18:02

q8254733 发表于 2023-10-7 16:37
我现在怕爬取亚马逊数据太快，会被亚马逊封，反正时间有，半个小时完成和半天完成对我影响不大，不知道有 ...

1秒 3次请求最正常了，封了搞个 IP 池
py 能搞的vba 基本都可以搞，有偿我帮你写个非自动化 vba

q8254733 · 发表于 2023-10-7 23:24

perfect131 发表于 2023-10-7 18:02
1秒 3次请求最正常了，封了搞个 IP 池
py 能搞的vba 基本都可以搞，有偿我帮你写个非自动化 vba

怎么收费，ip池你都弄好么，ip池能管多长时间

zhumin1025 · 发表于 2023-10-8 14:35

perfect131 发表于 2023-10-7 15:48
自动化终究还是小儿科，ie 反爬虽少但毕竟太老了，没有反爬还是推荐selenium 或 selenium cdp
协议post ...

魔高一尺道高一丈，瑞数什么的。。。JS逆行太复杂，

perfect131 · 发表于 2023-10-8 16:04

zhumin1025 发表于 2023-10-8 14:35
魔高一尺道高一丈，瑞数什么的。。。JS逆行太复杂，

rs 自动化简单，逆向也快通了

		自动登录	找回密码
密码			免费注册

[讨论] selenium和CreateObject("InternetExplorer.Application")哪种网抓方式好？