求大神帮忙写个网抓的代码

renahu · 发表于 2014-11-10 10:11

tbjx138 发表于 2014-11-10 09:24
renahu大神，我页数设置为10000，提取4000多条就报错了，不知道什么原因?

什么提示？太多了，会不会内存不够呀，提取4000条要多久呀，我没有试过大数据量

amesman · 发表于 2014-11-10 10:18

renahu 发表于 2014-11-9 18:45
不知道有没有高手能解决验证码的问题

验证码不是那么好弄的，简单点的还好说，复杂的识别率低得可怜。。。。。。

renahu · 发表于 2014-11-10 10:34

本帖最后由 renahu 于 2014-11-10 10:38 编辑

tbjx138 发表于 2014-11-10 09:24
renahu大神，我页数设置为10000，提取4000多条就报错了，不知道什么原因?

1万页，那就是十万本书，有那么多吗？看了下，文学传记，就快10万本了，这书还真多啊，一次抓那么多，就算不出错，估计也“死机”了

renahu · 发表于 2014-11-10 10:47

tbjx138 发表于 2014-11-10 09:24
renahu大神，我页数设置为10000，提取4000多条就报错了，不知道什么原因?

知道原因了，因为数据多，时间就长，这个网有个特点，时间长了，就会自动退出，需要重新登录，不知道能不能不让他自动退出登录，这可能是人家网的安全措施之一吧

renahu · 发表于 2014-11-10 11:07

renahu 发表于 2014-11-10 10:34
1万页，那就是十万本书，有那么多吗？看了下，文学传记，就快10万本了，这书还真多啊，一次抓那么多， ...

我下了300也，3千本书，用了6分钟，还好没有退出

coby001 · 发表于 2014-11-10 11:36

注意我说的目录分类
每个分类下的书目条数是不一样的，超过了自然会报错~

tbjx138 · 发表于 2014-11-10 14:14

renahu大神，提示是“下标越界”。

wcymiss · 发表于 2014-11-10 15:20

楼主试试这个。用vbs做的。vba太占资源了。

解压后，双击运行。

中间提取不到数据时会提示楼主重新登录。

下载好的图书信息保存在vbs文档同一目录下，命名为“图书资料.csv”，可以用exce或记事本l打开。

VBA万岁 · 发表于 2014-11-10 15:38

本帖最后由 VBA万岁于 2014-11-10 15:46 编辑

tbjx138 发表于 2014-11-10 14:14
renahu大神，提示是“下标越界”。

我这里也提示“下标越界”。

且立即窗显示的.ResponseText也未见到图书名等所需提取的数据或信息。

不知是否因登陆不成功所致——但手工用楼主所提供的用户及密码登陆时会成功。

361478294 · 发表于 2014-11-10 15:39

renahu 发表于 2014-11-10 10:08
我是2010版的，其实你一次没必要抓很多，那样会很慢的，你应该按页数范围，一批一批抓，代码里不是有个页 ...

老师我也有一个网抓的问题想求助能帮助我一下吗

		自动登录	找回密码
密码			免费注册

[求助] 求大神帮忙写个网抓的代码