ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: renahu

[分享] 小白也抓网——分享网抓作品

  [复制链接]

TA的精华主题

TA的得分主题

发表于 2014-11-14 17:24 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
renahu 发表于 2014-11-14 15:27
经您指点,小图轻易找到。本来想先学登陆,但不太顺利,呵呵,干脆直接就实战了,没想到这个网站根本不设 ...

Mark如附件:
网抓图书目录3.zip (1.83 MB, 下载次数: 55)

TA的精华主题

TA的得分主题

发表于 2014-11-15 19:19 | 显示全部楼层
renahu   2014-11-15 15:10
现在我登陆后检查反馈信息,可以知道登陆是否成功了,据此,加了个登陆成功或失败的提示,但是我发现,如果登陆成功后,再去有意登陆,不论你验证码输入 是否正确,反馈信息都会提示成功,也就是再登陆是无效的。当登陆成功后,如果有人还想登陆,我怎么提示“现在已处于登陆状态”呢?


注意cookie
你试着用错误的用户名去登陆,看看返回什么信息。
成功登陆,应该是重定向到了 书苑 的页面了。
多试几种不同的状态,就知道关键在哪里了~

TA的精华主题

TA的得分主题

发表于 2014-11-15 19:36 | 显示全部楼层
renahu 发表于 2014-11-14 15:27
经您指点,小图轻易找到。本来想先学登陆,但不太顺利,呵呵,干脆直接就实战了,没想到这个网站根本不设 ...

老师:能用VBA直接将在线试读的各页内容抓来保存到本地吗?
如果可以就真题万能了!!!!

TA的精华主题

TA的得分主题

发表于 2014-11-15 19:38 | 显示全部楼层
能否抓到http://cebxol.apabi.com/?metaid= ... N&dbsource=dlib的全部页数内容?

点评

不登录只能下载部分可以试读的内容。登录后才能下载全部。  发表于 2014-11-18 15:34

TA的精华主题

TA的得分主题

发表于 2014-11-15 19:46 | 显示全部楼层
用抓包也能得到各页图片的地址,但如何能一网打尽?
http://cebxol.apabi.com/command/ ... amp;time=2014-11-15 12:34:20&sign=922B451ADA5E74A6A55E4CE45E9DEDC6

TA的精华主题

TA的得分主题

发表于 2014-11-16 08:51 | 显示全部楼层
renahu 发表于 2014-11-14 16:18
有什么需要改进的尽管提,其实改错就是学习

renahu   2014-11-15 15:10
现在我登陆后检查反馈信息,可以知道登陆是否成功了,据此,加了个登陆成功或失败的提示,但是我发现,如果登陆成功后,再去有意登陆,不论你验证码输入 是否正确,反馈信息都会提示成功,也就是再登陆是无效的。当登陆成功后,如果有人还想登陆,我怎么提示“现在已处于登陆状态”呢?

我试过,手工删除登录页面的历史记录、临时文件、Cookie后便不会出现这个现象。不便之处在于,每次运行程序登录成功后,必须手工删除以上项目才能保下次输错验证码时才会弹出错提示。

TA的精华主题

TA的得分主题

发表于 2014-11-16 09:03 | 显示全部楼层
VBA万岁 发表于 2014-11-16 08:51
renahu   2014-11-15 15:10
现在我登陆后检查反馈信息,可以知道登陆是否成功了,据此,加了个登陆成功或 ...

以下链接14楼的代码可以删除删除所有页面的历史记录、临时文件、Cookie,我没测试过。

[求助] 如何删除IE缓存中的文件

TA的精华主题

TA的得分主题

 楼主| 发表于 2014-11-16 11:44 | 显示全部楼层
VBA万岁 发表于 2014-11-16 09:03
以下链接14楼的代码可以删除删除所有页面的历史记录、临时文件、Cookie,我没测试过。

[求助] 如何删除 ...


这个太复杂了,看不懂,但我现在已经解决了,争取今天出最新版,呵呵,又改了不少,更精细了,我发现只有在不断解决问题中,才能不断学到新的东西,不是光学网抓,和vba有关的东西都能学到

TA的精华主题

TA的得分主题

发表于 2014-11-16 13:04 | 显示全部楼层
renahu 发表于 2014-11-16 11:44
这个太复杂了,看不懂,但我现在已经解决了,争取今天出最新版,呵呵,又改了不少,更精细了,我发现只 ...

加油~~~~~~~~~~~~~~~~~~~~

TA的精华主题

TA的得分主题

 楼主| 发表于 2014-11-16 16:01 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
本帖最后由 renahu 于 2014-11-17 11:07 编辑
coby001 发表于 2014-11-16 13:04
加油~~~~~~~~~~~~~~~~~~~~

看看我的最新版,呵呵,看看是不是更精细了?请高手帮我优化一下,另外看看还有什么可以改进的?这个版本的主要改动:
1,把所有msgbox都改成了窗体,更好看方便一些,对一些录入细节进行了处理。
2,验证码的显示和录入也放在窗体中,把这个网络小图放进窗体可是费了牛劲啊,不过显示效果很不错,精度高而且和原来一样随时更新。
3,加了一道命令解决了在退出登陆的情况下系统通过缓存仍然认为处于登陆状态的问题
4,增加了判断登陆状态的过程,和抓当前类别图书总数的过程。
大家可以试一试,在excel里面登陆成功后,或正在抓取过程中,当你去图书网故意退出后,程序会有何反应。
另外,因为要判断当前登陆状态,和抓当前类别图书总数,所以反应比前一个版本慢点。还有就是一旦图书网出了故障,这个程序可能会反应很慢,
但我测了很多遍,只遇到一次,再试就正常了。
网抓图书目录4.rar (205.93 KB, 下载次数: 113) 网抓图书目录4-2003.rar (72.64 KB, 下载次数: 63)

大概优化了一下,附件已更新








您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-12-25 10:30 , Processed in 0.044864 second(s), 13 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表