网抓慕课网课目

风雨相随3 · 发表于 2019-5-22 12:35

用VBA可能比较麻烦，希网抓VBA大神出手!

风雨相随3 · 发表于 2019-5-22 19:03

实际网站条目不只这些，用VBA可能比较麻烦，希网抓VBA大神出手!

风雨相随3 · 发表于 2019-5-23 06:30

中国大学MOOC是一个公益性质的免费慕课平台，由各大高校共享自己的课程内容。虽然在这些慕课中有相当大一部分是全程念ppt的敷衍之作，但是也不乏一些制作精良、讲解用心的精品慕课。然而网易的这个HTML5播放器做得实在太烂，经常会出现两重声音，倍速错乱等各种bug，快进快退也很不方便，非常影响观看体验。IDM自带的流媒体探测功能虽然可以直接下载播放页面中的慕课视频，但是一集一集地下载费时费力，还需要为每一个下载的文件重命名，于是我萌生了批量下载课程视频的想法。

首先检查播放页面中的HTML5播放器元素，发现了视频资源的URL。
但是查看网页源代码的时候却并没有发现与HTML5播放器有关的内容，看来这是一个由js即时生成网页内容的动态网页。我技术有限，暂时还不会从动态网页上抓取内容的操作。而且若要通过获取视频播放页面中视频的URL来实现批量下载的话，需要遍历该课程的所有播放页面，非常繁琐。

直接从Web页面抓取下载链接的方法过于繁琐，于是我将目光投向了手机客户端。
为了效率，手机客户端与服务器间一般以简单易懂的json等方式进行通讯，我希望能从手机客户端与服务器的报文中获取有价值的信息。手机抓包的方法有很多，出于个人习惯，这里我选择了在PC上使用Fiddler 4进行抓包。在手机客户端登陆账号，打开对应课程，Fiddler中立刻出现了客户端与服务器通讯的报文。
经过仔细查看，终于在目的为www.icourse163.org/mob/course/courseLearn/v1的POST方法的response内容中发现了有用信息。

将这一报文复制出来，发现这是一份包含该课程的所有信息以及各个视频的源文件URL的json。将这份json格式化之后，我们可以清晰地看到它的层次结构。

Kaohsing · 发表于 2019-5-23 09:33

总要有个侧重点，虽然学无涯，但是生有涯。

vbexcelhome · 发表于 2019-5-23 18:52

风雨相随3 发表于 2019-5-23 06:30
中国大学MOOC是一个公益性质的免费慕课平台，由各大高校共享自己的课程内容。虽然在这些慕课中有相当大一部 ...

不知道数据复杂吗？正在整JSON数据解析，能不能把得到的JSON数据发上来看看。
网页分析目前还没学会。只会用现成的流程。

屌爆了z · 发表于 2019-5-24 01:20

只有3084条数据呀，哪里来的40万+数据？

风雨相随3 · 发表于 2019-5-24 07:02

vbexcelhome 发表于 2019-5-23 18:52
不知道数据复杂吗？正在整JSON数据解析，能不能把得到的JSON数据发上来看看。
网页分析目前还没学会。只 ...

图片.zip (265.94 KB, 下载次数: 16) 不知道数据复杂吗？正在整JSON数据解析，能不能把得到的JSON数据发上来看看。
网页分析目前还没学会。只会用现成的流程。

风雨相随3 · 发表于 2019-5-25 06:01

屌爆了z 发表于 2019-5-24 01:20
只有3084条数据呀，哪里来的40万+数据？

这是什么语言？能发出结果吗？

屌爆了z · 发表于 2019-5-25 14:47

1753.zip (36.57 KB, 下载次数: 7)

vbexcelhome · 发表于 2019-5-25 19:17

1到155页.rar (293.57 KB, 下载次数: 21)

		自动登录	找回密码
密码			免费注册

[求助] 网抓慕课网课目

评分

评分

评分

评分

[求助] 网 抓慕课网课目

评分

评分

评分

评分

[求助] 网抓慕课网课目