网抓慕课网课目

风雨相随3 · 发表于 2019-5-21 20:07

kimmyyang 发表于 2019-5-21 17:58
用VBA可能比较麻烦，可以用Python

python还要下软件不？

qingc0221 · 发表于 2019-5-22 02:15

python代码,但是每次读到89页就没有数据,报错退出......不知问题出在哪里,看来水平还是太菜了

# -*- coding: utf-8 -*-
from selenium import webdriver
from time import sleep
import csv
driver = webdriver.Chrome()
url = 'http://www.icourse163.org/category/all'
driver.get(url)
fields = ['编号','课程名称', '开课单位', '网址链接']
sleep(5) #打开时页面底部有广告遮挡"下一页",留时间点掉
m = 0
with open('课程列表.csv','w', newline='') as f:
wrt = csv.DictWriter(f, fieldnames=fields)
wrt.writeheader()
while True:
sleep(0.5)
div_list = driver.find_elements_by_xpath('//div[@class="u-clist f-bgw f-cb f-pr j-href ga-click"]')
n = 0 #每一页的序号从1开始,所以换页后n重置为0
for div in div_list:
item = {}
n += 1
item['编号'] = n
item['课程名称'] = div.find_element_by_xpath('.//div[@class="t1 f-f0 f-cb first-row"]/a').text
item['开课单位'] = div.find_element_by_xpath('.//div[@class="t2 f-fc3 f-nowrp f-f0"]/a').text
item['网址链接'] = div.find_element_by_xpath('.//div[@class="t1 f-f0 f-cb first-row"]/a').get_attribute('href')
wrt.writerow(item)
m += 1
#点击下面页码无法导航到最后一页,找不到最后一个'下一页'的class,只好用m值来判断是否读取所有页面
if m > 155:
break
#点击'下一页'
driver.find_element_by_xpath('//li[@class="ux-pager_btn ux-pager_btn__next"]').click()

复制代码

风雨相随3 · 发表于 2019-5-22 05:03

用VBA可能比较麻烦，希网抓大神出手!

风雨相随3 · 发表于 2019-5-22 07:19

qingc0221 发表于 2019-5-22 02:15
python代码,但是每次读到89页就没有数据,报错退出......不知问题出在哪里,看来水平还是太菜了

要在什么软件运行？

kimmyyang · 发表于 2019-5-22 09:15

风雨相随3 发表于 2019-5-21 20:07
python还要下软件不？

那肯定要下载安装Python啊

Kaohsing · 发表于 2019-5-22 10:22

不知为什吗只抓了1754个？

qingc0221 · 发表于 2019-5-22 10:51

Kaohsing 发表于 2019-5-22 10:22
不知为什吗只抓了1754个？

我抓到1752个....

Kaohsing · 发表于 2019-5-22 11:27

本帖最后由 Kaohsing 于 2019-5-22 11:30 编辑

<blockquote>G:\py37\python.exe "D:/Documents/Tencent Files/907490349/FileRecv/caipiao_five.py"

复制代码

赵贤66 · 发表于 2019-5-22 11:51

Kaohsing 发表于 2019-5-22 10:22
不知为什吗只抓了1754个？

怎么抓的？没有代码，只有的结果

qingc0221 · 发表于 2019-5-22 12:11

网站有新增数据,刚刚重新运行抓了1755条

		自动登录	找回密码
密码			免费注册

[求助] 网抓慕课网课目