愚钝之及，求大神赐段代码，自动抓取这144页数据

xuexi2003a · 发表于 2018-8-4 18:54

实在是愚钝之及，看了很多大神的多页抓取程序，自己添加到宏里运行就是不行。大神能否赐段代码，自动抓取这144页数据？

http://quotes.money.163.com/data/caibao/yjgl_ALL.html?reportdate=20161231&sort=symbol&order=desc&page=0

duquancai · 发表于 2018-8-4 23:34

要144页？要得太多！付出太少！

sheeboard · 发表于 2018-8-5 10:01

用python抓了10页

import pandas as pd
import requests
from bs4 import BeautifulSoup
df=pd.DataFrame()
for i in range(10):
data=[]
url=("http://quotes.money.163.com/data/caibao/yjgl_ALL.html?reportdate=20161231&sort=symbol&order=desc&page=%d" % i )
r=requests.get(url)
soup=BeautifulSoup(r.content,'html.parser')
table=soup.find('table',attrs={'id':'plate_performance'})
rows=table.find_all('tr')
for row in rows:
cols=row.find_all('td')
cols=[ele.text.strip() for ele in cols]
data.append(cols)
del data[0]
df=df.append(data,ignore_index=True)
df.columns=['序号','代码', '名称', '每股收益', '每股现金流', '主营收入', '同比增长', '净利润', '同比增长', '公告日期', '详细']
df.to_excel('test1.xlsx',index=False)

复制代码

xuexi2003a · 发表于 2018-8-5 10:34

谢谢楼上的强人啦，看样子要努力学习新技术了。本人对 VB ，pathon一窍不通，对SAS倒是在行，有啥 SAS 问题倒可以回答一二。

fxl447098457 · 发表于 2018-8-5 13:30

xuexi2003a 发表于 2018-8-5 10:34
谢谢楼上的强人啦，看样子要努力学习新技术了。本人对 VB ，pathon一窍不通，对SAS倒是在行，有啥 SAS 问 ...

SAS有爬虫的。你可以研究研究。。

Kaohsing · 发表于 2018-8-5 18:51

sheeboard 发表于 2018-8-5 10:01
用python抓了10页

pandas 操作excel真是简单

		自动登录	找回密码
密码			免费注册

[求助] 愚钝之及，求大神赐段代码，自动抓取这144页数据

评分

[求助] 愚钝之及，求大神 赐段代码，自动抓取这144页数据

评分

[求助] 愚钝之及，求大神赐段代码，自动抓取这144页数据