如何提取网页上的超链接,并保存成txt文件

wwdfefgg

如何提取这个网页  “明细”上的超链接,并保存成txt文件

duquancai

1. # -*- coding: utf-8 -*-
   
2. # version: Python 3.7.0
   
3. import requests,string,random,json,os
   
4. 
   
5. headers = {'User-Agent': '(KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
   
6. base_url = 'http://data.eastmoney.com'
   
7. 
   
8. def get_url(data):
   
9.     url = f'{base_url}/DataCenter_V3/stock2016/TradeDetail/pagesize=50,page=1,sortRule=-1,sortType=,startDate={data["startDate"]},endDate={data["endDate"]},gpfw=0,js=var%20data_tab_2.html?rt={data["rt"]}'
   
10.     r = requests.get(url, headers=headers).content.decode('gb18030')
    
11.     for i in json.loads(r.split('data_tab_2=')[1])['data']:
    
12.         save_txt((i['Tdate'], i['SCode']))
    
13. 
    
14. def save_txt(text):
    
15.     save_url = f'{base_url}/stock/lhb,{text[0]},{text[1]}.html'
    
16.     file_txt.writelines(save_url+'\n')
    
17. 
    
18. if __name__ == '__main__':
    
19.     file_res = r"D:\res.txt"
    
20.     if os.path.isfile(file_res): os.remove(file_res)
    
21.     file_txt = open(file_res, 'a', encoding='utf-8')
    
22.     data = {
    
23.         'rt': ''.join(map(lambda x: random.choice(string.digits), range(8))),
    
24.         'startDate': '2019-04-17',
    
25.         'endDate': '2019-04-19'
    
26.     }
    
27.     get_url(data)
    
28.     file_txt.close()

复制代码

Yalishanda30

试试附件看看