哪位老师帮忙一下,下载此网页数据

hc2266116

任飘渺 发表于 2018-8-9 21:06
python 写的

谢谢，谢谢任飘渺!

hc2266116

我是来讨说法的 发表于 2018-8-9 14:59
翻页地址在这里
http://data.eastmoney.com/DataCe ... 0479140&rt=25563297
自己做吧

这个网址的数据怎样处理输入表格，请不吝赐教，谢谢!

屌爆了z

hc2266116 发表于 2018-8-10 15:56
这个网址的数据怎样处理输入表格，请不吝赐教，谢谢!

1. import requests
   
2. import json
   
3. import pandas as pd
   
4. from pandas.io.json import json_normalize
   
5. 
   
6. url = 'http://data.eastmoney.com/DataCenter_V3/stock2016/jymx.ashx?pagesize=500&page=1&js=var%20HbjEqctS¶m=&sortRule=-1&sortType=&gpfw=0&code=80479140&rt=25563297'
   
7. rq = requests.get(url)
   
8. html = rq.text.split('HbjEqctS=')[1]
   
9. js = json.loads(html)
   
10. text = json_normalize(js,'data')
    
11. df = pd.DataFrame(text)
    
12. df.to_excel('excel.xls')

复制代码

hc2266116

屌爆了z 发表于 2018-8-11 11:56

我是弱爆了，这个是java吧？看不懂呀！

屌爆了z

hc2266116 发表于 2018-8-11 22:34
我是弱爆了，这个是java吧？看不懂呀！

上面的是python，给你个java版的参考吧

1. import java.io.*;
   
2. import java.util.*;
   
3. import org.apache.http.*;
   
4. import org.apache.http.impl.client.*;
   
5. import org.apache.poi.hssf.usermodel.*;
   
6. import com.google.gson.Gson;
   
7. import com.google.gson.reflect.TypeToken;
   
8. import org.apache.http.HttpResponse;
   
9. import org.apache.http.util.EntityUtils;
   
10. import org.apache.http.client.methods.HttpGet;
    
11. import org.apache.http.impl.client.HttpClients;
    
12. import org.apache.http.client.ClientProtocolException;
    
13. 
    
14. public class Test {
    
15.        
    
16.         public static String getHtml(String url) throws ClientProtocolException, IOException{
    
17.                
    
18.                 CloseableHttpClient http = HttpClients.createDefault();
    
19.                 HttpGet get = new HttpGet(url);
    
20.                 HttpResponse response = http.execute(get);
    
21.                 HttpEntity entity = response.getEntity();
    
22.                 String content = EntityUtils.toString(entity,"utf-8");
    
23.                 return content;
    
24.                
    
25.         }
    
26.        
    
27.         public static List<Map<String,String>> json(String html){
    
28.                
    
29.                 Gson gson = new Gson();
    
30.                 List<Map<String,String>> list = gson.fromJson(html, new TypeToken<List<Map<String,String>>>() {}.getType());
    
31.                 return list;
    
32.                
    
33.         }
    
34.        
    
35.         public static void writeExcel(List<Map<String,String>> list,String file) throws IOException{
    
36.                
    
37.                 int y = 0;
    
38.                 HSSFWorkbook excelbook = new HSSFWorkbook();  
    
39.                 HSSFSheet sheet = excelbook.createSheet("sheet1");
    
40.                 FileOutputStream fot = new FileOutputStream(file);
    
41.                 for(int x = 0;x < list.size();x++){
    
42.                         HSSFRow row =sheet.createRow(x);
    
43.                         for(String s : list.get(x).values()){
    
44.                                 row.createCell(y++).setCellValue(s);
    
45.                         }
    
46.                         y = 0;
    
47.                 }
    
48.                 excelbook.write(fot);
    
49.                 fot.close();
    
50.                 excelbook.close();
    
51.                
    
52.         }
    
53.        
    
54.         public static void main(String[] args) throws ClientProtocolException, IOException {
    
55.                
    
56.                 String html = getHtml("http://data.eastmoney.com/DataCenter_V3/stock2016/jymx.ashx?pagesize=300&page=1&js=var%20CjnlcAlx&param=&sortRule=-1&sortType=&gpfw=0&code=80479140&rt=25563331");
    
57.                 html = html.split("data":")[1].split(","url")[0];
    
58.                 List<Map<String,String>> list = json(html);
    
59.                 writeExcel(list,"d:/excel.xls");
    
60.         }
    
61. 
    
62. }

复制代码