小哥哥请帮我拿到网页上的数据？小女子在此谢过了！

EH_LOVE

Rolly2019 发表于 2019-4-18 18:47
代码太高深，我不会编程，看不懂，

为什么运行后，在工作表中没有反应？

？工作表 你要调用函数啊 而且  不能大规模的调用吧，这东西需要等网络延迟的

duquancai

Rolly2019 发表于 2019-4-18 18:47
代码太高深，我不会编程，看不懂，

为什么运行后，在工作表中没有反应？

1. # -*- coding: utf-8 -*-
   
2. # version: Python 3.7.0
   
3. import parsel,requests,csv
   
4. 
   
5. headers = {'User-Agent': '(KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
   
6. base_url = 'https://www.365area.com/hscode/detail/'
   
7. 
   
8. def get_detail_parse(code):
   
9.     r = requests.get(url=f'{base_url}{code}', headers=headers).content.decode('utf-8')
   
10.     sel = parsel.Selector(r).css('div.odd.green+div.even')
    
11.     my_list.append([code, sel.css('::text').re_first('\A\s*(.+?)\s*\Z')])
    
12. 
    
13. if __name__ == '__main__':
    
14.     codes = ['3926909090',]#编码列表!!!
    
15.     my_list = [['编码', '申报要素']]
    
16.     for code in codes:
    
17.         get_detail_parse(code)
    
18.     with open(r'D:\result.csv', 'w', encoding="utf-8-sig", newline='') as f:
    
19.         csv.writer(f).writerows(my_list)

复制代码

Rolly2019

autolzg 发表于 2019-4-18 16:27
Sub t()
    For i = 2 To Cells(1048576, 1).End(3).Row
        Cells(i, 2) = Trim(Replace(Replace(G ...

CreateObject("WinHttp.WinHttpRequest.5.1")，这个可以！！！

为什么CreateObject("MSXML2.XMLHTTP") 不行啊？？？

半天弄不明白，好纠结！！能为我解释一下吗？

猎火之歌

autolzg 发表于 2019-4-18 16:27
Sub t()
    For i = 2 To Cells(1048576, 1).End(3).Row
        Cells(i, 2) = Trim(Replace(Replace(G ...

大神太厉害了。要是能有注释就更好了。

shaokui123

pq直接解决了

autolzg

Rolly2019 发表于 2019-4-18 19:53
CreateObject("WinHttp.WinHttpRequest.5.1")，这个可以！！！

为什么CreateObject("MSXML2.XMLHTTP") ...

我也不知道为什么 应该是网站服务器那边的原因。。。

Kaohsing

shijiayong

duquancai 发表于 2019-4-18 16:35
反爬就是不让爬，如果你非要爬，那就叫反反爬

哈哈哈，看我的，我爬

autolzg

EH_LOVE 发表于 2019-4-18 17:21
没有反爬吧，附件

这里的类模块 用F8一步一步运行完 也是云里雾里...

EH_LOVE

autolzg 发表于 2019-4-19 16:51
这里的类模块 用F8一步一步运行完 也是云里雾里...

类模块也就是 简单封装了一下 winhttp5.1这个对象，  因为我老记不住他的方法的那些英文，封装了他能提示 这样用起来就方便一些，仅此而已，和你在外面 cerateobject(winhttp5.1)这个对象 然后来用是一样的