已解决：Power query抓取动态网页出现的问题

arno61361

网页地址：http://59.57.63.76:28098/axjsj_w ... =fdcxxfb&title=ysfy

方案一：
let Getdata = (pg)=>
let
    源 = Web.Page(Web.Contents("http://59.57.63.76:28098/axjsj_web/xygs.do?method=fdcxxfb&title=ysfy&id"&pg&"&type=")),
    Data1 = 源{1}[Data],
    更改的类型 = Table.TransformColumnTypes(Data1,{{"坐落", type text}, {"房屋户型", type text}, {"街道", type text}, {"预测总面积(㎡)", type number}, {"预测单价(元)", type number}, {"用途", type text}})
in
    更改的类型
in
    Getdata

问题提示：
在“page”查询中出错。Expression.Error: 无法将运算符 & 应用于类型 Text 和 Number。
详细信息:
    Operator=&
    Left=http://59.57.63.76:28098/axjsj_web/xygs.do?method=fdcxxfb&title=ysfy&id
    Right=1

方案二：
let Getdata = (pg)=>
let
    源 = Web.Page(Web.Contents("http://59.57.63.76:28098/axjsj_web/xygs.do?method=fdcxxfb&title=ysfy&id="& Number.ToText(page) &"")),
    Data1 = 源{1}[Data],
    更改的类型 = Table.TransformColumnTypes(Data1,{{"坐落", type text}, {"房屋户型", type text}, {"街道", type text}, {"预测总面积(㎡)", type number}, {"预测单价(元)", type number}, {"用途", type text}})
in
    更改的类型
in
    Getdata


问题提示：
在“page”查询中出错。Expression.Error: 无法将类型 Function 的值转换为类型 Number。
详细信息:
    Value=Function
    Type=Type


求指点，谢谢！

duquancai

1. import requests
   
2. 
   
3. url = 'http://59.57.63.76:28098/axjsj_web/xygs.do?method=fdcxxfb&title=ysfy'
   
4. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
   
5. def crawl_html(postdata):
   
6.     r = requests.post(url=url, data=postdata, headers=headers)
   
7.     pars_html(r.text)
   
8. 
   
9. 
   
10. def pars_html(html):
    
11.     print(html)
    
12. 
    
13. 
    
14. if __name__ == '__main__':
    
15.         for i in range(1,11):
    
16.             postdata = {'location':None,'hx':None,'prePrice1':None,'prePrice2':None,'preBuildArea1':None,'preBuildArea2':None,'buildname':None,'projectname':None,
    
17.                         'usestr': 'סլ',
    
18.                         'currentPage': i,
    
19.                         'skipNum': i}
    
20.             crawl_html(postdata)
    
21.             break

复制代码

fxl447098457

你这网页是post参数的。你这需要推倒重来。不然翻不了页面。。

fxl447098457

1. let
   
2.     page={1..2},//抓取第1页到第2页
   
3.    
   
4.     getdata=(P as number) as table =>
   
5.    
   
6.     let
   
7.         url = "http://59.57.63.76:28098/axjsj_web/xygs.do",
   
8.         headers=[#"Content-Type"="application/x-www-form-urlencoded"],
   
9.         query=[method="fdcxxfb",title="ysfy"],
   
10.         content="currentPage=" & Text.From(P),
    
11.         source=Web.Page(Text.FromBinary(Web.Contents(url,[Headers=headers,Query=query,Content=Text.ToBinary(content)]),936))[Data]{1}
    
12.     in
    
13.         source,
    
14.     tb=Table.FromList(page,Splitter.SplitByNothing(),{"page"}),
    
15.     res = Table.Combine(Table.AddColumn(tb, "web", each getdata())[web])
    
16. in
    
17.     res

复制代码

fxl447098457

看附件吧。发现上面的函数里面的page参数放在中括号里就丢失了，我编辑内容的时候却看得到.
PQ网抓.rar (15.64 KB, 下载次数: 59)

2019-1-4 09:20 上传

点击文件名下载附件

arno61361

duquancai 发表于 2019-1-3 23:15

谢谢您！不过您的代码存在错误：错误提示：“应为令牌 Eof”，好像是起始代码：requests

arno61361

fxl447098457 发表于 2019-1-4 07:50

谢谢您的帮助，您的代码还是有个问题，目前所能抓取的最大数据为行数200行，不是网页的页面数。请问改如何突破这个限制？

fxl447098457

arno61361 发表于 2019-1-4 09:24
谢谢您的帮助，您的代码还是有个问题，目前所能抓取的最大数据为行数200行，不是网页的页面数。请问改如 ...

你网络不行。我翻了18页就是360条记录了。

arno61361

fxl447098457 发表于 2019-1-4 09:30
你网络不行。我翻了18页就是360条记录了。

呀还真是我的网页问题，连论坛的表情都不能显示。真是不好意思了！！！

duquancai

arno61361 发表于 2019-1-4 09:22
谢谢您！不过您的代码存在错误：错误提示：“应为令牌 Eof”，好像是起始代码：requests

抓取428页，共计8559条信息，秒秒钟的事情》》》》》》》》》》》》》》》》》》》》》》

1. # -*- coding: utf-8 -*-
   
2. import asyncio, aiohttp, time
   
3. from lxml import etree
   
4. import pandas as pd
   
5. 
   
6. sema = asyncio.Semaphore(100)
   
7. url = 'http://59.57.63.76:28098/axjsj_web/xygs.do?method=fdcxxfb&title=ysfy'
   
8. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
   
9. 
   
10. async def crawl_html(post_data, sess):
    
11.     try:
    
12.         async with sess.post(url=url, data=post_data, headers=headers) as res:
    
13.             return await res.read()
    
14.     except Exception:
    
15.         pass
    
16. 
    
17. async def crawl_spider(post_data):
    
18.     async with aiohttp.ClientSession() as sess:
    
19.         async with sema:
    
20.             pars_html(await crawl_html(post_data, sess))
    
21. 
    
22. def pars_html(html):
    
23.     etr = etree.HTML(html)
    
24.     title_list = etr.xpath('//form[@id="XygsForm"]/table//table[1]/tr[@class="eg_mainlist"]')
    
25.     for tr in title_list:
    
26.         tr_list = [tr.xpath('./@title')[0].strip(),
    
27.                     tr.xpath('./td[2]/text()')[0].strip(),
    
28.                     tr.xpath('./td[3]/text()')[0].strip(),
    
29.                     tr.xpath('./td[4]/text()')[0].strip(),
    
30.                     tr.xpath('./td[5]/text()')[0].strip(),
    
31.                     tr.xpath('./td[6]/text()')[0].strip()]
    
32.         my_list.append(tr_list)
    
33. 
    
34. def crawl():
    
35.     tasks = []
    
36.     for i in range(1, 439):#抓取页码设置，共抓取428页，共计8559条
    
37.         post_data = {'usestr': 'סլ', 'currentPage': i, 'skipNum': i}
    
38.         tasks.append(crawl_spider(post_data))
    
39.     loop = asyncio.get_event_loop()
    
40.     loop.run_until_complete(asyncio.wait(tasks))
    
41.     loop.close()
    
42. 
    
43. if __name__ == '__main__':
    
44.     t = time.time()
    
45.     my_list = []
    
46.     crawl()
    
47.     df = pd.DataFrame(my_list)
    
48.     df.columns = ['坐落', '房屋户型', '街道', '预测总面积(㎡)', '预测单价(元)', '用途']
    
49.     with pd.ExcelWriter(r'output.xlsx') as writer:#写入Excel文件
    
50.         df.to_excel(writer, 'Sheet1', index=False, header=True)
    
51.     print(time.time() - t)

复制代码