ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 3805|回复: 11

[求助] power query 网抓时怎么找到真实的地址?

[复制链接]

TA的精华主题

TA的得分主题

发表于 2018-6-24 15:44 | 显示全部楼层 |阅读模式
请教各位http://data.eastmoney.com/cjsj/newhouse.html  这个网页用power query 网抓时怎么找到真实的地址,实现翻页合并了?

TA的精华主题

TA的得分主题

发表于 2018-6-25 14:55 | 显示全部楼层
首先,关于网抓时怎么找到真实地址,是一个很专业的问题,通常需要比较专业的人员来完成这项任务。
但是,对于你给出的网址,简单看了一下,这个网址里的数据没有做任何的防爬,链接很直接,就是这个:

TIM截图20180625144738.png
通过Power Query直接读取该链接数据,表格都是现成的,如下图所示:
2.png
至于多页数据怎么整合,请参考文章:《Excel PQ爬取A股实时信息——多页整合篇

TA的精华主题

TA的得分主题

发表于 2018-6-26 06:43 | 显示全部楼层
昨晚刚才在练习这个多页抓取,看了几个都较复杂,我把A股的三千多数据全抓了下来

TA的精华主题

TA的得分主题

发表于 2018-6-26 06:44 | 显示全部楼层
通过CHROME很容易就抓到了规则,细看就成,别整些复杂没用的东西

TA的精华主题

TA的得分主题

 楼主| 发表于 2018-6-28 19:09 | 显示全部楼层
poohyxp 发表于 2018-6-26 06:43
昨晚刚才在练习这个多页抓取,看了几个都较复杂,我把A股的三千多数据全抓了下来

我一直找不到翻页的,能分享下么

TA的精华主题

TA的得分主题

发表于 2018-7-1 13:24 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
lingyingfeng23 发表于 2018-6-28 19:09
我一直找不到翻页的,能分享下么
  1. let
  2.     函数 = (page)=> Web.Page(Web.Contents("http://data.eastmoney.com/cjsj/newhousepriceindex.aspx?p="& page &"")){0}[Data]
  3. ,
  4.     分页 = {1..5},
  5.     转换为表 = Table.FromList(分页, Splitter.SplitByNothing(), null, null, ExtraValues.Error),
  6.     重命名的列 = Table.RenameColumns(转换为表,{{"Column1", "page"}}),
  7.     更改的类型 = Table.TransformColumnTypes(重命名的列,{{"page", type text}}),
  8.     已添加自定义 = Table.AddColumn(更改的类型, "分页数据", each 函数()),
  9.     #"展开的“分页数据”" = Table.ExpandTableColumn(已添加自定义, "分页数据", {"日期", "城市", "新建住宅价格指数 环比", "新建住宅价格指数 同比", "新建住宅价格指数 定基", "新建商品住宅价格指数 环比", "新建商品住宅价格指数 同比", "新建商品住宅价格指数 定基", "二手住宅价格指数 环比", "二手住宅价格指数 同比", "二手住宅价格指数 定基"}, {"分页数据.日期", "分页数据.城市", "分页数据.新建住宅价格指数 环比", "分页数据.新建住宅价格指数 同比", "分页数据.新建住宅价格指数 定基", "分页数据.新建商品住宅价格指数 环比", "分页数据.新建商品住宅价格指数 同比", "分页数据.新建商品住宅价格指数 定基", "分页数据.二手住宅价格指数 环比", "分页数据.二手住宅价格指数 同比", "分页数据.二手住宅价格指数 定基"})
  10. in
  11.     #"展开的“分页数据”"
复制代码

TA的精华主题

TA的得分主题

发表于 2018-7-1 13:25 | 显示全部楼层
aaa.png 不知是不是你想要的数据

  1. let
  2.     函数 = (page)=> Web.Page(Web.Contents("http://data.eastmoney.com/cjsj/newhousepriceindex.aspx?p="& page &"")){0}[Data]
  3. ,
  4.     分页 = {1..5},
  5.     转换为表 = Table.FromList(分页, Splitter.SplitByNothing(), null, null, ExtraValues.Error),
  6.     重命名的列 = Table.RenameColumns(转换为表,{{"Column1", "page"}}),
  7.     更改的类型 = Table.TransformColumnTypes(重命名的列,{{"page", type text}}),
  8.     已添加自定义 = Table.AddColumn(更改的类型, "分页数据", each 函数()),
  9.     #"展开的“分页数据”" = Table.ExpandTableColumn(已添加自定义, "分页数据", {"日期", "城市", "新建住宅价格指数 环比", "新建住宅价格指数 同比", "新建住宅价格指数 定基", "新建商品住宅价格指数 环比", "新建商品住宅价格指数 同比", "新建商品住宅价格指数 定基", "二手住宅价格指数 环比", "二手住宅价格指数 同比", "二手住宅价格指数 定基"}, {"分页数据.日期", "分页数据.城市", "分页数据.新建住宅价格指数 环比", "分页数据.新建住宅价格指数 同比", "分页数据.新建住宅价格指数 定基", "分页数据.新建商品住宅价格指数 环比", "分页数据.新建商品住宅价格指数 同比", "分页数据.新建商品住宅价格指数 定基", "分页数据.二手住宅价格指数 环比", "分页数据.二手住宅价格指数 同比", "分页数据.二手住宅价格指数 定基"})
  10. in
  11.     #"展开的“分页数据”"
复制代码


TA的精华主题

TA的得分主题

发表于 2018-7-2 11:26 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2018-7-7 20:41 来自手机 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2018-7-15 11:42 | 显示全部楼层
hugo_huang 发表于 2018-6-25 14:55
首先,关于网抓时怎么找到真实地址,是一个很专业的问题,通常需要比较专业的人员来完成这项任务。
但是, ...

高手你好,我网页保存HTML文件,在导入会出错,1.HTML这个正常,2.HTML这个导入会出错,不知道为什么

求助.zip

311.72 KB, 下载次数: 2

您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-3-29 00:52 , Processed in 0.061633 second(s), 10 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表