PowerQuery刷新时如何在表格里保存已有的数据

fx_12m · 发表于 2019-9-26 09:15

各位大神，我用PowerQuery做了一个爬取网页数据的表格，现在遇到了刷新后没法保存已有数据的问题。求指教。
问题说明：因为该网页只显示近期的数据（比如说最近30天的），之前的数据就在网页上没有了。但是我希望将30天以前的数据保存在excel里面，然后当日的新数据直接插入到表格里面，让表格行数不断增加。求大神指教我一下该如何处理？

fx_12m · 发表于 2019-9-26 09:20

自己先顶起来，希望各位老师指点一下。

c-coming · 发表于 2019-9-26 10:07

有同样需求。
我现在就折中处理，自己再弄个表格(叫仓库合适点)。每次刷新完后，手动复制粘贴新的最近30天数据进去仓库(要添加时间维度区分)。
最终读取是这个仓库里面的数据。

fx_12m · 发表于 2019-9-26 10:22

c-coming 发表于 2019-9-26 10:07
有同样需求。
我现在就折中处理，自己再弄个表格(叫仓库合适点)。每次刷新完后，手动复制粘贴新的最近30天 ...

手动太可怕了，就是不想手动啊

fx_12m · 发表于 2019-9-26 10:22

c-coming 发表于 2019-9-26 10:07
有同样需求。
我现在就折中处理，自己再弄个表格(叫仓库合适点)。每次刷新完后，手动复制粘贴新的最近30天 ...

手动粘贴太可怕了，用powerquery就没有意义了

libo5563 · 发表于 2019-9-29 14:11

本帖最后由 libo5563 于 2019-9-29 14:17 编辑

分3步做，第一步，先将今天之前的数据存盘到A文件，第二步，pq查询今天的文件，返回b表，第3步调用VBA，在VBA中将a.表，b表合并，保存到a表。下次，你只要刷新b表，再调用VBA命令就行了。你甚至都可以将刷新b表的动作也整合到VBA里，这样只调用一次VBA命令就行了。

c-coming · 发表于 2019-9-30 09:30

fx_12m 发表于 2019-9-26 10:22
手动粘贴太可怕了，用powerquery就没有意义了

再想到一个方法，分开查询文件。
大概思路是：先做好一xls个文件，里面有能打开全部刷新，就能查询当前最近30天数据的sheet1，并将数据加载到表格sheet2。然后每次要更新的操作是，复制一个xls副本文件，在这个新建的xls文件里面刷新。至于汇总数据，就是再查询所有xls文件里面的sheet2数据了。

矢口不言 · 发表于 2019-9-30 11:11

本帖最后由矢口不言于 2019-9-30 11:15 编辑

日期肯定是已经排序升序的状态,可以再建一个工作表用来做临时存储区,写个vba,每次更新前先把现有的装进临时存储区,然后再更新查询,如果需要衔接的话再写vba或者查询应该都可以.
再看了一下网址,貌似是分页存储的吧,你引用的页码只是当前一个页面,完全可以把页码总数遍历一遍啊

14820103 · 发表于 2019-10-2 08:14

你是用新建查询导入数据么？

		自动登录	找回密码
密码			免费注册

[求助] PowerQuery刷新时如何在表格里保存已有的数据