大数据分析处理工具

yifeilr · 发表于 2020-10-2 14:36

见到此贴的朋友们中秋国庆快乐！在很多人都或外出游玩或家人团聚之刻，还在默默敲代码，调程序，也算是勤劳的人民吧！
闲话说的太多了，回归正题：大数据分析处理工具

现在的上班族工作常常需要各式各样的数据处理，筛选、提取、汇总、求和、各种率等等。即便是使用公式、透视表等工具，也还是难以摆脱手工操作，效率较低，也容易出错。尤其是数据量很大，几十万甚至上百万时，一个简单的操作都会卡半天。而使用VBA，可以一定程度实现高效、准确和自动化处理。本工具力图提供一个这样的数据处理的基础模板，在数据的自动化处理上助大家一臂之力！

核心功能：提取、汇总、求和、计数、分组等
核心算法：SQL、字典+数组

部分功能设计、代码编写的可能还有优化的空间，也希望广大VBA爱好者可以批评指正，不断更新优化本工具共同学习进步！

大样本数据见百度网盘链接：https://pan.baidu.com/s/1jPyhQ2lm9akzQK6pXOJANw
提取码：sjfx

yifeilr · 发表于 2020-10-2 14:45

工具见此附件（正贴的网盘数据仅含两个很大的样本数据，一个50万条，一个100万条）

user8899 · 发表于 2020-10-2 19:05

记号一下。

hongshan2019 · 发表于 2020-10-2 19:33

留个脚印稍后踩着脚印回来

zq1210 · 发表于 2020-10-2 20:47

谢谢分享，学习一下，同祝国庆节快乐

zq1210 · 发表于 2020-10-2 20:55

最近也在研究SQL(规范数据源）+数据透视表（实现数据分组、取数等）+GETPIVOTDATA（最终展示）

看了楼主作品，很受启发，谢谢。

gwjkkkkk · 发表于 2020-10-2 22:07

谢谢分享，学习一下

lilyhcn1 · 发表于 2020-10-2 22:45

本帖最后由 lilyhcn1 于 2020-10-2 22:47 编辑

yifeilr 发表于 2020-10-2 14:45
工具见此附件（正贴的网盘数据仅含两个很大的样本数据，一个50万条，一个100万条）

好久没有看到这么有有意思的帖子了。让我大致明白了sql方法操作数据的写法。看你的说明，我觉得你可以直接弃用数组加字典法，直接专攻sql法。你现在做法已经较好，但我觉得对于一般的小白而言还是有一定的难度。

1. 能否可视化的生成sql语句；
2. 你现在的方法能否脱离你的操作环境使用；
2. excel 已经没落，能否与网络化相结合，做点有意思的东西出来，比如做个数据大屏。

0012308 · 发表于 2020-10-4 20:11

yifeilr 发表于 2020-10-2 14:45
工具见此附件（正贴的网盘数据仅含两个很大的样本数据，一个50万条，一个100万条）

你好，请问在SQL语句中加上什么参数，能达到在新生成的表格中空出头几行

，举个栗子啊，我想从明细表-SQL的第三行开始加载提取出来的数据

0012308 · 发表于 2020-10-5 20:50

from [sheet$]是从同文件夹下的另一工作簿来提取数据的，能不能做到从同一工作簿中提取工作表

		自动登录	找回密码
密码			免费注册

[讨论] 大数据分析处理工具

评分

评分