EXCEL行数装不下了怎么办？

chentonny · 发表于 2018-7-23 16:57

你先在EXCEL里计算数据，要合并的时候再传入ACCESS，传入的方法有很多。

sheeboard · 发表于 2018-7-24 08:34

q8254733 发表于 2018-7-23 14:14
您看我的问题有两个，一个是合并计算太大的问题，一个是存储的问题。

pandas，R是解决存储问题的吗？ ...

pandas，R都可以从excel中导入导出数据，只要内存够，上亿条也没问题，计算没办法，只有重新写，不过比vba简单，毕竟专业的大数据处理工具，有大量的科学计算库支持。

zhenghui13 · 发表于 2018-7-24 09:00

Python的pandas库可以方便计算

amazeyeli · 发表于 2018-7-24 10:55

access 行没有限制，只限制单文件2G的大小。
如果你没有其它需求的话，完全可以使用ACC
建议先导入数据，然后新建查询：select * from table1,table2 即可得到你要的结果
当然如果你会VBA的话，可以直接：insert into [文件地址\文件名.accdb].[表名] select * from [文件地址\文件名.xlsx].[表1], [文件地址\文件名.xlsx].[表2]

q8254733 · 发表于 2018-7-24 13:36

amazeyeli 发表于 2018-7-24 10:55
access 行没有限制，只限制单文件2G的大小。
如果你没有其它需求的话，完全可以使用ACC
建议先导入数据， ...

您说的很对，查询我会使用，正好您说的VBA语句我也会点。
但是我现在的问题呢，就是这个20W乘30W数据在哪里执行计算的问题，因为原始数据是在EXCEL中，我可以使用VBA在EXCEL中计算相乘，但EXCEL列又装不下这么多数据，会报错。
反而最后的保存VBA的语句倒是很简单了。

q8254733 · 发表于 2018-7-24 13:37

zhenghui13 发表于 2018-7-24 09:00
Python的pandas库可以方便计算

没有Python基础，能很快学会pandas库的用法吗？

microyip · 发表于 2018-7-24 13:44

q8254733 发表于 2018-7-24 13:36
您说的很对，查询我会使用，正好您说的VBA语句我也会点。
但是我现在的问题呢，就是这个20W乘30W数据在 ...

你不会分批来计算啊？放可容纳数据的列里计算一次再换下一列再计算一次，如果有需要录入到Access里，那么又分派存进就可以了

amazeyeli · 发表于 2018-7-24 13:50

q8254733 发表于 2018-7-24 13:36
您说的很对，查询我会使用，正好您说的VBA语句我也会点。
但是我现在的问题呢，就是这个20W乘30W数据在 ...

可以先导入数据库，在数据库里查询就可以了

zhenghui13 · 发表于 2018-7-24 16:44

本帖最后由 zhenghui13 于 2018-7-24 16:51 编辑

我用Python运行了半天，只到127，产生的文件有22M。总共300132行，22M*300132/5=13205808M;=12T?
以下为Python代码

#x.iterrows()函数返回一个(index, Series) pairs，存储的是这一行的下标值和这一行所有的值
import datetime as dt
import pandas as pd
startT=dt.datetime.now()
df_A=pd.read_csv('C:/Users/zhengh/Downloads/A.csv',header=None)
df_A.columns=['A']
df_B=pd.read_csv('C:/Users/zhengh/Downloads/B.csv',header=None)
df_B.columns=['B']
df=pd.DataFrame(columns=['A','B','C'])
for a_index,a_row in df_A.iterrows():
for b_index,b_row in df_B.iterrows():
aData=a_row['A']
bData=b_row['B']
cData=str(aData)+"-"+bData
newData=pd.DataFrame([dict(A=str(aData),B=bData,C=cData)])
df=df.append(newData,ignore_index=True)
endT=dt.datetime.now()
print(endT-startT).seconds
df.to_csv('C:/Users/zhengh/Downloads/df.csv',index=False,header=False)

复制代码

sheeboard · 发表于 2018-7-24 16:56

zhenghui13 发表于 2018-7-24 16:44
我用Python运行了半天，只到127，产生的文件有22M。总共300132行，22M*300132/5=13205808M;=12T?
以下为Py ...

merge，how='out', 第卡尔积，全连接

		自动登录	找回密码
密码			免费注册

[讨论] EXCEL行数装不下了怎么办？

评分

评分

评分