逐文件逐行的数据提取

enna001

有这样一组表格文件，每个表格文件内有多年逐日数据，共20余个表格文件。我的想法是将每个文件内同一天的数据放在一个新表格文件中，新文件文件名为日期（日期根据原文件 第一列、第二列得到）。亦即最后会成为上万个表格文件，每个文件内20行，文件中第一列能够指示此行数据出自某个文件。

简单说就是把按名字排列的逐日数据变为按日排列数据，把二十多个上万行的表格文件变成上万个二十多行的表格文件。

附件是我手动做出来的一个示例，大概就是这个样子。

不知能否实现。 谢谢各位大佬

sheeboard

问一下,AA代表年，BB代表月.FF,GG,HH代表什么？
import pandas as pd
import glob

dataset=pd.DataFrame()

for file in glob.glob('*.xls'):
    ...:     df=pd.read_excel(file,skiprows=[1])
    ...:     id=file.split('.')[0]
    ...:     df.insert(0,'id',id)
    ...:     dataset=pd.concat([dataset,df],ignore_index=True)


试了试部分代码，后面是生成时间序列然后分组,再保存。

enna001

sheeboard 发表于 2018-7-19 06:31
问一下,AA代表年，BB代表月.FF,GG,HH代表什么？
import pandas as pd
import glob

嗯嗯，那些都是一些名词我就用这个字母代替了。在处理过程中 FF,GG,HH 可以删除。谢谢

sheeboard

所有代码
import pandas as pd
import glob

dataset=pd.DataFrame()

for file in glob.glob('*.xls'):
    df=pd.read_excel(file,skiprows=[1])
    id=file.split('.')[0]
    df.insert(0,'id',id)
    dataset=pd.concat([dataset,df],ignore_index=True)

dataset['AA']=dataset['AA'].apply(lambda x: str(x)
dataset['BB']=dataset['BB'].apply(lambda x: str(x)
dataset['datetime']=dataset['AA']+'.'+dataset['BB']

grouped=dataset.groupby(dataset['datetime'])

new_dfs=[grouped.get_group(x) for x in grouped.groups]

for df in new_dfs:
    file_name=df['datetime'].iloc[0]
    df=df.drop(['AA','BB','datetime'],axis=1)
    df=df.sort_values(by='id')
    df.to_excel(file_name+'.'+'xlsx',index=False)

虽然结果是成功的，但是月份的数据只有一位，要转日期类型的需要两位，只能先分别转年、月，再转delta日期，再合并，代码里用的是string类型。

sheeboard

生成的文件图

sheeboard

代码，如果数据非常大的话可以考虑用数据库。

opiona

拆分见69楼： http://club.excelhome.net/thread-1409141-1-1.html

enna001

sheeboard 发表于 2018-7-19 10:06
代码，如果数据非常大的话可以考虑用数据库。

嗯嗯  非常感谢  我去试试

enna001

opiona 发表于 2018-7-19 10:19
拆分见69楼： http://club.excelhome.net/thread-1409141-1-1.html

好的  谢谢老师 我去看看