学习笔记-中行数据流水清洗

autumnalRain

中行数据流水清洗，每四行作为一条数据，且标题独占两行，需要将清洗成：全表只有一行标题，且每行一条数据

1. # -*- coding: UTF-8 -*-
   
2. 
   
3. 
   
4. #导入pandas
   
5. import pandas as pd
   
6. 
   
7. #指定数据源路径
   
8. path='DataSource.xlsx'
   
9. 
   
10. #读入数据源工作表
    
11. df = pd.read_excel(path,sheet_name='CTIS系统交易流水',header=None)
    
12. 
    
13. # 删除包含NaN空行
    
14. df.dropna(axis=0,how='all',inplace=True)
    
15. 
    
16. #新建空白列表
    
17. new_rows = []
    
18. 
    
19. #将第1、3行纵向合起来作为分析结果的标题
    
20. Title = pd.concat([df.iloc[0, 0:14], df.iloc[2, 0:14]], axis=0)
    
21. new_rows.append(Title)
    
22. 
    
23. #将数据区每两行连接起来作为分析结果的数据区
    
24. for i in range(1,len(df),4):
    
25.     data_row=pd.concat([df.iloc[i, 0:14], df.iloc[i+2, 0:14]], axis=0)
    
26.     new_rows.append(data_row)
    
27. new_df = pd.concat(new_rows, axis=1).T
    
28. 
    
29. #将转换结果写入到原工作簿的新建工作表RESULT中
    
30. with pd.ExcelWriter(path,engine='openpyxl',mode='a') as writer:
    
31.     new_df.to_excel(writer, sheet_name='RESULT', index=False, header=False)

复制代码

autumnalRain

VBA方法无法贴代码，全是乱码。截图

shsharp

雕虫小技 菜的一批

autumnalRain

shsharp 发表于 2024-4-1 12:15
雕虫小技 菜的一批

非专业，只是工作中遇到的问题怕日后忘了，见笑

LIUZHU

这个问题感觉用Python和VBA都很繁琐，试试JSA

仙女配凡人

这很明显用数组方法可以轻松完成，非常不理解为什么要在for循环里频繁操作range对象，数据量一多这个弹窗肯定会弹出来

autumnalRain

仙女配凡人 发表于 2024-4-2 20:11
这很明显用数组方法可以轻松完成，非常不理解为什么要在for循环里频繁操作range对象，数据量一多这个弹窗肯 ...

多年前的文档，只是现在想学下Python,学习笔记。

autumnalRain

LIUZHU 发表于 2024-4-2 08:39
这个问题感觉用Python和VBA都很繁琐，试试JSA

谢谢指点，学文科的，只是工作中遇到，python入门，弄个学习笔记

pxy0409

这种数据处理转换,用pq也可以的,感觉更易操作.

LIUZHU

autumnalRain 发表于 2024-4-3 10:12
谢谢指点，学文科的，只是工作中遇到，python入门，弄个学习笔记

engine='openpyxl'，这句貌似不需要吧，应该'openpyxl'就是engine的默认参数值