超200万行数据拆分！求助！

1朝风月3

老师们好！我手头有份数据（csv格式），超过230万行，一共11列数据（A-K)。excel限制，打不开全部文件，想要拆分成24*10万行的工作表，请老师们指导！如下图，一共230万行。

数据样式

1朝风月3

求大佬指导！

一把小刀闯天下

1朝风月3 发表于 2018-7-24 15:30
求大佬指导！

'会有假死机现象，可以在do...loop中加入doevents

Option Explicit

Const NUM = 10 ^ 5

Sub test()
  Dim i, j, t, n, filename, m
  ReDim arr(1 To NUM, 1 To 11)
  Application.ScreenUpdating = False
  Cells.ClearContents
  filename = "d:\abc.csv" '文件位置，自己修改
  Open filename For Input As #1
  Do While Not EOF(1)
    Line Input #1, t
    If InStr(t, ",") Then
      t = Split(t, ",")
      n = n + 1
      For j = 0 To UBound(t)
        arr(n, j + 1) = t(j)
      Next
      If n = NUM Then
        Cells(1, m + 1).Resize(NUM, UBound(arr, 2)) = arr
        n = 0: m = m + 12
        ReDim arr(1 To NUM, 1 To 11)
      End If
    End If
  Loop
  Close #1
  Application.ScreenUpdating = True
End Sub

sheeboard

用pandas和numpy

1. import pandas as pd
   
2. import numpy as np
   
3. import os
   
4. os.chdir(r'文件所在目录')
   
5. 
   
6. df=pd.read_csv('文件名',sep=','）这里看文件具体情况用什么分隔符
   
7. i=1
   
8. for data in np.array_split(df,24)
   
9.     filename=str(i)+'.xlsx'
   
10.     data.to_excel(filename,index=False)
    
11.     i+=1

复制代码

1朝风月3

sheeboard 发表于 2018-7-24 15:58
用pandas和numpy

用access能处理吗？

sheeboard

1朝风月3 发表于 2018-7-24 16:35
用access能处理吗？

是python语言里的两个库，用于大数据处理的。
https://www.anaconda.com/download/#download,下个平台安装包装一下。

opiona

SQL 导出到Access  试试！

duquancai

这么大的数据量！大手笔啊！

1朝风月3

opiona 发表于 2018-7-24 21:27
SQL 导出到Access  试试！

好的，谢谢您！

1朝风月3

sheeboard 发表于 2018-7-24 16:41
是python语言里的两个库，用于大数据处理的。
https://www.anaconda.com/download/#download,下个平台安 ...

谢谢您！我试试!