600多M的大文件如何按要求提取所需部分数据

JiuBaiYi

有一个csv文件，达600多M，包括20列数据，200多万行。其中第一列的数据位-180~180，第二列数据为0~90，如下图所示：

现在需要提取出满足条件：第一列值（32~36），第二列值（95~100）之间的所有数据。
试着在excel里用函数来做，发现连数据都无法完全显示，函数应是无法实现的。
各位有什么好的建议吗？





该贴已经同步到 JiuBaiYi的微博

chenzhirong

600M, 用ACCESS.

JiuBaiYi

chenzhirong 发表于 2011-12-18 12:06
600M, 用ACCESS.

VBA实现不了吗？

jiminyanyan

JiuBaiYi 发表于 2011-12-18 12:09
VBA实现不了吗？

数据量太大了。。。

JiuBaiYi

jiminyanyan 发表于 2011-12-18 12:12
数据量太大了。。。

Access如何操作以实现呢？

chenzhirong

用ACCESS导入CSV文件, 然后按条件做个查询就OK.

msconfig98

http://club.excelhome.net/thread-540042-1-1.html

灰袍法师

24楼用VB2010做，速度暴快，每秒35MB的吞吐量。
VBA做这种事情简直太简单了，唯一的瓶颈是硬盘速度而已，文件大小几百GB都没问题。
直接按文本文件逐行读取是最快的，肯定比什么导入数据库快得多
msconfig98的方法也不好，fso对象的效率实际上跟open然后line差不多。

要记住，VBA比Excel本身更加强大！Excel做不了的事情，VBA可以做！

楼主最好上个小附件看看，不然没法调试程序。
我自己生成一个随机文本文件，反复copy到586MB，一共一千六百多万行，肯定比你说的200多万行要慢得多
附件处理这个巨大的文本文件，并且输出筛选结果，也才耗时3分钟。 （Windows7 64bit 2.13Ghz酷睿 4GB内存 7200转硬盘）
大概是每秒3MB，一小时11GB吧

其实文件越大，每行越长，处理它的平均速度会越高，因为Windows的磁盘高速缓存会越来越有效率。
另一方面，如果是很有规律的数据，可能按二进制大段大段地读取会更快，应该可以再快1倍，当然这个方法的通用性就很差劲了。

对文本文件逐行查找并并筛选某些数据行的VBA程序.rar (10 KB, 下载次数: 430)

2011-12-20 02:35 上传

点击文件名下载附件

JiuBaiYi

谢谢楼上的这么认真的回帖！

dudebad

用ACCESS导入CSV文件，命名为：数据库.accdb，数据库跟excel放在同一文件夹内

excel 用SQL来查询 (我用下面代码做100M的数据查询，2秒都不用，就出来了)

1. 
   
2. Sub aaa()
   
3. Dim cnn
   
4. Dim Sql As String
   
5.     Set cnn = CreateObject("ADODB.Connection")
   
6.         cnn.Provider = "microsoft.ACE.oledb.12.0"
   
7.         cnn.ConnectionString = "Data Source =" & ThisWorkbook.Path & "\数据库.accdb"
   
8.         cnn.Open
   
9.    '
   
10.         Sql = "select * from[数据库] where [第一列名] between 32 and 36 and [第二列名] between 95and 100 "
    
11. sheet1.Cells(2, 1).CopyFromRecordset cnn.Execute(Sql)
    
12. cnn.Close
    
13. Set cnn = Nothing
    
14. End Sub

复制代码