请教几十G的文本文件处理方法

yytrans

现有一个几十G的TXT文本文本，如下图所示，每行需要提取 "Email" 和 "ScreenName"，即提取红色标记的部分，由于文件大，不知如何处理，多谢帮助！

文件

wanghan519

文本处理三剑客，对超大文件最快，比如sed

1. sed -r 's/.*Email: ([^ ]*) .*ScreenName: ([^ ]*) .*/\1,\2/g' 01.01.01.txt

复制代码

wanghan519

把你提供的txt复制了5万遍，文件变成200多M，顺序执行用了1分多，用split分成两个文件，并发执行，用了40多秒，看来切开更快点

...这个时间可能是错的，因为处理unicode字符时出错了，txt第14行名字最后是一个4byte的字符这也不是utf8编码的txt啊啊啊。。。

zpy2

wanghan519 发表于 2023-2-12 10:03
把你提供的txt复制了5万遍，文件变成200多M，顺序执行用了1分多，用split分成两个文件，并发执行，用了40多 ...

并发执行

这么厉害，咋实现的？多线程？

gwjkkkkk

学习了。。。

wanghan519

zpy2 发表于 2023-2-12 10:48
并发执行

这么厉害，咋实现的？多线程？

抱歉抱歉，上面的结果有点问题，并发没错但这版sed处理utf8出问题了，放在那里当耻辱柱吧。。。



并发是先用split把大文件切小，之后xargs有一个参数-P是多进程处理后面的命令，0是自动决定几个进程，也可以自己写个cpu数量之类

用python和perl试了一下，python单线程20秒，perl单线程10秒，切两份并发4秒，看来正则处理文本perl还是最猛的
b.txt还是上面那个复制了5万次的txt，200多M

高个子

wanghan519 发表于 2023-2-12 11:19
抱歉抱歉，上面的结果有点问题，并发没错但这版sed处理utf8出问题了，放在那里当耻辱柱吧。。。

所以几十个G，再怎么说也得处理几分钟

wanghan519

高个子 发表于 2023-2-12 11:26
所以几十个G，再怎么说也得处理几分钟

确实啊，而且再快也至少是复制几个G的文件的速度，我这十几分钟恐怕打不住

yytrans

多谢各位帮助，文本中的邮件我可以用其他软件一次性提取，但“ScreenName” 则无法提取，请问可有其他方法只提取“ScreenName”？只要两次提取的次序一致，那么剩下的工作只是对照排列一下即可。
（即便如此，仍得对文本进行分割。）