大文件分割与重组技巧

简述

由于各种不同的问题,我们经常会遇到需要将一个大文件分割存储的问题。比如github里单个文件大小一般不能超过100M、比如FAT32文件系统里单个文件大小不能超过4G,比如我们想把某一个数据文件分割存储和查看,比如对日志文件进行分割保存等等。

在ubuntu下,这个工作其实相当简单,只需要牵涉到两个命令:split、cat.

文件分割–split

split命令用来将一个大文件分割成多个小文件,可以固定大小分割(常用于分割二进制文件),还可以固定行数分割(常用于分割文本文件)。

按行分割

1
2
3
$ split -l 10 data subdata-
$ ls
data subdata-ab subdata-ad subdata-af subdata-ah subdata-aa subdata-ac subdata-ae subdata-ag

-l参数指定每个文件的行数,然后带分割的数据文件,以及分割后重新命名的文件前缀。默认分割出的文件是固定前缀加字典序,这样也是为了方便重组是不扰乱顺序。

按大小分割

1
$ split -b 10M data subdata-

-b参数指定用二进制分割,也就是指定文件大小,剩下的与按行分割类似。

用数字后缀

如果不喜欢英文字母后缀,我们可以用-d参数表示我们期望用数字来表示顺序。

1
2
3
$ split -d -l 10 data subdata-
$ ls
data subdata-00 subdata-01 subdata-02 subdata-03 subdata-04

文件重组–cat

一直以为cat就是用来显示文件的。。其实cat本来的用途就是文件的组合。

对于用split命令生成的以subdata-为固定前缀的文件:

1
subdata-00  subdata-01  subdata-02  subdata-03  subdata-04

我们可以非常方便的用cat命令进行组合,而不影响文件顺序:

1
$ cat subdata-* >data