本文章给大家介绍用Python实现大文本文件切割的教程。 在实际工作中,有些场景下,因为产品既有功能限制,不支持特大文件的直接处理,需要把大文件进行切割处理。、 当然可以通过UltraEdit编辑工具,或者从网上下载一些文件切割器之类的。但这些要么手工操作
本文章给大家介绍用Python实现大文本文件切割的教程。 在实际工作中,有些场景下,因为产品既有功能限制,不支持特大文件的直接处理,需要把大文件进行切割处理。、 当然可以通过UltraEdit编辑工具,或者从网上下载一些文件切割器之类的。但这些要么手工操作太麻烦,要么不能满足自定义需求。 而且,对程序员来说,DIY一个轮子还是有必要的。 Python作为快速开发工具,其代码表达力强,开发效率高,因此用Python快速写一个,还是可行的。 需求描述: 输入:给定一个带列头的csv文件,或者txt文件,或者其他文本文件。 输出:指定单文件内部行数的一系列可区分小文件。 开发环境:Python 3.6 代码如下:
测试结果:
1.4GB的csv文件,13列数据,切分成23个小文件,耗时55秒。 |
2019-06-18
2019-07-04
2021-05-23
2021-05-27
2021-05-27