在项目开发中往往需要使用到数据的导入和导出,导入就是从Excel中导入到DB中,而导出就是从DB中查询数据然后使用POI写到Excel上。 大数据的导入和导出,相信大家在日常的开发、面试中
在项目开发中往往需要使用到数据的导入和导出,导入就是从Excel中导入到DB中,而导出就是从DB中查询数据然后使用POI写到Excel上。 大数据的导入和导出,相信大家在日常的开发、面试中都会遇到。 很多问题只要这一次解决了,总给复盘记录,后期遇到同样的问题就好解决了。好啦,废话不多说开始正文! 1.传统POI的的版本优缺点比较其实想到数据的导入导出,理所当然的会想到apache的poi技术,以及Excel的版本问题。 HSSFWorkbook 这个实现类是我们早期使用最多的对象,它可以操作Excel2003以前(包含2003)的所有Excel版本。在2003以前Excel的版本后缀还是.xls XSSFWorkbook 这个实现类现在在很多公司都可以发现还在使用,它是操作的Excel2003–Excel2007之间的版本,Excel的扩展名是.xlsx SXSSFWorkbook 这个实现类是POI3.8之后的版本才有的,它可以操作Excel2007以后的所有版本Excel,扩展名是.xlsx HSSFWorkbook 它是POI版本中最常用的方式,不过:
XSSFWorkbook
SXSSFWorkbook 从POI 3.8版本开始,提供了一种基于XSSF的低内存占用的SXSSF方式: 优点:
缺点:
2.使用方式哪种看情况经过了解也知道了这三种Workbook的优点和缺点,那么具体使用哪种方式还是需要看情况的: 我一般会根据这样几种情况做分析选择: 1、当我们经常导入导出的数据不超过7w的情况下,可以使用 HSSFWorkbook 或者 XSSFWorkbook都行; 2、当数据量查过7w并且导出的Excel中不牵扯对Excel的样式,公式,格式等操作的情况下,推荐使用SXSSFWorkbook; 3、当数据量查过7w,并且我们需要操做Excel中的表头,样式,公式等,这时候我们可以使用 XSSFWorkbook 配合进行分批查询,分批写入Excel的方式来做; 3.百万数据导入导出想要解决问题我们首先要明白自己遇到的问题是什么? 1、 我遇到的数据量超级大,使用传统的POI方式来完成导入导出很明显会内存溢出,并且效率会非常低; 2、 数据量大直接使用select * from tableName肯定不行,一下子查出来300w条数据肯定会很慢; 3、 300w 数据导出到Excel时肯定不能都写在一个Sheet中,这样效率会非常低;估计打开都得几分钟; 4、 300w数据导出到Excel中肯定不能一行一行的导出到Excel中。频繁IO操作绝对不行; 5、 导入时300万数据存储到DB如果循环一条条插入也肯定不行; 6、导入时300w数据如果使用Mybatis的批量插入肯定不行,因为Mybatis的批量插入其实就是SQL的循环;一样很慢。 解决思路: 针对1 : 其实问题所在就是内存溢出,我们只要使用对上面介绍的POI方式即可,主要问题就是原生的POI解决起来相当麻烦。 经过查阅资料翻看到阿里的一款POI封装工具EasyExcel,上面问题等到解决; 针对2: 不能一次性查询出全部数据,我们可以分批进行查询,只不过时多查询几次的问题,况且市面上分页插件很多。此问题好解决。 针对3: 可以将300w条数据写到不同的Sheet中,每一个Sheet写一百万即可。 针对4: 不能一行一行的写入到Excel上,我们可以将分批查询的数据分批写入到Excel中。 针对5: 导入到DB时我们可以将Excel中读取的数据存储到集合中,到了一定数量,直接批量插入到DB中。 针对6: 不能使用Mybatis的批量插入,我们可以使用JDBC的批量插入,配合事务来完成批量插入到DB。即 Excel读取分批+JDBC分批插入+事务。 3.1 模拟500w数据导出需求:使用EasyExcel完成500w数据的导出。 500w数据的导出解决思路:
ps:我们需要计算Sheet个数,以及循环写入次数。特别是最后一个Sheet的写入次数 因为你不知道最后一个Sheet会写入多少数据,可能是100w,也可能是25w因为我们这里的500w只是模拟数据,有可能导出的数据比500w多也可能少 ps:我们需要计算写入次数,因为我们使用的分页查询,所以需要注意写入的次数。 其实查询数据库多少次就是写入多少次 准备工作 1.基于maven搭建springboot工程,引入easyexcel依赖,这里我是用的时3.0版本
2.创建海量数据的sql脚本
3.实体类
4.vo类
导出核心代码
这是我电脑测试时内存占用和CPU使用情况,当然开了其他一些应用。 导出500w数据共计耗时,可以看到差不多400s左右,当然还要考虑业务复杂度已经电脑配置,我这里只是一个导出的demo并不涉及其他业务逻辑,在实际开发中可能时间会比这个更长一些 看下导出效果,我上面的脚本向插入了500w数据,100w一个sheet因此正好五个 3.2模拟500w数据导入500W数据的导入解决思路 1、首先是分批读取读取Excel中的500w数据,这一点EasyExcel有自己的解决方案,我们可以参考Demo即可,只需要把它分批的参数5000调大即可。 2、其次就是往DB里插入,怎么去插入这20w条数据,当然不能一条一条的循环,应该批量插入这20w条数据,同样也不能使用Mybatis的批量插入语,因为效率也低。 3、使用JDBC+事务的批量操作将数据插入到数据库。(分批读取+JDBC分批插入+手动事务控制) 代码实现 controller层测试接口
Excel导入事件监听
核心业务代码
jdbc工具类
druid.properties配置文件 这里我将文件创建在类路径下,需要注意的是连接mysql数据库时需要指定rewriteBatchedStatements=true批处理才会生效,否则还是逐条插入效率较低,allowMultiQueries=true表示可以使sql语句中有多个insert或者update语句(语句之间携带分号),这里可以忽略。
测试结果
这里我删除里部分日志,从打印结果可以看出,在我的电脑上导入500w数据差不多需要20多秒的时间,还是很快的。当然公司的业务逻辑很复杂,数据量也比较多,表的字段也比较多,导入和导出的速度会比现在测试的要慢一点。 4.总结1.如此大批量数据的导出和导入操作,会占用大量的内存实际开发中还应限制操作人数。 2.在做大批量的数据导入时,可以使用jdbc手动开启事务,批量提交。 |
2021-06-05
2021-05-27
2021-05-26
2021-06-05
2021-05-16