开发目的：

提高百万级数据插入效率。

采取方案：

利用ThreadPoolTaskExecutor多线程批量插入。

采用技术：

• springboot2.1.1
• mybatisPlus3.0.6
• swagger2.5.0
• Lombok1.18.4
• postgresql
• ThreadPoolTaskExecutor

具体实现细节

application-dev.properties添加线程池配置信息

@OverridepublicinttestMultiThread(){List<LogOutputResult>logOutputResults=getTestData();//测试每100条数据插入开一个线程List<List<LogOutputResult>>lists=ConvertHandler.splitList(logOutputResults,100);CountDownLatchcountDownLatch=newCountDownLatch(lists.size());for(List<LogOutputResult>listSub:lists){asyncService.executeAsync(listSub,logOutputResultMapper,countDownLatch);}try{countDownLatch.await();//保证之前的所有的线程都执行完成，才会走下面的；//这样就可以在下面拿到所有线程执行完的集合结果}catch(Exceptione){log.error("阻塞异常:"+e.getMessage());}returnlogOutputResults.size();}

模拟2000003 条数据进行测试

多线程 测试 2000003 耗时如下：耗时1.67分钟

本次开启30个线程，截图如下：

单线程测试2000003 耗时如下：耗时5.75分钟

检查多线程入库的数据，检查是否存在重复入库的问题：

根据id分组，查看是否有id重复的数据，通过sql语句检查，没有发现重复入库的问题

检查数据完整性：

通过sql语句查询，多线程录入数据完整

测试结果

不同线程数测试：

总结

通过以上测试案列，同样是导入2000003 条数据，多线程耗时1.67分钟，单线程耗时5.75分钟。通过对不同线程数的测试，发现不是线程数越多越好，具体多少合适，网上有一个不成文的算法：

CPU核心数量*2 +2 个线程。

附：测试电脑配置