MyBatis原生批量插入的坑與解決方案！
作者 | 王磊
來源 | Java中文社群（ID：javacn666）
轉(zhuǎn)載請聯(lián)系授權(quán)（微信ID：GG_Stone）
前面的文章咱們講了 MyBatis 批量插入的 3 種方法：循環(huán)單次插入、MyBatis Plus 批量插入、MyBatis 原生批量插入，詳情請點擊《MyBatis 批量插入數(shù)據(jù)的 3 種方法！》。
但之前的文章也有不完美之處，原因在于：使用 「循環(huán)單次插入」的性能太低，使用「MyBatis Plus 批量插入」性能還行，但要額外的引入 MyBatis Plus 框架，使用「MyBatis 原生批量插入」性能最好，但在插入大量數(shù)據(jù)時會導(dǎo)致程序報錯，那么，今天咱們就會提供一個更優(yōu)的解決方案。
原生批量插入的“坑”
首先，我們來看一下 MyBatis 原生批量插入中的坑，當(dāng)我們批量插入 10 萬條數(shù)據(jù)時，實現(xiàn)代碼如下：
import?com.example.demo.model.User;
import?com.example.demo.service.impl.UserServiceImpl;
import?org.junit.jupiter.api.Test;
import?org.springframework.beans.factory.annotation.Autowired;
import?org.springframework.boot.test.context.SpringBootTest;
import?java.util.ArrayList;
import?java.util.List;
@SpringBootTest
class?UserControllerTest?{
????//?最大循環(huán)次數(shù)
????private?static?final?int?MAXCOUNT?=?100000;
????@Autowired
????private?UserServiceImpl?userService;
????
????/**
?????*?原生自己拼接?SQL，批量插入
?????*/
????@Test
????void?saveBatchByNative()?{
????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計開始時間
????????List?list?=?new?ArrayList<>();
????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
????????????user.setName("test:"?+?i);
????????????user.setPassword("123456");
????????????list.add(user);
????????}
????????//?批量插入
????????userService.saveBatchByNative(list);
????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計結(jié)束時間
????????System.out.println("執(zhí)行時間："?+?(etime?-?stime));
????}
}
核心文件 UserMapper.xml 中的實現(xiàn)代碼如下：
mapper?PUBLIC?"-//mybatis.org//DTD?Mapper?3.0//EN"?"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper?namespace="com.example.demo.mapper.UserMapper">
????<insert?id="saveBatchByNative">
????????INSERT?INTO?`USER`(`NAME`,`PASSWORD`)?VALUES
????????<foreach?collection="list"?separator=","?item="item">
????????????(#{item.name},#{item.password})
????????foreach>
????insert>
mapper>
當(dāng)我們開心地運行以上程序時，就出現(xiàn)了以下的一幕：
沃，程序竟然報錯了！
這是因為使用 MyBatis 原生批量插入拼接的插入 SQL 大小是 4.56M，而默認(rèn)情況下 MySQL 可以執(zhí)行的最大 SQL 為 4M，那么在程序執(zhí)行時就會報錯了。
解決方案
以上的問題就是因為批量插入時拼接的 SQL 文件太大了，所以導(dǎo)致 MySQL 的執(zhí)行報錯了。那么我們第一時間想到的解決方案就是將大文件分成 N 個小文件，這樣就不會因為 SQL 太大而導(dǎo)致執(zhí)行報錯了。也就是說，我們可以將待插入的 List 集合分隔為多個小 List 來執(zhí)行批量插入的操作，而這個操作過程就叫做 List 分片。
有了處理思路之后，接下來就是實操了，那如何對集合進行分片操作呢？
分片操作的實現(xiàn)方式有很多種，這個我們后文再講，接下來我們使用最簡單的方式，也就是 Google 提供的 Guava 框架來實現(xiàn)分片的功能。
分片 Demo 實戰(zhàn)
要實現(xiàn)分片功能，第一步我們先要添加 Guava 框架的支持，在 pom.xml 中添加以下引用：
??com.google.guava
??guava
??31.0.1-jre
接下來我們寫一個小小的 demo，將以下 7 個人名分為 3 組（每組最多 3 個），實現(xiàn)代碼如下：
import?com.google.common.collect.Lists;
import?java.util.Arrays;
import?java.util.List;
/**
?*?Guava?分片
?*/
public?class?PartitionByGuavaExample?{
????//?原集合
????private?static?final?List?OLD_LIST?=?Arrays.asList(
????????????"唐僧,悟空,八戒,沙僧,曹操,劉備,孫權(quán)".split(","));
????public?static?void?main(String[]?args)?{
????????//?集合分片
????????List>?newList?=?Lists.partition(OLD_LIST,?3);
????????//?打印分片集合
????????newList.forEach(i?->?{
????????????System.out.println("集合長度："?+?i.size());
????????});
????}
}
以上程序的執(zhí)行結(jié)果如下：
從上述結(jié)果可以看出，我們只需要使用 Guava 提供的 Lists.partition 方法就可以很輕松的將一個集合進行分片了。
原生批量插入分片實現(xiàn)
那接下來，就是改造我們的 MyBatis 批量插入代碼了，具體實現(xiàn)如下：
@Test
void?saveBatchByNativePartition()?{
????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計開始時間
????List?list?=?new?ArrayList<>();
????//?構(gòu)建插入數(shù)據(jù)
????for?(int?i?=?0;?i?????????User?user?=?new?User();
????????user.setName("test:"?+?i);
????????user.setPassword("123456");
????????list.add(user);
????}
????//?分片批量插入
????int?count?=?(int)?Math.ceil(MAXCOUNT?/?1000.0);?//?分為?n?份，每份?1000?條
????List>?listPartition?=?Lists.partition(list,?count);
????//?分片批量插入
????for?(List?item?:?listPartition)?{
????????userService.saveBatchByNative(item);
????}
????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計結(jié)束時間
????System.out.println("執(zhí)行時間："?+?(etime?-?stime));
}
執(zhí)行以上程序，最終的執(zhí)行結(jié)果如下：
從上圖可以看出，之前批量插入時的異常報錯不見了，并且此實現(xiàn)方式的執(zhí)行效率竟比 MyBatis Plus 的批量插入的執(zhí)行效率要高，MyBatis Plus 批量插入 10W 條數(shù)據(jù)的執(zhí)行時間如下：
總結(jié)
本文我們演示了 MyBatis 原生批量插入時的問題：可能會因為插入的數(shù)據(jù)太多從而導(dǎo)致運行失敗，我們可以通過分片的方式來解決此問題，分片批量插入的實現(xiàn)步驟如下：
計算出分片的數(shù)量（分為 N 批）； 使用 Lists.partition 方法將集合進行分片（分為 N 個集合）； 循環(huán)將分片的集合進行批量插入的操作。
推薦閱讀：
歡迎關(guān)注微信公眾號：互聯(lián)網(wǎng)全棧架構(gòu)，收取更多有價值的信息。