1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        MyBatis 批量插入數(shù)據(jù)的 3 種方法!

        共 1967字,需瀏覽 4分鐘

         ·

        2021-10-21 08:02

        ?

        ?先來簡單說一下 3 種批量插入功能分別是:

        1. 循環(huán)單次插入;
        2. MP 批量插入功能;
        3. 原生批量插入功能。

        ?

        準(zhǔn)備工作

        開始之前我們先來創(chuàng)建數(shù)據(jù)庫和測試數(shù)據(jù),執(zhí)行的 SQL 腳本如下:

        --?----------------------------
        --?創(chuàng)建數(shù)據(jù)庫
        --?----------------------------
        SET?NAMES?utf8mb4;
        SET?FOREIGN_KEY_CHECKS?=?0;
        DROP?DATABASE?IF?EXISTS?`testdb`;
        CREATE?DATABASE?`testdb`;
        USE?`testdb`;

        --?----------------------------
        --?創(chuàng)建?user?表
        --?----------------------------
        DROP?TABLE?IF?EXISTS?`user`;
        CREATE?TABLE?`user`??(
        ??`id`?int(11)?NOT?NULL?AUTO_INCREMENT,
        ??`name`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_bin?NULL?DEFAULT?NULL,
        ??`password`?varchar(255)?CHARACTER?SET?utf8mb4?COLLATE?utf8mb4_bin?NULL?DEFAULT?NULL,
        ??`createtime`?datetime?NULL?DEFAULT?CURRENT_TIMESTAMP,
        ??PRIMARY?KEY?(`id`)?USING?BTREE
        )?ENGINE?=?InnoDB?AUTO_INCREMENT?=?6?CHARACTER?SET?=?utf8mb4?COLLATE?=?utf8mb4_bin?ROW_FORMAT?=?Dynamic;

        --?----------------------------
        --?添加測試數(shù)據(jù)
        --?----------------------------
        INSERT?INTO?`user`?VALUES?(1,?'趙云',?'123456',?'2021-09-10?18:11:16');
        INSERT?INTO?`user`?VALUES?(2,?'張飛',?'123456',?'2021-09-10?18:11:28');
        INSERT?INTO?`user`?VALUES?(3,?'關(guān)羽',?'123456',?'2021-09-10?18:11:34');
        INSERT?INTO?`user`?VALUES?(4,?'劉備',?'123456',?'2021-09-10?18:11:41');
        INSERT?INTO?`user`?VALUES?(5,?'曹操',?'123456',?'2021-09-10?18:12:02');

        SET?FOREIGN_KEY_CHECKS?=?1;

        數(shù)據(jù)庫的最終效果如下:

        1.循環(huán)單次插入

        接下來我們將使用 Spring Boot 項目,批量插入 10W 條數(shù)據(jù)來分別測試各個方法的執(zhí)行時間。
        循環(huán)單次插入的(測試)核心代碼如下:

        import?com.example.demo.model.User;
        import?com.example.demo.service.impl.UserServiceImpl;
        import?org.junit.jupiter.api.Test;
        import?org.springframework.beans.factory.annotation.Autowired;
        import?org.springframework.boot.test.context.SpringBootTest;

        @SpringBootTest
        class?UserControllerTest?{

        ????//?最大循環(huán)次數(shù)
        ????private?static?final?int?MAXCOUNT?=?100000;

        ????@Autowired
        ????private?UserServiceImpl?userService;

        ????/**
        ?????*?循環(huán)單次插入
        ?????*/

        ????@Test
        ????void?save()?{
        ????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計開始時間
        ????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
        ????????????user.setName("test:"?+?i);
        ????????????user.setPassword("123456");
        ????????????userService.save(user);
        ????????}
        ????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計結(jié)束時間
        ????????System.out.println("執(zhí)行時間:"?+?(etime?-?stime));
        ????}
        }

        運行以上程序,花費了 88574 毫秒,如下圖所示:

        ?

        2.MP 批量插入

        MP 批量插入功能核心實現(xiàn)類有三個:UserController(控制器)、UserServiceImpl(業(yè)務(wù)邏輯實現(xiàn)類)、UserMapper(數(shù)據(jù)庫映射類),它們的調(diào)用流程如下:

        注意此方法實現(xiàn)需要先添加 MP 框架,打開 pom.xml 文件添加如下內(nèi)容:

        <dependency>
        ????<groupId>com.baomidougroupId>

        ????<artifactId>mybatis-plus-boot-starterartifactId>
        ????<version>mybatis-plus-latest-versionversion>
        dependency>

        注意:mybatis-plus-latest-version 表示 MP 框架的最新版本號,可訪問 https://mvnrepository.com/artifact/com.baomidou/mybatis-plus-boot-starter 查詢最新版本號,但在使用的時候記得一定要將上面的 “mybatis-plus-latest-version”替換成換成具體的版本號,如 3.4.3 才能正常的引入框架。
        更多 MP 框架的介紹請移步它的官網(wǎng):https://baomidou.com/guide/

        ① 控制器實現(xiàn)

        import?com.example.demo.model.User;
        import?com.example.demo.service.impl.UserServiceImpl;
        import?org.springframework.beans.factory.annotation.Autowired;
        import?org.springframework.web.bind.annotation.RequestMapping;
        import?org.springframework.web.bind.annotation.RestController;

        import?java.util.ArrayList;
        import?java.util.List;

        @RestController
        @RequestMapping("/u")
        public?class?UserController?{

        ????@Autowired
        ????private?UserServiceImpl?userService;

        ????/**
        ?????*?批量插入(自定義)
        ?????*/

        ????@RequestMapping("/mysavebatch")
        ????public?boolean?mySaveBatch(){
        ????????List?list?=?new?ArrayList<>();
        ????????//?待添加(用戶)數(shù)據(jù)
        ????????for?(int?i?=?0;?i?1000
        ;?i++)?{
        ????????????User?user?=?new?User();
        ????????????user.setName("test:"+i);
        ????????????user.setPassword("123456");
        ????????????list.add(user);
        ????????}
        ????????return?userService.saveBatchCustom(list);
        ????}
        }

        ② 業(yè)務(wù)邏輯層實現(xiàn)

        import?com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
        import?com.example.demo.mapper.UserMapper;
        import?com.example.demo.model.User;
        import?com.example.demo.service.UserService;
        import?org.springframework.beans.factory.annotation.Autowired;
        import?org.springframework.stereotype.Service;
        import?java.util.List;

        @Service
        public?class?UserServiceImpl?extends?ServiceImpl<UserMapper,User>
        ????????implements?UserService?
        {

        ????@Autowired
        ????private?UserMapper?userMapper;

        ????public?boolean?saveBatchCustom(List?list){
        ????????return?userMapper.saveBatchCustom(list);
        ????}
        }

        ③ 數(shù)據(jù)持久層實現(xiàn)

        import?com.baomidou.mybatisplus.core.mapper.BaseMapper;
        import?com.example.demo.model.User;
        import?org.apache.ibatis.annotations.Mapper;

        import?java.util.List;

        @Mapper
        public?interface?UserMapper?extends?BaseMapper<User>{

        ????boolean?saveBatchCustom(List?list);
        }

        經(jīng)過以上代碼實現(xiàn),我們就可以使用 MP 來實現(xiàn)數(shù)據(jù)的批量插入功能了,但本篇除了具體的實現(xiàn)代碼之外,我們還要知道每種方法的執(zhí)行效率,所以接下來我們來編寫 MP 的測試代碼。

        MP 性能測試

        import?com.example.demo.model.User;
        import?com.example.demo.service.impl.UserServiceImpl;
        import?org.junit.jupiter.api.Test;
        import?org.springframework.beans.factory.annotation.Autowired;
        import?org.springframework.boot.test.context.SpringBootTest;

        import?java.util.ArrayList;
        import?java.util.List;

        @SpringBootTest
        class?UserControllerTest?{

        ????//?最大循環(huán)次數(shù)
        ????private?static?final?int?MAXCOUNT?=?100000;

        ????@Autowired
        ????private?UserServiceImpl?userService;

        ????/**
        ?????*?MP?批量插入
        ?????*/

        ????@Test
        ????void?saveBatch()?{
        ????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計開始時間
        ????????List?list?=?new?ArrayList<>();
        ????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
        ????????????user.setName("test:"?+?i);
        ????????????user.setPassword("123456");
        ????????????list.add(user);
        ????????}
        ????????//?MP?批量插入
        ????????userService.saveBatch(list);
        ????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計結(jié)束時間
        ????????System.out.println("執(zhí)行時間:"?+?(etime?-?stime));
        ????}
        }

        以上程序的執(zhí)行總共花費了 6088 毫秒,如下圖所示:

        從上述結(jié)果可知,使用 MP 的批量插入功能(插入數(shù)據(jù) 10W 條),它的性能比循環(huán)單次插入的性能提升了 14.5 倍。

        MP 源碼分析

        從 MP 和循環(huán)單次插入的執(zhí)行時間我們可以看出,使用 MP 并不是像有些朋友認(rèn)為的那樣,還是循環(huán)單次執(zhí)行的,為了更清楚的說明此問題,我們查看了 MP 的源碼。
        MP 的核心實現(xiàn)代碼是 saveBatch 方法,此方法的源碼如下:

        我們繼續(xù)跟進(jìn) saveBatch 的重載方法:

        從上述源碼可以看出,MP 是將要執(zhí)行的數(shù)據(jù)分成 N 份,每份 1000 條,每滿 1000 條就會執(zhí)行一次批量插入,所以它的性能要比循環(huán)單次插入的性能高很多。
        那為什么要分批執(zhí)行,而不是一次執(zhí)行?別著急,當(dāng)我們看了第 3 種實現(xiàn)方法之后我們就明白了。

        ?

        3.原生批量插入

        原生批量插入方法是依靠 MyBatis 中的 foreach 標(biāo)簽,將數(shù)據(jù)拼接成一條原生的 insert 語句一次性執(zhí)行的,核心實現(xiàn)代碼如下。

        ① 業(yè)務(wù)邏輯層擴(kuò)展

        在 UserServiceImpl 添加 saveBatchByNative 方法,實現(xiàn)代碼如下:

        import?com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
        import?com.example.demo.mapper.UserMapper;
        import?com.example.demo.model.User;
        import?com.example.demo.service.UserService;
        import?org.springframework.beans.factory.annotation.Autowired;
        import?org.springframework.stereotype.Service;

        import?java.util.List;

        @Service
        public?class?UserServiceImpl?extends?ServiceImpl<UserMapper,?User>
        ????????implements?UserService?
        {

        ????@Autowired
        ????private?UserMapper?userMapper;

        ????public?boolean?saveBatchByNative(List?list)?{
        ????????return?userMapper.saveBatchByNative(list);
        ????}

        }

        ② 數(shù)據(jù)持久層擴(kuò)展

        在 UserMapper 添加 saveBatchByNative 方法,實現(xiàn)代碼如下:

        import?com.baomidou.mybatisplus.core.mapper.BaseMapper;
        import?com.example.demo.model.User;
        import?org.apache.ibatis.annotations.Mapper;

        import?java.util.List;

        @Mapper
        public?interface?UserMapper?extends?BaseMapper<User>?{

        ????boolean?saveBatchByNative(List?list);
        }

        ③ 添加 UserMapper.xml

        創(chuàng)建 UserMapper.xml 文件,使用 foreach 標(biāo)簽拼接 SQL,具體實現(xiàn)代碼如下:

        "1.0"?encoding="UTF-8"?>
        "-//mybatis.org//DTD?Mapper?3.0//EN"?"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
        "com.example.demo.mapper.UserMapper">
        ????"saveBatchByNative">
        ????????INSERT?INTO?`USER`(`NAME`,`PASSWORD`)?VALUES
        ????????"list"?separator=","?item="item">
        ????????????(#{item.name},#{item.password})
        ????????
        ????

        經(jīng)過以上步驟,我們原生的批量插入功能就實現(xiàn)的差不多了,接下來我們使用單元測試來查看一下此方法的執(zhí)行效率。

        原生批量插入性能測試

        import?com.example.demo.model.User;
        import?com.example.demo.service.impl.UserServiceImpl;
        import?org.junit.jupiter.api.Test;
        import?org.springframework.beans.factory.annotation.Autowired;
        import?org.springframework.boot.test.context.SpringBootTest;

        import?java.util.ArrayList;
        import?java.util.List;

        @SpringBootTest
        class?UserControllerTest?{

        ????//?最大循環(huán)次數(shù)
        ????private?static?final?int?MAXCOUNT?=?100000;

        ????@Autowired
        ????private?UserServiceImpl?userService;
        ????
        ????/**
        ?????*?原生自己拼接?SQL,批量插入
        ?????*/

        ????@Test
        ????void?saveBatchByNative()?{
        ????????long?stime?=?System.currentTimeMillis();?//?統(tǒng)計開始時間
        ????????List?list?=?new?ArrayList<>();
        ????????for?(int?i?=?0;?i?????????????User?user?=?new?User();
        ????????????user.setName("test:"?+?i);
        ????????????user.setPassword("123456");
        ????????????list.add(user);
        ????????}
        ????????//?批量插入
        ????????userService.saveBatchByNative(list);
        ????????long?etime?=?System.currentTimeMillis();?//?統(tǒng)計結(jié)束時間
        ????????System.out.println("執(zhí)行時間:"?+?(etime?-?stime));
        ????}
        }

        然而,當(dāng)我們運行程序時卻發(fā)生了以下情況:

        納尼?程序的執(zhí)行竟然報錯了。

        缺點分析

        從上述報錯信息可以看出,當(dāng)我們使用原生方法將 10W 條數(shù)據(jù)拼接成一個 SQL 執(zhí)行時,由于拼接的 SQL 過大(4.56M)從而導(dǎo)致程序執(zhí)行報錯,因為默認(rèn)情況下 MySQL 可以執(zhí)行的最大 SQL(大?。?4M,所以程序就報錯了。
        這就是原生批量插入方法的缺點,也是為什么 MP 需要分批執(zhí)行的原因,就是為了防止程序在執(zhí)行時,因為觸發(fā)了數(shù)據(jù)庫的最大執(zhí)行 SQL 而導(dǎo)致程序執(zhí)行報錯。

        解決方案

        當(dāng)然我們也可以通過設(shè)置 MySQL 的最大執(zhí)行 SQL 來解決報錯的問題,設(shè)置命令如下:

        --?設(shè)置最大執(zhí)行?SQL?為?10M
        set?global?max_allowed_packet=10*1024*1024;

        如下圖所示:

        注意:以上命令需要在 MySQL 連接的客戶端中執(zhí)行。
        但以上解決方案仍是治標(biāo)不治本,因為我們無法預(yù)測程序中最大的執(zhí)行 SQL 到底有多大,那么最普世的方法就是分配執(zhí)行批量插入的方法了(也就是像 MP 實現(xiàn)的那樣)。
        當(dāng)我們將 MySQL 的最大執(zhí)行 SQL 設(shè)置為 10M 之后,運行以上單元測試代碼,執(zhí)行的結(jié)果如下:

        總結(jié)

        本文我們介紹了 MyBatis 批量插入的 3 種方法,其中循環(huán)單次插入的性能最低,也是最不可取的;使用 MyBatis 拼接原生 SQL 一次性插入的方法性能最高,但此方法可能會導(dǎo)致程序執(zhí)行報錯(觸發(fā)了數(shù)據(jù)庫最大執(zhí)行 SQL 大小的限制),所以綜合以上情況,可以考慮使用 MP 的批量插入功能。

        有道無術(shù),術(shù)可成;有術(shù)無道,止于術(shù)

        歡迎大家關(guān)注Java之道公眾號


        好文章,我在看??

        瀏覽 60
        點贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報
        評論
        圖片
        表情
        推薦
        點贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            九热这里只有精品99视频 | 大香蕉色老板 | 色噜噜狠狠一区二区三区牛牛影视 | 中文字幕无码视频 | 全文辣肉h短篇春野小农民视频 | 艳母视频在线观看 | 免费成人黄色片 | 青青草操逼视频 | 中文字幕人妻熟女一区二区三区电影 | 日韩无码123区 |