spring data jpa開啟批量插入、批量更新的問題解析

Posted on by

最近準備上spring全傢桶寫一下個人項目，該學的都學學，其中ORM框架，最早我用的是jdbcTemplate，後來用瞭Mybatis，唯獨沒有用過JPA（Hibernate）系的，過去覺得Hibernate太重量級瞭，後來隨著springboot和spring data jpa出來之後，讓我覺得好像還不錯，再加上谷歌趨勢。。。

隻有中日韓在大規模用Mybatis（我嚴重懷疑是中國的外包），所以就很奇怪，雖然說中國的IT技術在慢慢抬頭瞭，但是這社會IT發展的主導目前看來還是美國、歐洲，這裡JPA、Hibernate是絕對的主流，那麼我覺得學習並以JPA為主開發是我接下來個人項目的選擇。

那麼經過幾天簡單的摸索，發現JPA可以說是非常的好用，尤其DDD設計思想簡直完美符合現在springboot、微服務的設計理念（僅代表個人看法）。

不過呢，在使用過程中就會遇到一個問題，我之前寫的爬蟲插入效率非常低，一方面是因為我服務器上Mysql表現的極差，詳情請看：

[評測]低配環境下，PostgresQL和Mysql讀寫性能簡單對比（歡迎大傢提出Mysql優化意見）

另外一方面，JPA的批量插入源碼：

這saveAll明明就是循環調用save方法瞭啊，我們寫個簡單的測試插入數據方法試一下：

我們打開瞭Hibernate顯示sql日志，看一下輸出結果：

看日志，JPA是先把所有的數據全查出來瞭，如果數據庫有就更新，沒有就新增。我們再看一下阿裡的監控，如果沒有配可以按照這個文章裡面的方法配

springboot2.0配置連接池（hikari、druid）

我插瞭5條數據，結果執行瞭10次sql，這特麼。。。我不太能理解，可能是我太菜瞭？我跑腳本至少瞭成千上萬條數據往庫裡插，這種寫法得給我辣雞數據庫寫死。

並且這樣效率也太低瞭吧，查詢不會用in？insert不會拼sql？並且很多場景我自己能控制是插入還是新增,我根本不需要你給我校驗一次，我隻想安安靜靜的插數據，那麼有沒有辦法呢？有的。

在配置文件裡加入：

spring.jpa.properties.hibernate.jdbc.batch_size=500
spring.jpa.properties.hibernate.jdbc.batch_versioned_data=true
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates =true

這個batch size建議設置成你數據庫每秒最大寫入數/2 ，沒有理由隻是我自己感覺這樣好一點。。。

自己在repository裡面定義兩個接口 batchSave，batchUpdate並實現：

@Override
    @Transactional
    public <S extends T> Iterable<S> batchSave(Iterable<S> var1) {
        Iterator<S> iterator = var1.iterator();
        int index = 0;
        while (iterator.hasNext()){
            em.persist(iterator.next());
            index++;
            if (index % BATCH_SIZE == 0){
                em.flush();
                em.clear();
            }
        }
        if (index % BATCH_SIZE != 0){
            em.flush();
            em.clear();
        }
        return var1;
    }
@Override
    public <S extends T> Iterable<S> batchUpdate(Iterable<S> var1) {
        Iterator<S> iterator = var1.iterator();
        int index = 0;
        while (iterator.hasNext()){
            em.merge(iterator.next());
            index++;
            if (index % BATCH_SIZE == 0){
                em.flush();
                em.clear();
            }
        }
        if (index % BATCH_SIZE != 0){
            em.flush();
            em.clear();
        }
        return var1;
    }

然後對批量插入的入口稍作改動，改成剛剛自己實現的調用batchSave的方法

我們運行一下看看結果：

這次500條用瞭778毫秒，跟之前5條712相差不多，但是我們大傢看到瞭，控制臺打印瞭500條插入語句。。。這個導致我一度以為批量插入失敗瞭，按理說看時間是成功瞭呀，所以後來配置瞭阿裡的監控一看：

放心瞭，是Hibernate自己日志打印有問題，所以後來我給Hibernate日志打印關掉瞭，專心用阿裡的druid

到此這篇關於spring data jpa開啟批量插入、批量更新的文章就介紹到這瞭,更多相關spring data jpa插入 更新內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：