1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        為什么 SQL 語句不要過多的 join?

        共 3293字,需瀏覽 7分鐘

         ·

        2021-06-24 01:59

        點(diǎn)擊上方“碼農(nóng)突圍”,馬上關(guān)注
        這里是碼農(nóng)充電第一站,回復(fù)“666”,獲取一份專屬大禮包
        真愛,請(qǐng)?jiān)O(shè)置“星標(biāo)”或點(diǎn)個(gè)“在看
        作者:柯三
        鏈接:juejin.im/post/5e0443ae6fb9a0162277a2c3

        送分題

        面試官:有操作過Linux嗎?
        :有的呀
        面試官:我想查看內(nèi)存的使用情況該用什么命令
        free 或者 top
        面試官:那你說一下用free命令都可以看到啥信息
        :那,如下圖所示 可以看到內(nèi)存以及緩存的使用情況
        • total 總內(nèi)存

        • used 已用內(nèi)存

        • free 空閑內(nèi)存

        • buff/cache 已使用的緩存

        • avaiable 可用內(nèi)存
        面試官:那你知道怎么清理已使用的緩存嗎(buff/cache)
        :em... 不知道
        面試官sync; echo 3 > /proc/sys/vm/drop_caches就可以清理buff/cache了,你說說我在線上執(zhí)行這條命令做好不好?
        :(送分題,內(nèi)心大喜)好處大大的有,清理出緩存我們就有更多可用的內(nèi)存空間, 就跟pc上面xx衛(wèi)士的小火箭一樣,點(diǎn)一下,就釋放出好多的內(nèi)存
        面試官:em...., 回去等通知吧

        再談SQL Join

        面試官:換個(gè)話題,談?wù)勀銓?duì)join的理解
        :好的(再答錯(cuò)就徹底完了,把握住機(jī)會(huì))

        回顧

        SQL中的join可以根據(jù)某些條件把指定的表給結(jié)合起來并將數(shù)據(jù)返回給客戶端
        join的方式有:5 種 
        • inner join  內(nèi)連接
        • left join 左連接
        • right join 右連接
        • full join 全連接
        以上圖片源:https://www.cnblogs.com/reaptomorrow-flydream/p/8145610.html
        面試官:在項(xiàng)目開發(fā)中如果需要使用join語句,如何優(yōu)化提升性能?
        :分為兩種情況,數(shù)據(jù)規(guī)模小的,數(shù)據(jù)規(guī)模大的。
        面試官:  然后?
        :對(duì)于
        • 數(shù)據(jù)規(guī)模較小 全部干進(jìn)內(nèi)存就完事了嗷
        • 數(shù)據(jù)規(guī)模較大
        可以通過增加索引來優(yōu)化join語句的執(zhí)行速度 可以通過冗余信息來減少join的次數(shù) 盡量減少表連接的次數(shù),一個(gè)SQL語句表連接的次數(shù)不要超過5次
        面試官:可以總結(jié)為join語句是相對(duì)比較耗費(fèi)性能,對(duì)嗎?
        :是的
        面試官: 為什么?

        緩沖區(qū)

        : 在執(zhí)行join語句的時(shí)候必然要有一個(gè)比較的過程
        面試官: 是的
        :逐條比較兩個(gè)表的語句是比較慢的,因此我們可以把兩個(gè)表中數(shù)據(jù)依次讀進(jìn)一個(gè)內(nèi)存塊中, 以MySQL的InnoDB引擎為例,使用以下語句我們必然可以查到相關(guān)的內(nèi)存區(qū)域show variables like '%buffer%'
        如下圖所示join_buffer_size的大小將會(huì)影響我們join語句的執(zhí)行性能
        面試官: 除此之外呢?

        一個(gè)大前提

        :任何項(xiàng)目終究要上線,不可避免的要產(chǎn)生數(shù)據(jù),數(shù)據(jù)的規(guī)模又不可能太小
        面試官: 是這樣的
        :大部分?jǐn)?shù)據(jù)庫中的數(shù)據(jù)最終要保存到硬盤上,并且以文件的形式進(jìn)行存儲(chǔ)。
        MySQL的InnoDB引擎為例
        • InnoDB以(page)為基本的IO單位,每個(gè)頁的大小為16KB
        • InnoDB會(huì)為每個(gè)表創(chuàng)建用于存儲(chǔ)數(shù)據(jù)的.ibd文件
        驗(yàn)證
        :這意味著我們有多少表要連接就需要讀多少個(gè)文件,雖然可以利用索引,但還是免不了頻繁的移動(dòng)硬盤的磁頭
        面試官:也就是說頻繁的移動(dòng)磁頭會(huì)影響性能對(duì)吧
        :是的,現(xiàn)在的開源框架不都喜歡說自己通過順序讀寫大大的提升了性能嗎,比如hbase、kafka
        面試官:說的沒錯(cuò),那你認(rèn)為Linux有對(duì)此做出優(yōu)化嗎?提示,你可以再執(zhí)行一次free命令看一下
        :奇怪緩存怎么占用了1.2G多
        圖片來源:https://www.linuxatemyram.com/
        面試官: 你有沒有想過
        • buff/cache 里面存的是什么,?
        • 為什么buff/cache 占了那么多內(nèi)存,可用內(nèi)存即availlable還有1.1G?
        • 為什么你可以通過兩條命令來清理buff/cache占用的內(nèi)存,而想要釋放used只能通過結(jié)束進(jìn)程來實(shí)現(xiàn)?
        品,你細(xì)品
        思考了幾分鐘后
        :這么隨便就釋放了buff/cache所占用的內(nèi)存,說明它就不重要, 清除它不會(huì)對(duì)系統(tǒng)的運(yùn)行造成影響
        面試官: 不完全對(duì)
        :難道是?想起來《CSAPP》(深入理解計(jì)算機(jī)系統(tǒng))里面說過一句話
        存儲(chǔ)器層次結(jié)構(gòu)的本質(zhì)是,每一層存儲(chǔ)設(shè)備都是較低一層設(shè)備的緩存
        翻譯成人話,就是說Linux會(huì)把內(nèi)存當(dāng)作是硬盤的高速緩存
        相關(guān)資料:http://tldp.org/LDP/sag/html/buffer-cache.html
        面試官:現(xiàn)在知道那道送分題應(yīng)該怎么回答了吧
        :我....

        Join算法

        面試官:再給你個(gè)機(jī)會(huì),如果讓你來實(shí)現(xiàn)Join算法你會(huì)怎么做?
        :無索引的話,嵌套循環(huán)就完事了嗷。有索引的話,則可以利用索引來提升性能.
        面試官:說回join_buffer 你認(rèn)為join_buffer里面存儲(chǔ)的是什么?
        :在掃描過程中,數(shù)據(jù)庫會(huì)選擇一個(gè)表把他要返回以及需要進(jìn)行和其他表進(jìn)行比較的數(shù)據(jù)放進(jìn)join_buffer
        面試官:有索引的情況下是怎么處理的?
        :這個(gè)就比較簡單了,直接讀取兩個(gè)表的索引樹進(jìn)行比較就完事了嗷,我這邊介紹一下無索引的處理方式

        Nested Loop Join

        嵌套循環(huán),每次只讀取表中的一行數(shù)據(jù),也就是說如果outerTable有10萬行數(shù)據(jù), innerTable有100行數(shù)據(jù),需要讀取10000000次(假設(shè)這兩個(gè)表的文件沒有被操作系統(tǒng)給緩存到內(nèi)存, 我們稱之為冷數(shù)據(jù)表)
        當(dāng)然現(xiàn)在沒啥數(shù)據(jù)庫引擎使用這種算法(太慢了)

        Block nested loop

        Block 塊,也就是說每次都會(huì)取一塊數(shù)據(jù)到內(nèi)存以減少I/O的開銷
        當(dāng)沒有索引可以使用的時(shí)候,MySQL InnoDB 就會(huì)使用這種算法
        考慮以下兩個(gè)表 t_a 和t_b
        當(dāng)無法使用索引執(zhí)行join操作的時(shí)候,InnoDB會(huì)自動(dòng)使用Block nested loop 算法

        總結(jié)

        上學(xué)時(shí),數(shù)據(jù)庫老師最喜歡考數(shù)據(jù)庫范式,直到上班才學(xué)會(huì)一切以性能為準(zhǔn),能冗余就冗余,實(shí)在冗余不了的就join如果join真的影響到性能。試著調(diào)大你的join_buffer_size, 或者換固態(tài)硬盤。

        參考資料

        《深入理解計(jì)算機(jī)系統(tǒng)》- 第6章 存儲(chǔ)器層次結(jié)構(gòu)https://www.linuxatemyram.com/play.html 作者通過幾個(gè)例子來說明硬盤緩存對(duì)程序執(zhí)行性能的影響https://www.linuxatemyram.com/ Free參數(shù)的解釋https://www.thegeekdiary.com/how-to-clear-the-buffer-pagecache-disk-cache-under-linux/ 文章開頭送分題命令的解釋

        https://juejin.im/book/5bffcbc9f265da614b11b731/section/5c061a4de51d451df113c10d MySQL 是怎樣運(yùn)行的:從根兒上理解 MySQL

        https://mariadb.com/kb/en/block-based-join-algorithms/ 來自MariaDB官方文檔解釋了Block-Nested-Loop算法的實(shí)現(xiàn)


        - END -

        最近熱文

        ?  12門課100分,直博清華的學(xué)霸火了!“造假都不敢這么寫”
        ?  微信這項(xiàng)功能即將下線,趕快導(dǎo)出數(shù)據(jù)!
        ?  華為奇葩面試題:一頭牛重800公斤一座橋承重700公斤,請(qǐng)問牛怎么過橋?
        ?  985研究生組團(tuán)詐騙,一個(gè)中招就關(guān)App,涉案金額超1億,受害人遍布全國

        瀏覽 50
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        評(píng)論
        圖片
        表情
        推薦
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報(bào)
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            成人三级经典 | 张文慈三级在线无删电影 | 日屄在线视频 | 美女激情网站 | 色老头一区二区三区 | 美女诱惑我视频网址网站免费观看 | 成人黄色电影天堂 | 久久人色 | 久久国产成人午夜AV影院宅 | 国产探花伦理在线观看 |