1. Milvus向量數(shù)據(jù)庫

        聯(lián)合創(chuàng)作 · 2023-09-29 03:18

        Milvus 向量數(shù)據(jù)庫能夠幫助用戶輕松應(yīng)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)(圖片/視頻/語音/文本)檢索。單節(jié)點(diǎn) Milvus 可以在秒內(nèi)完成十億級(jí)的向量搜索(請(qǐng)參考:在線教程),分布式架構(gòu)亦能滿足用戶的水平擴(kuò)展需求。

        Milvus 向量數(shù)據(jù)庫的應(yīng)用場(chǎng)景包括:互聯(lián)網(wǎng)娛樂(圖片搜索/視頻搜索)、新零售(以圖搜商品)、智慧金融(用戶認(rèn)證)和智能物流(車輛識(shí)別)等領(lǐng)域。

        希望 Milvus 向量數(shù)據(jù)庫能幫助更多的用戶應(yīng)對(duì)非結(jié)構(gòu)數(shù)據(jù)和AI帶來的機(jī)遇與挑戰(zhàn)。

        數(shù)據(jù)智能的挑戰(zhàn)

        隨著信息化技術(shù)的不斷進(jìn)步,人們正經(jīng)歷爆炸式的數(shù)據(jù)增長(zhǎng)。非結(jié)構(gòu)數(shù)據(jù)(如圖片、視頻、語音和文字)比傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)更快,數(shù)據(jù)量更大。之所以稱其為非結(jié)構(gòu)數(shù)據(jù),是因?yàn)檫@些數(shù)據(jù)無法以傳統(tǒng)方式進(jìn)行處理與價(jià)值挖掘。如何從非結(jié)構(gòu)數(shù)據(jù)中提取有價(jià)值的內(nèi)容與信息,已經(jīng)逐漸成為企業(yè)進(jìn)一步挖掘數(shù)據(jù)價(jià)值的關(guān)鍵。

        深度學(xué)習(xí)目前被認(rèn)為是最有效的非結(jié)構(gòu)數(shù)據(jù)處理方式之一。非結(jié)構(gòu)數(shù)據(jù)經(jīng)過深度學(xué)習(xí)模型的處理,會(huì)被向量化。于是,海量非結(jié)構(gòu)數(shù)據(jù)的分析處理被轉(zhuǎn)化為對(duì)海量向量的近似搜索。雖然處理圖片,視頻,語音和文字的深度學(xué)習(xí)模型各不相同,但最終的向量處理需求卻是相同的。因此,向量數(shù)據(jù)庫是 AI 應(yīng)用的基石之一。

        Milvus,開源 AI 基礎(chǔ)組件

        Milvus 是一個(gè)開源的分布式向量數(shù)據(jù)庫。Milvus 數(shù)據(jù)庫不但集成了業(yè)界成熟的向量相似度搜索技術(shù),更在此基礎(chǔ)上對(duì)高性能計(jì)算框架進(jìn)行了大幅度優(yōu)化。Milvus 為 AI 應(yīng)用開發(fā)者帶來了如下價(jià)值:

        高性能

        Milvus 數(shù)據(jù)庫為海量向量搜索場(chǎng)景而設(shè)計(jì)。Milvus 不但集成了業(yè)界成熟的向量搜索技術(shù)如 Faiss 和 SPTAG,Milvus 也實(shí)現(xiàn)了高效的 NSG 圖索引。同時(shí),Milvus 團(tuán)隊(duì)針對(duì) Faiss IVF 索引進(jìn)行了深度優(yōu)化,實(shí)現(xiàn)了 CPU 與多 GPU 的融合計(jì)算,大幅提高了向量搜索性能。Milvus 數(shù)據(jù)庫可以在單機(jī)環(huán)境下完成 SIFT1b 十億級(jí)向量搜索任務(wù)。

        更多信息請(qǐng)參考 GitHub 文檔:https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md

        智能索引

        針對(duì)不同應(yīng)用場(chǎng)景,Milvus 數(shù)據(jù)庫提供多種向量相似度計(jì)算方式和索引類型。Milvus 數(shù)據(jù)庫目前支持主流的歐式距離、點(diǎn)積、余弦相似度(未來 Milvus 數(shù)據(jù)庫會(huì)集成更多的相似度計(jì)算方式)。同時(shí),Milvus 數(shù)據(jù)庫提供適用于 n:N 查詢的量化索引,適用于 1:N 查詢的圖索引或樹圖混合索引。

        Milvus 索引類型:

        • IVF:Faiss IVF(CPU計(jì)算,或GPU計(jì)算),Milvus 深度優(yōu)化的IVF(CPU/GPU混合計(jì)算)
        • Graph:Milvus 數(shù)據(jù)庫實(shí)現(xiàn)的 NSG 索引
        • Tree & Graph:集成微軟 SPTAG
        • IVF & Graph:Milvus 實(shí)現(xiàn)中

        易于開發(fā)

        Milvus 數(shù)據(jù)庫為用戶提供向量數(shù)據(jù)管理服務(wù),以及集成的應(yīng)用開發(fā) SDK(Java/Python/C++/RESTful API)。相比直接調(diào)用 Faiss 和 SPTAG 那樣的程序庫,Milvus 數(shù)據(jù)庫上的應(yīng)用開發(fā)更便捷,數(shù)據(jù)管理更簡(jiǎn)單。

        計(jì)算成本可控

        Milvus 數(shù)據(jù)庫不僅提供傳統(tǒng)的 CPU 計(jì)算方案,通過引入 GPU 等高算力 ASIC,Milvus 數(shù)據(jù)庫可以有效降低大規(guī)模向量搜索所需的硬件規(guī)模,從而降低系統(tǒng)的成本。

        應(yīng)用場(chǎng)景廣泛

        Milvus 向量數(shù)據(jù)庫可以對(duì)接包括圖片識(shí)別,視頻處理,聲音識(shí)別,自然語言處理等深度學(xué)習(xí)模型。為向量化后的非結(jié)構(gòu)數(shù)據(jù)提供搜索分析服務(wù)。

        歡迎加入Milvus社區(qū)

        • 主頁: milvus.io
        • Github:github.com/milvus-io/milvus
        • 知乎: zhuanlan.zhihu.com/milvus
        • Slack: milvusio.slack.com
        • Twitter:twitter.com/milvusio
        • Facebook:www.facebook.com/io.milvus.5
        瀏覽 29
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        編輯 分享
        舉報(bào)
        評(píng)論
        圖片
        表情
        推薦
        點(diǎn)贊
        評(píng)論
        收藏
        分享

        手機(jī)掃一掃分享

        編輯 分享
        舉報(bào)
          
          

            1. 色鬼网在线观看 | 做爱成人网站视频免费观看做爱 | 杨幂ai换脸激情一区二区 | 日本激情国产 | 性爱在线观看视频 |