Quickwit云原生分布式搜索引擎

Quickwit 是一個(gè)用于日志管理和分析的開(kāi)源、云原生、分布式搜索引擎。Quickwit 用 Rust 編寫(xiě)，從頭開(kāi)始設(shè)計(jì)，可在大型數(shù)據(jù)集上提供成本效益和高可擴(kuò)展性，是 Elasticsearch 的現(xiàn)代且可靠的替代方案。

Quickwit 特別適合處理大型、不可變數(shù)據(jù)集和相對(duì)較低的平均 QPS。它的好處在多租戶或多索引設(shè)置中最為明顯。

Quickwit 的常見(jiàn)用例包括：

• 搜索和分析日志，從少量數(shù)據(jù)到 TB。
• 為 ClickHouse 等 OLAP 數(shù)據(jù)庫(kù)添加全文搜索功能。
• 通過(guò)在同一存儲(chǔ)上添加 Quickwit 索引文件來(lái)搜索位于云存儲(chǔ)上的備份。

Quickwit 主要功能的非詳盡列表：

• 可擴(kuò)展的分布式搜索：在 Amazon S3 上托管任意數(shù)量的索引，并使用少量無(wú)狀態(tài)搜索實(shí)例池在不到一秒的時(shí)間內(nèi)回答搜索查詢。
• 流索引：從你最喜歡的分布式事件流服務(wù)中提取 TB 數(shù)據(jù)。截至今天，Quickwit 原生支持 Apache Kafka。下一個(gè)版本將支持更多平臺(tái)。
• 不會(huì)丟失數(shù)據(jù)的容錯(cuò)架構(gòu)： Quickwit 實(shí)現(xiàn)了對(duì)索引的一次性處理，并將你的數(shù)據(jù)安全地存儲(chǔ)在高度可靠的對(duì)象存儲(chǔ)服務(wù)上，例如 Amazon S3。
• 云原生，易于操作：得益于真正的計(jì)算和存儲(chǔ)解耦，搜索實(shí)例是無(wú)狀態(tài)的，在幾秒鐘內(nèi)添加或刪除搜索節(jié)點(diǎn)。
• 云/分布式存儲(chǔ)上的亞秒級(jí)全文搜索： Quickwit Search 重新設(shè)計(jì)了索引和索引數(shù)據(jù)結(jié)構(gòu)，在 Amazon S3 上打開(kāi)時(shí)間不到 60ms 。
• 基于時(shí)間的分片：啟用時(shí)，Quickwit 按時(shí)間分片數(shù)據(jù)。借助標(biāo)簽功能，你可以使用第二維對(duì)數(shù)據(jù)進(jìn)行分片。基于時(shí)間的查詢僅訪問(wèn)與查詢時(shí)間范圍匹配的拆分（索引的數(shù)據(jù)片段），從而顯著提高性能。
• Painless 多租戶搜索：為每個(gè)租戶創(chuàng)建索引，而不會(huì)影響查詢性能?；蛘邔⒆鈶舴纸M到一個(gè)索引中，并使用標(biāo)記為你的租戶查詢修剪不相關(guān)的拆分，以顯著提高性能。

特性：

• 索引數(shù)據(jù)持久保存在對(duì)象存儲(chǔ)中
• 攝取帶有或不帶有嚴(yán)格模式的 JSON 文檔
• 攝取和聚合 API Elasticsearch 兼容
• 輕量級(jí)嵌入式用戶界面
• 在一小部分資源上運(yùn)行：用 Rust 編寫(xiě)，由強(qiáng)大的 tantivy 提供支持
• 開(kāi)箱即用，具有合理的默認(rèn)值
• 針對(duì)多租戶進(jìn)行了優(yōu)化。無(wú)需管理費(fèi)用即可添加和擴(kuò)展租戶
• 分布式搜索
• 云原生：Kubernetes 就緒
• 在幾秒鐘內(nèi)添加和刪除節(jié)點(diǎn)
• 解耦計(jì)算和存儲(chǔ)
• Sleep like a log：你所有的索引數(shù)據(jù)都安全地存儲(chǔ)在對(duì)象存儲(chǔ)中（AWS S3...）
• 以準(zhǔn)確無(wú)誤的語(yǔ)義你的文檔
• Kafka 原生攝取
• 在 ClickHouse 中顯著解鎖全文搜索的搜索流 API