《redis in action》文件分發(fā)寫點(diǎn)筆記關(guān)注共 981字，需瀏覽 2分鐘 ·2021-05-10 02:18 什么是文件分發(fā)？我們知道在計(jì)算機(jī)系統(tǒng)中經(jīng)常需要將一批數(shù)據(jù)進(jìn)行一定的處理，但是這些數(shù)據(jù)往往不在一臺機(jī)器上，也就是說是夸機(jī)器存在的。如果我們說要將這些分散的數(shù)據(jù)進(jìn)行統(tǒng)一存放，并進(jìn)行統(tǒng)一的處理操作，那么該怎么做？極端一點(diǎn)就假如說我們分散在每個機(jī)器上的數(shù)據(jù)有好幾個G，你又怎么做？如果咋將這些數(shù)據(jù)通過網(wǎng)絡(luò)一批次發(fā)送到一臺機(jī)器，網(wǎng)絡(luò)斷了，服務(wù)宕機(jī)了，內(nèi)存不夠了又怎么辦。是不是瞬間覺得好復(fù)雜呀，有沒有什么能搞定這個事？這塊我們就要用微分的思想了，這塊我們要記得一個原理就是一切事情均可以微分。好比你決定送你喜歡的人一朵花，并請對方吃一頓大餐一樣。你微分下來就變成一些關(guān)鍵的步驟，你不僅可以微分你的動作，甚至還可以微分對方的變化，當(dāng)你微分學(xué)到一定程度的時候，還有什么你無法操作的，都so easy的好么。先不扯這些了。剛才說要用微分的思想去解決數(shù)G的數(shù)據(jù)文件，那么就將數(shù)據(jù)文件拆散成一條條數(shù)據(jù)，因?yàn)閿?shù)據(jù)都在不同的機(jī)器上，那么如果是嚴(yán)格的按照機(jī)器和時間去排序，那么就可能需要對數(shù)據(jù)結(jié)構(gòu)進(jìn)行決策，可以采用zset。在數(shù)據(jù)生成之后就需要將數(shù)據(jù)發(fā)送到redis中統(tǒng)一保存，這樣數(shù)據(jù)就不再是分離的。通過將大數(shù)據(jù)文件拆成單個記錄，然后通過redis客戶端保存到redis服務(wù)器這種微分思想，就非常輕松的避免了網(wǎng)絡(luò)中斷、服務(wù)宕機(jī)導(dǎo)致原始文件傳輸?shù)母鞣N問題。在數(shù)據(jù)傳輸完畢之后，我們就可以發(fā)起處理請求，讓數(shù)據(jù)處理程序?qū)Ρ４嬖趓edis中的數(shù)據(jù)進(jìn)行處理。在處理完畢之后將redis中的數(shù)據(jù)進(jìn)行刪除，并保存最終計(jì)算服務(wù)所得出的數(shù)據(jù)值即可。除此之外，有些數(shù)據(jù)統(tǒng)計(jì)性質(zhì)的工作其實(shí)可以在服務(wù)器本地進(jìn)行處理。而不用將數(shù)據(jù)統(tǒng)一存儲于redis中，我們只需要在各個服務(wù)的本地將數(shù)據(jù)文件的計(jì)算結(jié)果保存到redis服務(wù)器上，要么公用redis變量要么使用一定規(guī)則讓最后的統(tǒng)計(jì)服務(wù)從redis中拿取中間計(jì)算結(jié)果，并最終通過計(jì)算得出最終的結(jié)論入庫即可。綜合上述，我們知道解決大問題的根本辦法是微分。成大事的基本法則是積分。所以我們都應(yīng)該注重細(xì)節(jié)，且行且珍惜。周末愉快！ 瀏覽 59點(diǎn)贊 評論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào) 評論圖片表情視頻評價(jià)全部評論推薦 Redis in ActionRedis in Action0Redis in ActionRedis is an innovative data tool that offers more AFD遠(yuǎn)程文件分發(fā)AFD是一個用來自動部署和分發(fā)文件到本地和遠(yuǎn)程主機(jī)。這個文件是分布式通過FTP或者SMTP,可以發(fā)送在并行和優(yōu)先級。它提供了一個GUI監(jiān)視和控制分配和廣泛的日志記錄所有的活動。《redis in action》redis事務(wù)寫點(diǎn)筆記0AFD遠(yuǎn)程文件分發(fā)AFD是一個用來自動部署和分發(fā)文件到本地和遠(yuǎn)程主機(jī)。這個文件是分布式通過FTP或者SMTP,可以發(fā)送DragonflyP2P 文件分發(fā)系統(tǒng)Dragonfly（蜻蜓）是阿里自研并捐獻(xiàn)給CNCF的P2P文件分發(fā)系統(tǒng)，用于解決大規(guī)模文件分發(fā)場景下分發(fā)耗時、成功率低、帶寬浪費(fèi)等難題。大幅提升發(fā)布部署、數(shù)據(jù)預(yù)熱、大規(guī)模容器鏡像分發(fā)等業(yè)務(wù)能力。Dr《redis in action》redis復(fù)制寫點(diǎn)筆記0DragonflyP2P 文件分發(fā)系統(tǒng)Dragonfly（蜻蜓）是阿里自研并捐獻(xiàn)給 CNCF 的 P2P 文件分發(fā)系統(tǒng)，用于解決大規(guī)模文件《redis in action》redis發(fā)布訂閱寫點(diǎn)筆記0《redis in action》Redis分布式鎖寫點(diǎn)筆記0點(diǎn)贊 評論 收藏 分享 手機(jī)掃一掃分享分享 舉報(bào)
下載APP下載APP