1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        巧用 Redis,實現(xiàn)微博 Feed 流功能!

        共 13072字,需瀏覽 27分鐘

         ·

        2023-10-13 18:12

        6d0ba74e29fa92fff560d343be699705.webp來源:blog.csdn.net/dearKundy/article/details/103216433

        ?? 歡迎加入小哈的星球 ,你將獲得: 專屬的項目實戰(zhàn)/ Java 學(xué)習(xí)路線 / 一對一提問 / 學(xué)習(xí)打卡


        目前, 正在星球內(nèi)部帶小伙伴做第一個項目:前后端分離博客,手摸手,后端 + 前端全棧開發(fā),從 0 到 1 講解每個功能點開發(fā)步驟,1v1 答疑,直到項目上線。目前已更新了90小節(jié),累計12w+字,講解圖:612張,還在持續(xù)爆肝中.. 后續(xù)還會上新更多項目,如秒殺系統(tǒng), 在線商城, IM即時通訊等,戳我加入學(xué)習(xí),已有280+小伙伴加入(目前最低價)

        背景

        最近接到一個需求,用一句話來說就是:展示關(guān)注人發(fā)布的動態(tài),這個涉及到 feed 流系統(tǒng)的設(shè)計。本文主要介紹一個一般企業(yè)可用的 Feed 流解決方案。

        相關(guān)概念

        下面先介紹一下關(guān)于 Feed 流的簡單概念。

        什么是 feed 流

        • Feed:Feed 流中的每一條狀態(tài)或者消息都是 Feed,比如微博中的一條微博就是一個 Feed。
        • Feed流:持續(xù)更新并呈現(xiàn)給用戶內(nèi)容的信息流。每個人的朋友圈,微博關(guān)注頁等等都是一個 Feed 流。

        feed 流分類

        Feed 流常見的分類有兩種:

        • Timeline:按發(fā)布的時間順序排序,產(chǎn)品如果選擇 Timeline 類型,那么就是認(rèn)為 Feed 流中的 Feed 不多,但是每個 Feed 都很重要,都需要用戶看到。類似于微信朋友圈,微博等。
        • Rank:按某個非時間的因子排序,一般是按照用戶的喜好度排序,一般用于新聞推薦類、商品推薦等。

        設(shè)計

        ?

        設(shè)計一個 Feed 流系統(tǒng),兩個關(guān)鍵步驟,一個是 Feed 流的 初始化,一個是 推送。關(guān)于 Feed 流的存儲其實也是一個核心的點,但是筆主持久化使用的還是 MySQL,后續(xù)可以考慮優(yōu)化。

        ?

        Feed 流初始化

        Feed 流【關(guān)注頁 Feed 流】的初始化指的是,當(dāng)用戶的 Feed 流還不存在的時候,為該用戶創(chuàng)建一個屬于他自己的關(guān)注頁 Feed 流,具體怎么做呢?其實很簡單,遍歷一遍關(guān)注列表,取出所有關(guān)注用戶的 feed,將 feedId 存放到 redis 的 sortSet 中即可。這里面有幾個關(guān)鍵點:

        • 初始化數(shù)據(jù):初始化的數(shù)據(jù)需要從數(shù)據(jù)庫中加載出來。
        • key 值:sortSet 的 key 值需要使用當(dāng)前用戶的 id 做標(biāo)識。
        • score 值:如果是 Timeline 類型,直接取 feed 創(chuàng)建的時間戳即可。如果是 rank 類型,則把你的業(yè)務(wù)對應(yīng)的權(quán)重值設(shè)進去。

        推送

        經(jīng)過上面的初始化,已經(jīng)把 feed 流放在了 redis 緩存中了。接下來就是需要更新 feed 流了,在下面四種情況需要進行更新:

        • 關(guān)注的用戶發(fā)布新的 feed:
        • 關(guān)注的用戶刪除 feed。
        • 用戶新增關(guān)注。
        • 用戶取消關(guān)注。

        發(fā)布/刪除 Feed 流程

        上面四步具體怎么操作,會在下面的實現(xiàn)步驟中詳細描述,在這里先我們重點討論一下第一、二種情況。因為在處理 大V 【千萬級別粉絲】的時候,我們是需要對 大V 的所有粉絲的 feed 流進行處理的,這時候涉及到的量就會非常巨大,需要多加斟酌。關(guān)于推送,一般有兩種 推/拉。

        • 推:A用戶發(fā)布新的動態(tài)時,要往 A用戶所有的粉絲 feed 流中推。
        • 拉:A用戶發(fā)布新的動態(tài)時,先不進行推送,而是等 粉絲進來的時候,才主動到 A用戶的個人頁TimeLine 拉取最新的 feed,然后進行一個 merge。如果關(guān)注了多個大V,可以并發(fā)的向多個大V 個人頁TimeLine 中拉取。

        推拉結(jié)合模式

        當(dāng)用戶發(fā)布一條新的 Feed 時,處理流程如下:

        1. 先從關(guān)注列表中讀取到自己的粉絲列表,以及判斷自己是否是大V。
        2. 將自己的Feed消息寫入個人頁Timeline。如果是大V,寫入流程到此就結(jié)束了。
        3. 如果是普通用戶,還需要將自己的Feed消息寫給自己的粉絲,如果有100個粉絲,那么就要寫給100個用戶。

        當(dāng)刷新自己的Feed流的時候,處理流程如下:

        1. 先去讀取自己關(guān)注的大V列表
        2. 去讀取自己的 Feed 流。
        3. 如果有關(guān)注的大V,則再次并發(fā)讀取每一個大V的個人頁Timeline,如果關(guān)注了10個大V,那么則需要10次訪問。
        4. 合并2和3步的結(jié)果,然后按時間排序,返回給用戶。

        至此,使用推拉結(jié)合方式的發(fā)布,讀取Feed流的流程都結(jié)束了。

        推模式

        如果只是用推模式了,則會變的比較簡單:

        「發(fā)布Feed:」

        不用區(qū)分是否大V,所有用戶的流程都一樣,都是三步。

        「讀取Feed流:」

        不需要第一步,也不需要第三步,只需要第二步即可,將之前的2 + N(N是關(guān)注的大V個數(shù)) 次網(wǎng)絡(luò)開銷減少為 1 次網(wǎng)絡(luò)開銷。讀取延時大幅降級。

        兩種模式總結(jié):

        推拉結(jié)合存在一個弊端,就是刷新自己的Feed流時,大V的個人頁Timeline 的讀壓力會很大。

        如何解決:

        • 不使用大V/普通用戶的優(yōu)化方式,使用對活躍粉絲采用推模式,非活躍粉絲采用拉模式。
        • 完全使用推模式就可以徹底解決這個問題,但是會帶來存儲量增大,大V Feed 發(fā)送總時間增大,從發(fā)給第一個粉絲到發(fā)給最后一個粉絲可能要幾分鐘時間。

        實現(xiàn)

        筆主主要采用純推模式實現(xiàn)了一個普通企業(yè)基本可用的 Feed 流系統(tǒng),下面介紹一下具體的實現(xiàn)代碼,主要包括3大個部分:

        • 初始化 Feed 流。
        • 關(guān)注的用戶發(fā)布/刪除 feed,該用戶的粉絲更新自己的Feed流。
        • 用戶新增/取消關(guān)注,更新自己的Feed流。

        初始化 Feed 流

        當(dāng)用戶第一進來刷新Feed 流,且 Feed 流還不存在時,我們需要進行初始化,初始化的具體代碼如下:核心思想就是從數(shù)據(jù)庫中l(wèi)oad出 feed 信息,塞到 zSet 中,然后分頁返回。

              
              /**
         * 獲取關(guān)注的人的信息流
         */
        public List<FeedDto> listFocusFeed(Long userId, Integer page, Integer size) {
            String focusFeedKey = "focusFeedKey" + userId;

            // 如果 zset 為空,先初始化
            if (!zSetRedisTemplate.exists(focusFeedKey)) {
                initFocusIdeaSet(userId);
            }

            // 如果 zset 存在,但是存在 0 值
            Double zscore = zSetRedisTemplate.zscore(focusFeedKey, "0");
            if (zscore != null && zscore > 0) {
                return null;
            }

            //分頁
            int offset = (page - 1) * size;

            long score = System.currentTimeMillis();
            // 按 score 值從大到小從 zSet 中取出 FeedId 集合
            List<String> list = zSetRedisTemplate.zrevrangeByScore(focusFeedKey, score, 0, offset, size);

            List<FeedDto> result = new ArrayList<>();
            if (QlchatUtil.isNotEmpty(list)) {
                for (String s : list) {
                    // 根據(jù) feedId 從緩存中 load 出 feed
                    FeedDto feedDto = this.loadCache(Long.valueOf(s));
                    if (feedDto != null) {
                        result.add(feedDto);
                    }
                }
            }
            return result;
        }

        /**
         * 初始化關(guān)注的人的信息流 zSet
         */
        private void initFocusFeedSet( Long userId) {
            String focusFeedKey = "focusFeedKey" + userId;
            zSetRedisTemplate.del(focusIdeaKey);

            // 從數(shù)據(jù)庫中加載當(dāng)前用戶關(guān)注的人發(fā)布過的 Feed
            List<Feed> list = this.feedMapper.listFocusFeed(userId);

            if (QlchatUtil.isEmpty(list)) {
                //保存0,避免空數(shù)據(jù)頻繁查庫
                zSetRedisTemplate.zadd(focusFeedKey, 1, "0");
                zSetRedisTemplate.expire(focusFeedKey, RedisKeyConstants.ONE_MINUTE * 5);
                return;
            }

            // 遍歷 FeedList,把 FeedId 存到 zSet 中
            for (Feed feed : list) {
                zSetRedisTemplate.zadd(focusFeedKey, feed.getCreateTime().getTime(), feed.getId().toString());
            }

            zSetRedisTemplate.expire(focusFeedKey, 60 * 60 * 60);
        }

        關(guān)注的用戶發(fā)布/刪除新的 feed

        每當(dāng)用戶發(fā)布/刪除新的 feed,我們需要更新該用戶所有的粉絲的 Feed流,該步驟一般比較耗時,所以建議異步處理,為了避免一次性load出太多的粉絲數(shù)據(jù),這里采用循環(huán)分頁查詢。為了避免粉絲的 Feed流過大,我們會限制 Feed 流的長度為1000,當(dāng)Feed流長度超過1000時,會移除最舊的 Feed。

              
              /**
         * 新增/刪除 feed時,處理粉絲 feed 流
         *
         * @param userId 新增/刪除 feed的用戶id
         * @param feedId 新增/刪除 的feedId
         * @param type   feed_add = 新增feed feed_sub = 刪除feed
         */
        public void handleFeed(Long userId, Long feedId, String type) {

            Integer currentPage = 1;
            Integer size = 1000;
            List<FansDto> fansDtos;

            while (true) {
                Page page = new Page();
                page.setSize(size);
                page.setPage(currentPage);
                fansDtos = this.fansService.listFans(userId, page);

                for (FansDto fansDto : fansDtos) {
                    String focusFeedKey = "focusFeedKey" + userId;

                    // 如果粉絲 zSet 不存在,退出
                    if (!this.zSetRedisTemplate.exists(focusFeedKey)) {
                        continue;
                    }

                    // 新增Feed
                    if ("feed_add".equals(type)) {
                        this.removeOldestZset(focusFeedKey);
                        zSetRedisTemplate.zadd(focusFeedKey, System.currentTimeMillis(), feedId);
                    }
                    // 刪除Feed
                    else if ("feed_sub".equals(type)) {
                        zSetRedisTemplate.zrem(focusFeedKey, feedId);
                    }

                }

                if (fansDtos.size() < size) {
                    break;
                }
                currentPage++;
            }

        }

        /**
         * 刪除 zSet 中最舊的數(shù)據(jù)
         */
        private void removeOldestZset(String focusFeedKey){
            // 如果當(dāng)前 zSet 大于1000,刪除最舊的數(shù)據(jù)
            if (this.zSetRedisTemplate.zcard(focusFeedKey) >= 1000) {
                // 獲取當(dāng)前 zSet 中 score 值最小的
                List<String> zrevrange = this.zSetRedisTemplate.zrevrange(focusFeedKey, -1, -1, String.class);
                if (QlchatUtil.isNotEmpty(zrevrange)) {
                    this.zSetRedisTemplate.zrem(focusFeedKey, zrevrange.get(0));
                }
            }
        }

        用戶新增關(guān)注/取消關(guān)注

        這里比較簡單,新增/取消關(guān)注,把新關(guān)注的 Feed 往自己的 Feed流中增加/刪除 即可,但是同樣需要異步處理。

              
              /**
         * 關(guān)注/取關(guān) 時,處理followerId的zSet
         *
         * @param followId   被關(guān)注的人
         * @param followerId 當(dāng)前用戶
         * @param type       focus = 關(guān)注 unfocus = 取關(guān)
         */
        public void handleFocus( Long followId, Long followerId, String type) {

            String focusFeedKey = "focusFeedKey" + userId;

            // 如果粉絲 zSet 不存在,退出
            if (!this.zSetRedisTemplate.exists(focusFeedKey)) {
                return;
            }
            List<FeedDto> FeedDtos = this.listFeedByFollowId(source, followId);
            for (FeedDto feedDto : FeedDtos) {

                // 關(guān)注
                if ("focus".equals(type)) {
                    this.removeOldestZset(focusFeedKey);
                    this.zSetRedisTemplate.zadd(focusFeedKey, feedDto.getCreateTime().getTime(), feedDto.getId());
                }
                // 取關(guān)
                else if ("unfocus".equals(type)) {
                    this.zSetRedisTemplate.zrem(focusFeedKey, feedDto.getId());
                }


            }
        }

        上面展示的是核心代碼,僅僅是為大家提供一個實現(xiàn)思路,并不是直接可運行的代碼,畢竟真正實現(xiàn)還會涉及到很多其他的無關(guān)要緊的類。

        最后

        在這里已經(jīng)介紹完一個簡單可用的 Feed流系統(tǒng),歡迎各路大神指出錯誤,多提意見!

              

        ?? 歡迎加入小哈的星球 ,你將獲得: 專屬的項目實戰(zhàn) / Java 學(xué)習(xí)路線 / 一對一提問 / 學(xué)習(xí)打卡


        目前, 正在星球內(nèi)部帶小伙伴做第一個項目:前后端分離博客,手摸手,后端 + 前端全棧開發(fā),從 0 到 1 講解每個功能點開發(fā)步驟,1v1 答疑,直到項目上線。目前已更新了90小節(jié),累計12w+字,講解圖:612張,還在持續(xù)爆肝中.. 后續(xù)還會上新更多項目,如秒殺系統(tǒng), 在線商城, IM即時通訊等,戳我加入學(xué)習(xí),已有280+小伙伴加入(目前最低價)

                

                    
                      
                        
                          

        1. 誰家面試往死里問 Swagger ???

        2. UUID的弊端以及雪花算法

        3. 不到 20 人的 IT 公司該去嗎?

        4. 還在使用 RestTemplate?來了解一下官方推薦的 WebClient !

                            

        最近面試BAT,整理一份面試資料 Java面試BATJ通關(guān)手冊 ,覆蓋了Java核心技術(shù)、JVM、Java并發(fā)、SSM、微服務(wù)、數(shù)據(jù)庫、數(shù)據(jù)結(jié)構(gòu)等等。

        獲取方式:點“ 在看 ”,關(guān)注公眾號并回復(fù)  Java  領(lǐng)取,更多內(nèi)容陸續(xù)奉上。

                            

        PS:因公眾號平臺更改了推送規(guī)則,如果不想錯過內(nèi)容,記得讀完點一下 在看 ,加個 星標(biāo) ,這樣每次新文章推送才會第一時間出現(xiàn)在你的訂閱列表里。

        “在看”支持小哈呀,謝謝啦

        瀏覽 40
        點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
        評論
        圖片
        表情
        推薦
        點贊
        評論
        收藏
        分享

        手機掃一掃分享

        分享
        舉報
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            a√免费看 | 夜夜撸网站| 久草精品视频在线播放 | 亚州视频在线观看 | 看免费操逼的 | 操逼视频网站观看 | 中文字幕视频2023 | 少妇一级婬片免费看… | 四虎国产精品永久地址998 | 啊~我是sao货快cao我变态 |