1. <strong id="7actg"></strong>
    2. <table id="7actg"></table>

    3. <address id="7actg"></address>
      <address id="7actg"></address>
      1. <object id="7actg"><tt id="7actg"></tt></object>

        Facebook推出圖像增強(qiáng)庫:Augly

        共 3050字,需瀏覽 7分鐘

         ·

        2021-11-05 14:55

        點(diǎn)擊下方AI算法與圖像處理”,一起進(jìn)步!

        重磅干貨,第一時間送達(dá)

        左:原始圖像,右:使用Augly(作者創(chuàng)建的圖像)增強(qiáng)后

        Facebook最近發(fā)布了[1]一個增強(qiáng)庫Augly,它結(jié)合了多種數(shù)據(jù)(音頻、圖像、視頻和文本)。
        數(shù)據(jù)擴(kuò)充是增加標(biāo)記訓(xùn)練數(shù)據(jù)的大小和多樣性的常用技術(shù),這也有助于建立穩(wěn)健的模型。
        這里我只關(guān)注我在圖像上測試的幾個增強(qiáng)函數(shù),但是這個庫也可以用于文本和音頻。
        Augly更致力于社交媒體平臺的變革,包括Facebook。因此,除了通常的裁剪、翻轉(zhuǎn)外,其他增強(qiáng)功能還包括對圖像/視頻共享平臺所做的非常逼真的轉(zhuǎn)換,如疊加圖像、表情符號、文本等。
        根據(jù)Facebook新聞稿,其中一個主要的重要應(yīng)用是:
        檢測特定內(nèi)容的精確副本或近似副本。
        例如,同一條錯誤信息可能以稍有不同的形式重復(fù)出現(xiàn),例如,圖像被裁剪了幾個像素,或者被過濾器或新文本覆蓋而增強(qiáng)。通過向人工智能模型添加大量數(shù)據(jù),他們可以學(xué)會發(fā)現(xiàn)某人何時上傳已知侵權(quán)內(nèi)容,如歌曲或視頻。
        Augly的開發(fā)目的是通過轉(zhuǎn)換(“增強(qiáng)”)數(shù)據(jù)來阻止人們逃避自動檢測系統(tǒng),同時,該庫也用于評估deepfake檢測模型。

        使用Augly進(jìn)行圖像增強(qiáng):
        下面是我用來測試Augly中圖像的一些增強(qiáng)函數(shù)的幾個工作示例。要在Colab中嘗試這一點(diǎn),首先,我們需要安裝Libmagic和Augly
        !pip?install?augly

        !apt-get?install?libmagic-dev

        !pip?install?python-magic

        import?augly.image?as?imaugs
        現(xiàn)在,我們已經(jīng)準(zhǔn)備好使用Augly,但在此之前,我們需要加載一個示例圖像。讓我們這樣做
        from?skimage?import?data

        camera?=?data.astronaut()
        因?yàn)锳ugly使用PIL格式,所以讓我們對其進(jìn)行轉(zhuǎn)換-
        from?PIL?import?Image

        camera_pil?=?Image.fromarray(camera)

        camera_pil.show()
        圖1:使用Skipage加載的原始圖像:
        這是我們的原始圖像。順便說一下,她叫艾琳·柯林斯,1992年被選為宇航員,1995年首次駕駛STS-63號航天飛機(jī)。
        首先,讓我們從一些相對簡單的增強(qiáng)函數(shù)開始,比如改變透視圖
        aug_perspective?=?imaugs.PerspectiveTransform(sigma=20.0)

        camera_pil_perspective?=?aug_perspective(camera_pil)

        camera_pil_perspective.show()
        圖1的透視變換:
        這里 sigma 指的是目標(biāo)坐標(biāo)分布的標(biāo)準(zhǔn)差, sigma 值越高,轉(zhuǎn)換越強(qiáng)烈。
        我們還可以隨機(jī)更改縱橫比,如下所示-
        aug_aspect?=?imaugs.RandomAspectRatio()

        camera_pil_aspect?=?aug_aspect(camera_pil)

        camera_pil_aspect.show()
        在圖1上隨機(jī)改變縱橫比:
        我們還可以通過添加一些飽和度來增強(qiáng)圖像
        aug_saturation?=?imaugs.Saturation(factor=5.0)

        camera_pil_sat?=?aug_saturation(camera_pil)

        camera_pil_sat.show()
        增加圖1中原始圖像的飽和度:
        現(xiàn)在,讓我們來看一些可以使用Augly添加的獨(dú)特轉(zhuǎn)換。首先,我嘗試覆蓋條紋,變換后的圖像如下所示
        在原始圖1上覆蓋條紋:
        用于上述轉(zhuǎn)換的代碼是
        camera_pil_overlay_stripes?=?imaugs.overlay_stripes(camera_pil,?line_type=’dashed’,?line_opacity=0.5,?line_color=(120,?0,?200),?line_angle=25.0)

        camera_pil_overlay_stripes.show()
        疊加文本怎么樣?這也是可能的
        將文本覆蓋在原始圖1上:
        我們還可以添加表情符號-
        camera_pil_overlay_emoji?=?imaugs.overlay_emoji(camera_pil)

        camera_pil_overlay_emoji.show()
        將表情符號疊加在原始圖1上:
        我們還可以變換圖像,使其看起來像Instagram上的屏幕截圖
        將Instagram屏幕快照覆蓋在原始圖1上:
        代碼塊如下所示
        import?os

        import?augly.utils?as?utils

        aug_overlay?=?imaugs.OverlayOntoScreenshot(template_filepath=os.path.join(utils.SCREENSHOT_TEMPLATES_DIR,?“mobile.png”))

        camera_pil_overlay?=?aug_overlay(camera_pil)

        camera_pil_overlay.show()
        通過將覆蓋圖像mobile.png更改為web.png,我們可以獲得另一個轉(zhuǎn)換
        將Instagram網(wǎng)頁的屏幕截圖覆蓋在原始圖1上:
        我個人認(rèn)為,這些轉(zhuǎn)換非???,正如Facebook在新聞稿中提到的,它們旨在理解人類與社交媒體的互動。我相信對語音和語言處理感興趣的人也會發(fā)現(xiàn)這個庫非常有用。
        感謝Facebook使這個庫開源,感謝Joanna Bitton&Zoe Papkipos,我相信他們是這個項(xiàng)目背后的主要智囊。
        參考資料:
        [1] FacebookAugly的新聞稿:https://ai.facebook.com/blog/augly-a-new-data-augmentation-library-to-help-build-more-robust-ai-models/
        [2] ?Augly : GitHub(https://github.com/facebookresearch/AugLy)
        [3] 本文使用的筆記本鏈接:https://github.com/suvoooo/Machine_Learning/blob/master/Augly_Try.ipynb。

        努力分享優(yōu)質(zhì)的計算機(jī)視覺相關(guān)內(nèi)容,歡迎關(guān)注:

        交流群


        歡迎加入公眾號讀者群一起和同行交流,目前有美顏、三維視覺、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群


        個人微信(如果沒有備注不拉群!
        請注明:地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



        下載1:何愷明頂會分享


        AI算法與圖像處理」公眾號后臺回復(fù):何愷明,即可下載。總共有6份PDF,涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析


        下載2:終身受益的編程指南:Google編程風(fēng)格指南


        AI算法與圖像處理」公眾號后臺回復(fù):c++,即可下載。歷經(jīng)十年考驗(yàn),最權(quán)威的編程規(guī)范!



        下載3 CVPR2021

        AI算法與圖像處公眾號后臺回復(fù):CVPR即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文



        瀏覽 58
        點(diǎn)贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報
        評論
        圖片
        表情
        推薦
        點(diǎn)贊
        評論
        收藏
        分享

        手機(jī)掃一掃分享

        分享
        舉報
        1. <strong id="7actg"></strong>
        2. <table id="7actg"></table>

        3. <address id="7actg"></address>
          <address id="7actg"></address>
          1. <object id="7actg"><tt id="7actg"></tt></object>
            操逼1级片 | 国产一级a毛一级a毛片视频 | 手机在线看片日韩 | 精品国产Av无码久久久影音先锋 | 孕妇裸体网站 | 青草视频网站 | 1级大片 爆乳极品自慰91久久久久 | 日本一级淫片免费啪啪3 | 国产精品操逼视频 | 99热这里有精品 |