黄色日皮网站,激情插逼网站,国产无码自拍,国产婷婷精品,操逼逼逼逼,免费性生活片,狠狠人妻久久久久久综合,含紧一点h楼梯边做边走视

新智元報(bào)道

編輯：好困

【新智元導(dǎo)讀】在今年的CVPR上，字節(jié)跳動(dòng)斬獲了多項(xiàng)競(jìng)賽冠軍。

作為一年一度AI計(jì)算機(jī)視覺(jué)領(lǐng)域的頂級(jí)盛會(huì)，CVPR 2022已經(jīng)落下帷幕。

字節(jié)跳動(dòng)旗下的極光-多模態(tài)技術(shù)團(tuán)隊(duì)、智能創(chuàng)作團(tuán)隊(duì)、火山引擎多媒體實(shí)驗(yàn)室團(tuán)隊(duì)斬獲了多項(xiàng)競(jìng)賽冠軍，覆蓋「視覺(jué)問(wèn)答」、「圖像實(shí)例分割」、「長(zhǎng)視頻內(nèi)容理解」、「圖片恢復(fù)」，以及「圖片視頻壓縮技術(shù)」等場(chǎng)景。

其中，兩項(xiàng)研究成果有助于視障人群克服日常生活中的視覺(jué)挑戰(zhàn)、提升殘障人士出行的安全性，助力打造無(wú)障礙環(huán)境。

?幫助視障人士精準(zhǔn)「識(shí)圖」，視覺(jué)問(wèn)答競(jìng)賽高精度技術(shù)方案奪冠

「視覺(jué)問(wèn)答」是通向多模人工智能的一項(xiàng)基礎(chǔ)挑戰(zhàn)。

一個(gè)自然的應(yīng)用就是幫助視障人群克服他們?nèi)粘Ｉ钪械囊曈X(jué)挑戰(zhàn)，如視障群體通過(guò)手機(jī)鏡頭捕獲視覺(jué)內(nèi)容，再通過(guò)語(yǔ)言對(duì)鏡頭中的內(nèi)容發(fā)起提問(wèn)。AI算法需要識(shí)別和描述物體或場(chǎng)景，并以自然語(yǔ)言的方式進(jìn)行回答。

在CVPR 2022上，權(quán)威視覺(jué)問(wèn)答競(jìng)賽VizWiz提出了新的挑戰(zhàn)：AI在回答（Talk）有關(guān)的視覺(jué)問(wèn)題時(shí)，必須精確地高亮出（Show）相應(yīng)的視覺(jué)證據(jù)。

憑借端到端的DaVI（Dual Visual-Linguistic Interaction）視覺(jué)語(yǔ)言交互新范式，字節(jié)跳動(dòng)極光-多模態(tài)技術(shù)團(tuán)隊(duì)成功拿下VizWiz 2022 Answer Grounding競(jìng)賽的第1名，相關(guān)論文也被CVPR 2022 Workshop接收。

詳細(xì)技術(shù)方案見(jiàn)：https://drive.google.com/file/d/11VesB9LcBjjS67iTFSxHmUzQsfWWyuJ6/view

VizWiz 大賽已經(jīng)舉辦了4屆，主辦學(xué)者來(lái)自卡內(nèi)基梅隆大學(xué)（CMU）、華盛頓大學(xué)、科羅拉多大學(xué)、微軟和蘋(píng)果，在多模態(tài)視覺(jué)問(wèn)答領(lǐng)域有深厚的學(xué)術(shù)成就和技術(shù)積淀。

極光-多模態(tài)團(tuán)隊(duì)專(zhuān)注于醫(yī)學(xué)人工智能的研究，致力于通過(guò)影像、語(yǔ)音、文本等大數(shù)據(jù)打造業(yè)界頂尖人工智能企業(yè)醫(yī)療平臺(tái)，團(tuán)隊(duì)積極參與前沿技術(shù)的研究和落地，參與發(fā)表柳葉刀、MICCAI、AAAI等多篇醫(yī)療領(lǐng)域和計(jì)算機(jī)視覺(jué)領(lǐng)域的頂會(huì)頂刊論文，并獲得多項(xiàng)國(guó)際醫(yī)療AI競(jìng)賽冠軍。

本屆競(jìng)賽中，極光-多模態(tài)團(tuán)隊(duì)與來(lái)自國(guó)內(nèi)外知名研究機(jī)構(gòu)和高校的60+團(tuán)隊(duì)同臺(tái)競(jìng)技，包括Google DeepMind、紐約大學(xué)、浪潮國(guó)家重點(diǎn)實(shí)驗(yàn)室、西安電子科技大學(xué)和特拉華大學(xué)等。

奪冠方案的精度相比基線算法提升43.14%，領(lǐng)先在多模領(lǐng)域深耕已久的DeepMind團(tuán)隊(duì)3.65%。

?無(wú)障礙出行更安全！AVA比賽奪冠

在基于合成數(shù)據(jù)的實(shí)例分割挑戰(zhàn)賽（ Accessibility Vision and Autonomy Challenge ，下文簡(jiǎn)稱(chēng)AVA) 中，字節(jié)跳動(dòng)智能創(chuàng)作AI平臺(tái) 「Byte-IC-AutoML」團(tuán)隊(duì)脫穎而出，成為該比賽唯一賽道的冠軍。

詳細(xì)技術(shù)方案見(jiàn)：https://arxiv.org/abs/2206.10845

本屆AVA競(jìng)賽由波士頓大學(xué)(Boston University)和卡耐基梅隆大學(xué)(Carnegie Mellon University)聯(lián)合舉辦。

競(jìng)賽通過(guò)渲染引擎得到一個(gè)合成的實(shí)例分割數(shù)據(jù)集，其中包含與殘疾行人交互的自治系統(tǒng)的數(shù)據(jù)樣例。競(jìng)賽目標(biāo)是為無(wú)障礙相關(guān)人與物提供目標(biāo)檢測(cè)和實(shí)例分割的基準(zhǔn)和方法。

Byte-IC-AutoML團(tuán)隊(duì)提出了一個(gè)Parallel Pre-trained Transformers (PPT)框架，框架主要由：1）并行的大規(guī)模預(yù)訓(xùn)練的Transformers；2）Balance Copy-Paste 數(shù)據(jù)增強(qiáng)；3）像素級(jí)別的非極大值抑制和模型融合三個(gè)模塊組成，較好地解決了比賽數(shù)據(jù)集存在的領(lǐng)域泛化、長(zhǎng)尾/少樣本和分割魯棒性問(wèn)題。

目前，城市和交通數(shù)據(jù)集主要是面向通用場(chǎng)景，只包含正常的交通工具和行人，數(shù)據(jù)集中缺乏殘疾人、行動(dòng)不便者及其輔助設(shè)備的類(lèi)別，利用當(dāng)前已有數(shù)據(jù)集得到的檢測(cè)模型無(wú)法檢測(cè)出這些人與物體。

奪冠技術(shù)方案對(duì)目前自動(dòng)駕駛和街道場(chǎng)景理解有廣泛應(yīng)用：經(jīng)過(guò)這些合成數(shù)據(jù)得到的模型可以識(shí)別出「輪椅」、「在輪椅上的人」、「拄拐杖的人」等少見(jiàn)的類(lèi)別，不但能更加精細(xì)地對(duì)人群/物體進(jìn)行劃分, 而且不會(huì)錯(cuò)判誤判導(dǎo)致場(chǎng)景理解錯(cuò)誤。

此外，通過(guò)這種合成數(shù)據(jù)的方式，可以構(gòu)造出真實(shí)世界中比較少見(jiàn)類(lèi)別的數(shù)據(jù)，從而訓(xùn)練更加通用，更加完善的目標(biāo)檢測(cè)模型。

模擬人腦感知，長(zhǎng)視頻理解挑戰(zhàn)雙料冠軍

通用事件邊界檢測(cè)（Generic Event Boundary Detection，GEBD）賽道

認(rèn)知科學(xué)研究表明，人類(lèi)大腦會(huì)感知事件的邊界，將事件劃分若干語(yǔ)義接近的子單元。

在這個(gè)背景下，CVPR2022 在長(zhǎng)視頻理解挑戰(zhàn)中提出的GEBD賽道，旨在模擬人腦，感知視頻中各事件的變化，將整個(gè)視頻分割為若干相對(duì)獨(dú)立的，且通用、無(wú)分類(lèi)(taxonomy-free)的事件邊界。

憑借自研的SC-Transformer++框架，字節(jié)跳動(dòng)智能創(chuàng)作—視覺(jué)智能團(tuán)隊(duì)奪得該項(xiàng)賽道冠軍。

團(tuán)隊(duì)在Structured Context Transformer(SC-Transformer)基礎(chǔ)上進(jìn)行了改進(jìn)和優(yōu)化，提出了SC-Transformer++框架來(lái)完成這一挑戰(zhàn)。

SC-Transformer++主要由五個(gè)模塊組成：

1）用于視頻信息特征提取的Backbone；

2）用于提取視頻時(shí)序上下文信息的SC-Transformer；

3）用于邊界檢測(cè)的Boundary-Prediction；

4）用于邊界幀類(lèi)別檢測(cè)的Category-Prediction；

5）用于檢測(cè)結(jié)果融合的Final-Selection。

能夠較好地對(duì)連續(xù)的長(zhǎng)視頻在時(shí)序上建模并捕捉時(shí)序上下文信息，并幫助模型更好地理解視頻中事件變化的邊界，學(xué)習(xí)各事件復(fù)雜的語(yǔ)義。

詳細(xì)技術(shù)方案見(jiàn)：https://arxiv.org/abs/2206.12634

在實(shí)際應(yīng)用中，通用事件邊界檢測(cè)將中長(zhǎng)視頻拆分為若干短視頻片段。

由于許多視頻理解相關(guān)的算法都是基于短視頻片段進(jìn)行的，將中長(zhǎng)視頻拆分為若干條較短的片段在視頻理解算法鏈路上具有重要意義。

通用事件邊界描述賽道（Generic Event Boundary Captioning Challenge，GEBC）

通用事件邊界描述是一項(xiàng)具有挑戰(zhàn)性的多模態(tài)理解任務(wù)，是視頻理解更精細(xì)化的重要一步。

傳統(tǒng)的視頻描述的目的是理解整個(gè)視頻片段，而通用事件邊界描述只關(guān)注視頻中瞬間觸發(fā)場(chǎng)景狀態(tài)變化的時(shí)刻，旨在自動(dòng)生成給定視頻邊界時(shí)刻的狀態(tài)、邊界時(shí)刻之前的狀態(tài)和之后的狀態(tài)的描述。

智能創(chuàng)作—視覺(jué)智能團(tuán)隊(duì)提出了一個(gè)Dual-Stream Transformer(DST)框架，并奪得競(jìng)賽冠軍。

DST主要由多模態(tài)特征提取模塊和多模態(tài)特征融合編碼模塊兩個(gè)部分組成。

多模態(tài)特征提取模塊

為了得到更好的視覺(jué)特征表示，團(tuán)隊(duì)使用了三種不同的特征提取器提取不同維度的視覺(jué)特征：

（1）使用在4億「圖像-文本」對(duì)上預(yù)訓(xùn)練過(guò)的CLIP提取視頻的外觀特征；

（2）使用在Kinetics400數(shù)據(jù)集上預(yù)訓(xùn)練過(guò)的VideoSwin提取視頻的運(yùn)動(dòng)特征；

（3）使用在Visual Genome數(shù)據(jù)集上預(yù)訓(xùn)練過(guò)的Faster R-CNN提取視頻的區(qū)域特征。

同時(shí)，使用在Wikipedia上預(yù)訓(xùn)練過(guò)的Glove模型對(duì)文本進(jìn)行編碼，這里的文本主要包含視頻的類(lèi)別信息和視頻的描述。

多模態(tài)特征融合編碼模塊

為了實(shí)現(xiàn)不同模態(tài)信息的充分融合，團(tuán)隊(duì)設(shè)計(jì)了一個(gè)基于Transformer的雙分支網(wǎng)絡(luò)結(jié)構(gòu)，一個(gè)分支的輸入為視頻的外觀特征、運(yùn)動(dòng)特征以及文本，另一個(gè)分支的輸入為區(qū)域特征和文本。

網(wǎng)絡(luò)結(jié)構(gòu)中的自注意力模塊負(fù)責(zé)同一分支中不同特征的特征對(duì)齊，交叉注意力模塊負(fù)責(zé)不同分支的特征之間的特征交互。

最后，兩個(gè)分支都輸出各自的預(yù)測(cè)文本，并通過(guò)交叉熵?fù)p失函數(shù)完成模型訓(xùn)練。

圖片恢復(fù)技術(shù)哪家強(qiáng)，NTIRE ESR挑戰(zhàn)賽主賽道奪冠

New Trends in Image Restoration and Enhancement（NTIRE）是近年來(lái)計(jì)算機(jī)圖像恢復(fù)領(lǐng)域最具影響力的全球性賽事。

智能創(chuàng)作音視頻團(tuán)隊(duì)?wèi){借自研的RLFN算法從43支隊(duì)伍中脫穎而出，拿下NTIRE 2022 Challenge on Efficient Super-Resolution（ESR）主賽道冠軍，在子賽道Overall Performance也位列第二。

競(jìng)賽旨在設(shè)計(jì)一種網(wǎng)絡(luò)：在維持Peak Signal-to-Noise Ratio（PSNR ）指標(biāo)與Baseline相當(dāng)水平的同時(shí)（PSNR在驗(yàn)證集保持29.00dB ），從運(yùn)行時(shí)間、參數(shù)量、FLOPs、Activations以及內(nèi)存占用等方面進(jìn)行至少一個(gè)維度的優(yōu)化。

其任務(wù)以4倍超分為基準(zhǔn)，驗(yàn)證集以及測(cè)試集均為DIV2K，下采樣方式為bicubic。

團(tuán)隊(duì)在基于Convolutional Neural Network（CNN）的RFDN結(jié)構(gòu)基礎(chǔ)上，提出了一個(gè)更高效的網(wǎng)絡(luò)結(jié)構(gòu)RLFN，在推理速度和效果之間取得良好的平衡，并且重新思考contrastive loss的使用，設(shè)計(jì)了一個(gè)更適合超分任務(wù)的淺層特征提取器，此外還提出了更有效的多階段warm-start訓(xùn)練策略。

詳細(xì)技術(shù)方案見(jiàn)：http://arxiv.org/abs/2205.07514

智能創(chuàng)作是字節(jié)跳動(dòng)的多媒體創(chuàng)新科技研究所和綜合型服務(wù)商。覆蓋了計(jì)算機(jī)視覺(jué)、圖形學(xué)、語(yǔ)音、拍攝編輯、特效、客戶(hù)端、AI平臺(tái)、服務(wù)端工程等技術(shù)領(lǐng)域，在部門(mén)內(nèi)部實(shí)現(xiàn)了前沿算法-工程系統(tǒng)-產(chǎn)品全鏈路的閉環(huán)，旨在以多種形式向公司內(nèi)部各業(yè)務(wù)線以及外部合作客戶(hù)提供業(yè)界最前沿的內(nèi)容理解、內(nèi)容創(chuàng)作、互動(dòng)體驗(yàn)與消費(fèi)的能力和行業(yè)解決方案。

團(tuán)隊(duì)技術(shù)能力正通過(guò)火山引擎對(duì)外開(kāi)放。

基于深度學(xué)習(xí)的圖像壓縮大賽：高、低碼率雙賽道奪冠

（Challenge on Learned Image Compression ，CLIC）

隨著以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)不斷取得突破，基于深度學(xué)習(xí)的圖像視頻壓縮技術(shù)被視為超越傳統(tǒng)壓縮技術(shù)能力極限的明日之星。

CLIC旨在鼓勵(lì)基于深度學(xué)習(xí)的圖像視頻壓縮技術(shù)的研究，展示深度學(xué)習(xí)技術(shù)在圖像視頻壓縮領(lǐng)域的最新進(jìn)展，為深度學(xué)習(xí)技術(shù)在壓縮領(lǐng)域的進(jìn)一步探索指明方向。

火山引擎多媒體實(shí)驗(yàn)室團(tuán)隊(duì)的參賽平臺(tái)Neutron Star（中子星）在高碼率視頻壓縮和低碼率視頻壓縮兩個(gè)賽道，主客觀指標(biāo)均以絕對(duì)優(yōu)勢(shì)奪冠。

另外，Neutron Star在圖像賽道以峰值信噪比（PSNR）計(jì)算的客觀指標(biāo)排名第一。

火山引擎Neutron Star平臺(tái)有機(jī)融合了傳統(tǒng)壓縮技術(shù)與深度學(xué)習(xí)壓縮技術(shù)。

針對(duì)傳統(tǒng)編碼模塊，火山引擎加入了非對(duì)稱(chēng)四叉樹(shù)劃分、歷史仿射模型繼承等創(chuàng)新技術(shù)；針對(duì)智能編碼模塊，引入了基于深度學(xué)習(xí)的環(huán)路濾波、自適應(yīng)變采樣等技術(shù)。

通用仿真測(cè)試結(jié)果表明，相比最新的視頻編碼標(biāo)準(zhǔn)H.266/VVC，火山引擎Neutron Star平臺(tái)對(duì)編碼效率的提升平均超過(guò)28%。

詳細(xì)技術(shù)方案見(jiàn)：https://openaccess.thecvf.com/content/CVPR2022W/CLIC/html/Li_A_Neural-Network_Enhanced_Video_Coding_Framework_Beyond_VVC_CVPRW_2022_paper.html

火山引擎多媒體實(shí)驗(yàn)室致力于研究、探索多媒體領(lǐng)域的前沿技術(shù)，參與國(guó)際、國(guó)內(nèi)多媒體方向的標(biāo)準(zhǔn)化工作，為多媒體內(nèi)容分析、處理、壓縮、傳輸、創(chuàng)新交互等領(lǐng)域提供軟硬件解決方案，眾多創(chuàng)新算法已經(jīng)廣泛應(yīng)用在抖音、西瓜視頻等產(chǎn)品的點(diǎn)播、直播、實(shí)時(shí)通信、圖片等多媒體業(yè)務(wù)，并向火山引擎的企業(yè)級(jí)客戶(hù)提供技術(shù)服務(wù)。

火山引擎是字節(jié)跳動(dòng)旗下的云服務(wù)平臺(tái)，將字節(jié)跳動(dòng)快速發(fā)展過(guò)程中積累的增長(zhǎng)方法、技術(shù)能力和工具開(kāi)放給外部企業(yè)，提供云基礎(chǔ)、視頻與內(nèi)容分發(fā)、大數(shù)據(jù)、人工智能、開(kāi)發(fā)與運(yùn)維等服務(wù)，幫助企業(yè)在數(shù)字化升級(jí)中實(shí)現(xiàn)持續(xù)增長(zhǎng)。

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

CVPR 2022：字節(jié)跳動(dòng)多項(xiàng)競(jìng)賽奪冠，發(fā)力無(wú)障礙技術(shù)創(chuàng)新

新智元報(bào)道

【新智元導(dǎo)讀】在今年的CVPR上，字節(jié)跳動(dòng)斬獲了多項(xiàng)競(jìng)賽冠軍。

通用事件邊界檢測(cè)（Generic Event Boundary Detection，GEBD）賽道

通用事件邊界描述賽道（Generic Event Boundary Captioning Challenge，GEBC）

（Challenge on Learned Image Compression ，CLIC）

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

CVPR 2022：字節(jié)跳動(dòng)多項(xiàng)競(jìng)賽奪冠，發(fā)力無(wú)障礙技術(shù)創(chuàng)新

新智元報(bào)道

【新智元導(dǎo)讀】在今年的CVPR上，字節(jié)跳動(dòng)斬獲了多項(xiàng)競(jìng)賽冠軍。

通用事件邊界檢測(cè)（Generic Event Boundary Detection，GEBD）賽道

通用事件邊界描述賽道（Generic Event Boundary Captioning Challenge，GEBC）

（Challenge on Learned Image Compression ，CLIC）

CVPR 2022：字節(jié)跳動(dòng)多項(xiàng)競(jìng)賽奪冠，發(fā)力無(wú)障礙技術(shù)創(chuàng)新

【新智元導(dǎo)讀】在今年的CVPR上，字節(jié)跳動(dòng)斬獲了多項(xiàng)競(jìng)賽冠軍。

通用事件邊界描述賽道（Generic Event Boundary Captioning Challenge，GEBC）