亚洲午夜精品视频,污片网站,精品一区二区三区免费 ,老骚逼影视,免费看做爱,成人精品水蜜桃,欧美久久免费,国产精品久久久久久久免费软件

來源：DeepHub IMBA
本文約1000字，建議閱讀5分鐘
本文提出了一種針對下游任務的有效神經(jīng)網(wǎng)絡選擇的新框架。

預訓練大規(guī)模深度神經(jīng)網(wǎng)絡(NN)，并針對下游任務進行微調(diào)已成為深度學習領域的現(xiàn)狀。研究人員面臨的一個挑戰(zhàn)是如何為給定的下游任務有效地選擇最合適的預訓練模型，因為這個過程通常需要在模型訓練中用于性能預測的昂貴計算成本。

在新論文 Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics 中，來自 Rensselaer Polytechnic Institute、Thomas J. Watson 研究中心和加州大學洛杉磯分校的研究小組提出了一種針對下游任務的有效神經(jīng)網(wǎng)絡選擇的新框架。該方法利用模型的累積信息來預測模型的預測能力，在神經(jīng)網(wǎng)絡訓練的早期階段這樣做可以節(jié)省資源。

該團隊總結(jié)了他們的結(jié)論:

將神經(jīng)網(wǎng)絡訓練看作是一個基于突觸連接的動態(tài)系統(tǒng)，并首次從微觀角度研究突觸連接的相互作用。
提出了用于神經(jīng)網(wǎng)絡模型選擇的神經(jīng)電容度量βeff。
基于5個基準數(shù)據(jù)集的17個預訓練模型的實驗結(jié)果表明，我們的βeff方法優(yōu)于現(xiàn)有的學習曲線預測方法。
在CIFAR10/CIFAR100/SVHN/Fashion MNIST/Birds上，根據(jù)訓練前模型的性能，論文的方法比最佳基線提高了9.1/38.3/12.4/65.3/40.1%。

論文所提出的框架基于這樣的思想，即神經(jīng)網(wǎng)絡訓練期間的反向傳播等效于突觸連接（邊緣）的動態(tài)演化，并且收斂神經(jīng)網(wǎng)絡與由這些邊緣組成的網(wǎng)絡系統(tǒng)的平衡狀態(tài)相關聯(lián)。它還借鑒了以前的研究，表明復雜的現(xiàn)實世界系統(tǒng)（例如植物-傳粉媒介的相互作用和 COVID-19 的傳播）可以用圖網(wǎng)絡進行表示。

研究人員將 NN 訓練視為突觸連接上的動態(tài)系統(tǒng)并首次以微觀方式探索這些突觸連接相互作用。他們提出“βeff”作為表征生物和人工神經(jīng)網(wǎng)絡的通用神經(jīng)電容度量（neural capacitance metric），可以為可訓練權(quán)重構(gòu)建線圖并以與一般動態(tài)系統(tǒng)相同的形式重新制定訓練動態(tài)系統(tǒng)，使βeff屬性能夠在訓練過程的早期階段通過少量觀察預測圖神經(jīng)網(wǎng)絡的最終準確性。

該團隊在 17 個預訓練 ImageNet 模型上評估了他們的框架，包括 AlexNet、VGGs (VGG16/19)、ResNets (ResNet50/50V2/101/101V2/152/152V2)、DenseNets (DenseNet121/169/201)、MobileNets (MobileNet 和 MobileNetV2) ，Inceptions（InceptionV3，InceptionResNetV2）和Xception。他們還將基于 βeff 的方法與其他各種模型排名基線進行了比較。

在實驗中，基于神經(jīng)電容 βeff 的方法優(yōu)于當前的學習曲線預測方法，并在 CIFAR10/CIFAR100、SVHN、Fashion MNIST 和 Birds 數(shù)據(jù)集的最佳基線上取得了顯著的相對改進。

結(jié)果驗證了 βeff 作為基于早期訓練結(jié)果預測一組預訓練模型的排名的有效指標。團隊計劃在未來探索更多的相關研究方向，例如簡化鄰接矩陣 P 以捕捉突觸連接之間的依賴和相互交互，將框架擴展到 NAS 基準以選擇最佳子網(wǎng)絡，以及設計一種高效的算法直接基于 βeff 優(yōu)化 NN 架構(gòu)。

論文地址：

https://arxiv.org/abs/2201.04194

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

論文推薦：在早期訓練階段預測下游模型性能