美女小逼逼,在线A∨视频,乌克兰性爱视频,国产精品久久久久久久久,国产激情影院,欧美A片免费在线观看,在线性爱网站,国产精品视频无码

今天我們介紹優(yōu)化目標檢測的SOTA目標框加權融合-Weighted Boxes Fusion以及使用WBF快速實現(xiàn)目標檢測漲點的方法。使用""

論文：Weighted boxes fusion: Ensembling boxes from different object detection models

論文鏈接：https://arxiv.org/pdf/1910.13302.pdf

代碼鏈接：https://github.com/ZFTurbo/Weighted-Boxes-Fusion

NMS&WBF

1.1 NMS

NMS消除冗余的邊界框的流程如下：

根據(jù)置信度得分進行排序
選擇置信度最高的比邊界框添加到最終輸出列表中，將其從邊界框列表中刪除
計算所有邊界框的面積
計算置信度最高的邊界框與其它候選框的IoU。
刪除IoU大于閾值的邊界框
重復上述過程，直至邊界框列表為空。

NMS方法雖然簡單有效，但在更高的目標檢測需求下，也存在如下缺點：

密集重疊場景造成誤過濾：將得分較低的邊框強制性地去掉，如果物體出現(xiàn)較為密集時，本身屬于兩個物體的邊框，其中得分較低的也有可能被抑制掉，降低了模型的召回率。
速度：NMS的實現(xiàn)存在較多的循環(huán)步驟，GPU的并行化實現(xiàn)不是特別容易，尤其是預測框較多時，耗時較多。
框的置信度和分類的置信度并不是完全對齊的，NMS簡單地將得分作為一個邊框的置信度，但在一些情況下，得分高的邊框不一定位置更準

1.2 WBF

WBF采用的融合框的置信度為所有形成他的邊界框的平均置信度，而其坐標也是所有形成他的邊界框的坐標的加權和，權重為相應的邊界框的置信度。也就是置信度越高的邊界框對于融合邊界框的坐標做出的貢獻越大。

下面是WBF的算法步驟：

每個模型的每個預測框都添加到List B，并將此列表按置信度得分C降序排列
建立空List L 和 F（用于融合的）
循環(huán)遍歷B，并在F中找到于之匹配的box（同一類別MIOU > 0.55）
如果 step3 中沒有找到匹配的box 就將這個框加到L和F的尾部
如果 step3 中找到了匹配的box 就將這個框加到L，加入的位置是box在F中匹配框的Index.
L中每個位置可能有多個框，需要根據(jù)這多個框更新對應F[index]的值。使用所有的在L[index]的T個邊界框重新計算F [index] 中邊界框的坐標和置信度得分:
$\mathbf{C}=\frac{\sum_{i=1}^{\mathrm{T}} \mathbf{C}_{i}}{T}$ (1)

$\mathbf{X 1}, \mathbf{2}=\frac{\sum_{i=1}^{\mathrm{T}} \mathbf{C}_{i} * \mathbf{X} \mathbf{1}, \mathbf{2}_{i}}{\sum_{i=1}^{\mathrm{T}} \mathbf{C}_{i}}$ $\mathbf{Y} \mathbf{1}, \mathbf{2}=\frac{\sum_{i=1}^{\mathrm{T}} \mathbf{C}_{i} * \mathbf{Y} \mathbf{1}, \mathbf{2}_{i}}{\sum_{i=1}^{\mathrm{T}} \mathbf{C}_{i}}$

7.當B中的所有邊界框都被處理了，對List F的置信度得分重新估計：乘上列表中的邊界框個數(shù)，在除以模型數(shù)目。也就是當簇中邊界框數(shù)目少的時候，則認為有較少的邊界框預測該融合框，也就是該融合框的置信度應該降低：

\mathbf{C}=\mathbf{C} * \frac{\min (T, N)}{N}

WBF效果演示圖如下：

WBF快速實現(xiàn)目標檢測漲點的方法

WBF可以實現(xiàn)目標框加權融合消除冗余的邊界框，基于它的特點我們可以使用WBF快速實現(xiàn)目標檢測漲點，主要方法有以下幾種：

1、用WBF替代檢測網絡中的NMS方法

2、利用WBF實現(xiàn)測試增強TTA結果的融合

3、利用WBF實現(xiàn)目標檢測的多模型集成

接下來我們將以YOLOV5代碼進行舉例，完整使用代碼可以關注公眾號后臺回復"WBF"獲取

2.1 用WBF替代檢測網絡中的NMS方法

1、首先我們需要安裝WBF的庫，可以使用兩種方式

WBF Github ：https://github.com/ZFTurbo/Weighted-Boxes-Fusion

pip 在線安裝：

pip install ensemble-boxes

如果直接pip install ensemble-boxes報錯的話，可以嘗試：

pip install --upgrade pippip install --upgrade setuptools

pip 離線安裝：在下載github上下載好

pip install --no-deps '../input/weightedboxesfusion/'

2、調用WBF的庫：

from ensemble_boxes import *

3、調用weighted_boxes_fusion函數(shù)替代nms, 實現(xiàn)對冗余的框的消除

boxes, scores, labels = weighted_boxes_fusion(boxes_list, scores_list, labels_list, weights=weights, iou_thr=iou_thr, skip_box_thr=skip_box_thr)

以YOLOV5為例，原本檢測時使用NMS的代碼如下：

 pred = model(img, augment=opt.augment)[0] pred = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=opt.classes, agnostic=opt.agnostic_nms)

可以看到y(tǒng)olo輸出結果（score，lable， box）全部包含在pred當中，由于WBF需要boxes_list, scores_list, labels_list等列表形式

因此我們需要對pred轉變?yōu)楹骲oxes_list, scores_list, labels_list再輸入weighted_boxes_fusion中：

由于代碼過長無法完整展示，下面只展示思路的代碼示例（無法直接執(zhí)行），需要完整使用代碼可以關注公眾號后臺回復"WBF"獲取

pred = model(img, augment=False)[0]boxes = []scores = []clses = []pred = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=opt.classes, agnostic=opt.agnostic_nms)##將pred轉變成 boxes_list, scores_list, labels_listfor i, det in enumerate(pred):  # detections per image    if det is not None and len(det):        # Rescale boxes from img_size to im0 size        det[:, :4] = scale_coords(img.shape[2:], det[:, :4], im0.shape).round()        for *xyxy, conf, cls in det:            boxes.append([int(xyxy[0]), int(xyxy[1]), int(xyxy[2]), int(xyxy[3])])            scores.append(conf)            clses.append(cls)  boxes = np.array(boxes)  scores = np.array(scores)  clses = np.array(clses )    #使用weighted_boxes_fusion加權融合框   def run_wbf(boxes, scores, clses, image_size=1024, iou_thr=0.5, skip_box_thr=0.7, weights=None):    boxes = [box/(image_size) for box in boxes]    boxes, scores, labels = weighted_boxes_fusion(boxes, scores, clses, weights=None, iou_thr=iou_thr, skip_box_thr=skip_box_thr)    boxes = boxes*(image_size)    return boxes, scores, labels      pred_boxes, scores, labels = run_wbf(boxes , scores , clses , image_size, iou_thr=iou_thr, skip_box_thr=skip_box_thr)

2.2 利用WBF實現(xiàn)測試增強TTA結果的融合

測試時增強（test time augmentation, TTA）可將準確率提高若干個百分點，。這里會為原始圖像造出多個不同版本，包括不同區(qū)域裁剪和更改縮放程度等，并將它們輸入到模型中；然后對多個版本進行計算得到平均輸出，作為圖像的最終輸出分數(shù)。如下圖所示：

以YOLOV5為例，代碼如下：

由于代碼過長無法完整展示，下面只展示思路的代碼示例（無法直接執(zhí)行會），需要完整使用代碼可以關注公眾號后臺回復"WBF"獲取

（1）測試圖片旋轉增強的函數(shù)，以及旋轉后圖片預測結果box復原的函數(shù)

def TTAImage(image, index):    image1 = image.copy()    if index==0:         rotated_image = cv2.rotate(image1, cv2.ROTATE_90_CLOCKWISE)        return rotated_image    elif index==1:        rotated_image2 = cv2.rotate(image1, cv2.ROTATE_90_CLOCKWISE)        rotated_image2 = cv2.rotate(rotated_image2, cv2.ROTATE_90_CLOCKWISE)        return rotated_image2    elif index==2:        rotated_image3 = cv2.rotate(image1, cv2.ROTATE_90_CLOCKWISE)        rotated_image3 = cv2.rotate(rotated_image3, cv2.ROTATE_90_CLOCKWISE)        rotated_image3 = cv2.rotate(rotated_image3, cv2.ROTATE_90_CLOCKWISE)        return rotated_image3    elif index == 3:        return image1    def rotBoxes90(boxes, im_w, im_h):    ret_boxes =[]    for box in boxes:        x1, y1, x2, y2 = box        x1, y1, x2, y2 = x1-im_w//2, im_h//2 - y1, x2-im_w//2, im_h//2 - y2        x1, y1, x2, y2 = y1, -x1, y2, -x2        x1, y1, x2, y2 = int(x1+im_w//2), int(im_h//2 - y1), int(x2+im_w//2), int(im_h//2 - y2)        x1a, y1a, x2a, y2a = min(x1, x2), min(y1, y2), max(x1, x2), max(y1, y2)        ret_boxes.append([x1a, y1a, x2a, y2a])    return np.array(ret_boxes)

（2）測試圖片旋轉，以及旋轉后圖片預測結果復原

im_w, im_h = im01.shape[:2]enboxes = []enscores = []for i in range(4):    im0 = TTAImage(im01, i)    boxes, scores = detect1Image(im0, imgsz, model, device, conf_thres, iou_thres)    for _ in range(3-i):        boxes = rotBoxes90(boxes, im_w, im_h)            if 1: #i<3:        enboxes.append(boxes)        enscores.append(scores)     boxes, scores = detect1Image(im01, imgsz, model, device, conf_thres, iou_thres)    enboxes.append(boxes)    enscores.append(scores)
def run_wbf(boxes, scores, image_size=1023, iou_thr=0.5, skip_box_thr=0.7, weights=None):    labels = [np.zeros(score.shape[0]) for score in scores]    boxes = [box/(image_size) for box in boxes]    boxes, scores, labels = weighted_boxes_fusion(boxes, scores, labels, weights=None, iou_thr=iou_thr, skip_box_thr=skip_box_thr)    boxes = boxes*(image_size)    return boxes, scores, labels

boxes, scores, labels = run_wbf(enboxes, enscores, image_size = im_w, iou_thr=0.6, skip_box_thr=0.5)

2.3 利用WBF實現(xiàn)目標檢測的多模型集成

多模型集成是指可以使用多種模型進行預測，最后結合多個模型的預測結果，其中我們可以選擇多種不同網絡的模型進行集成，也可以使用同種網絡的不同訓練方式的模型進行集成。

代碼演示如下：由于代碼過長無法完整展示，下面只展示思路的代碼示例（無法直接執(zhí)行會），需要完整使用代碼可以關注公眾號后臺回復"WBF"獲取

weights = 'weights/best.pt'weights1 = "../input/otherweight/best_yolov5x_fold0.pt"
# load modelmodel = torch.load(weights, map_location=device)['model'].float()  # load to FP32model.to(device).eval()
# Load model 1model1 = torch.load(weights1, map_location=device)['model'].float()  # load to FP32model1.to(device).eval()
boxes, scores = detect1Image(im0, imgsz, model, device, conf_thres, iou_thres)boxes, scores = detect1Image(im0, imgsz, model1, device, conf_thres, iou_thres)boxes, scores, labels = weighted_boxes_fusion(boxes, scores, labels, weights=None, iou_thr=iou_thr, skip_box_thr=skip_box_thr)

總結

本文介紹了NMS和WBF消除冗余的邊界框的方法，并且比較了它們的有缺點，發(fā)現(xiàn)WBF緩解NMS在密集重疊場景容易造成誤過濾的問題。然后還介紹了使用WBF在目標檢測中快速漲點的方法。

?------------------------------------------------

雙一流高校研究生團隊創(chuàng)建 ↓

專注于計算機視覺原創(chuàng)并分享相關知識 ?

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

目標檢測漲點方法：目標框加權融合-Weighted Boxes Fusion（源碼分享）