17 天前

Mask R-CNN

Mask R-CNN

摘要

我们提出了一种概念简洁、灵活且通用的物体实例分割框架。该方法能够高效地检测图像中的物体,同时为每个实例生成高质量的分割掩码。该方法称为Mask R-CNN,它在Faster R-CNN的基础上新增了一个并行分支,用于预测物体的掩码,而原有的分支则继续用于边界框识别。Mask R-CNN训练简单,对Faster R-CNN仅引入少量计算开销,运行速度可达每秒5帧(5 fps)。此外,Mask R-CNN易于推广至其他任务,例如可在同一框架下实现人体姿态估计。我们在COCO挑战赛的三个赛道(包括实例分割、边界框目标检测和人体关键点检测)中均取得了领先结果。在不使用任何额外技巧的情况下,Mask R-CNN在每一项任务上均超越了所有现有单模型方法,包括COCO 2016挑战赛的优胜者。我们希望这一简洁而高效的方法能成为实例级识别任务的坚实基线,助力未来相关研究的发展。代码已开源,地址为:https://github.com/facebookresearch/Detectron

代码仓库

kbardool/mrcnn3
tf
GitHub 中提及
mic-dkfz/medicaldetectiontoolkit
pytorch
GitHub 中提及
ColdNoodler/py-faster-rcnn-cuda10
caffe2
GitHub 中提及
rickyHong/py-faster-rcnn-repl
caffe2
GitHub 中提及
pj1920/mask-r-cnn
tf
GitHub 中提及
cwbabel/faster-cnn
caffe2
GitHub 中提及
DeNA/Chainer_Mask_R-CNN
caffe2
GitHub 中提及
dvl-tum/motsynth-baselines
pytorch
GitHub 中提及
Biantian/MscProject
pytorch
GitHub 中提及
bethgelab/siamese-mask-rcnn
tf
GitHub 中提及
Krupal09/MaskRCNN-Demo
tf
GitHub 中提及
ErikGDev/instance-segmentation
pytorch
GitHub 中提及
alililia/gpu_maskrcnn_mobilenetv1
mindspore
GitHub 中提及
Alexander-Whelan/Zeus
tf
GitHub 中提及
devsoft123/fast-cnn
caffe2
GitHub 中提及
longcw/roialign.pytorch
pytorch
GitHub 中提及
pvdhove/owl-mask-rcnn
GitHub 中提及
leonardhan1979/fasterRCNN
caffe2
GitHub 中提及
yj-littlesky/py-faster-rcnn
caffe2
GitHub 中提及
vimalabs/VIMA
pytorch
GitHub 中提及
o-evgeny/MRCNN_DeepFashion2
tf
GitHub 中提及
CarstenIsert/DeepBurn
tf
GitHub 中提及
chenwuperth/ClaRAN
tf
GitHub 中提及
elonashatri/pitch_mask_rcnn
tf
GitHub 中提及
MIC-DKFZ/RegRCNN
pytorch
GitHub 中提及
quocdat32461997/Mask_RCNN
tf
GitHub 中提及
jremillard/images-to-osm
tf
GitHub 中提及
BlackAngel1111/Fast-RCNN
caffe2
GitHub 中提及
kdethoor/panoptictorch
pytorch
GitHub 中提及
yangyucheng000/Mask-RCNN
mindspore
GitHub 中提及
2023-MindSpore-1/ms-code-208
mindspore
GitHub 中提及
yczhang1017/SSD_resnet_pytorch
pytorch
GitHub 中提及
casiopa/Madrid_Rooftops
tf
GitHub 中提及
2023-MindSpore-1/ms-code-207
mindspore
GitHub 中提及
ykasten/layered-neural-atlases
pytorch
GitHub 中提及
soulguy/Faster-rcnn
caffe2
GitHub 中提及
GAOwy123/py-faster-rcnn
caffe2
GitHub 中提及
tryolabs/luminoth
tf
GitHub 中提及
NVlabs/industreallib
pytorch
GitHub 中提及
delldu/MaskRCNN
pytorch
GitHub 中提及
guanfuchen/py-faster-rcnn
caffe2
GitHub 中提及
SonginCV/MAF_HDA
GitHub 中提及
Arthur-Shi/py-faster-rcnn
caffe2
GitHub 中提及
ZQPei/deep_sort_pytorch
pytorch
GitHub 中提及
lucylow/salty-wet-man
tf
GitHub 中提及
nikhithakarennagari/Git
caffe2
GitHub 中提及
sunqiangxtcsun/faster-rcnn
caffe2
GitHub 中提及
UPCLJ/py-faster-rcnn
caffe2
GitHub 中提及
lichengunc/mask-faster-rcnn
pytorch
GitHub 中提及
zhong110020/py-faster-rcnn
caffe2
GitHub 中提及
noelcodes/Mask_RCNN
GitHub 中提及
collectionslab/Omniscribe
pytorch
GitHub 中提及
charlesYangM/py-faster-rcnn-80.28
caffe2
GitHub 中提及
SfTI-Robotics/ROS-label-node
pytorch
GitHub 中提及
rh01/faster-rcnn
caffe2
GitHub 中提及
jodumagpi/Xray-ObjSep-v1
pytorch
GitHub 中提及
maxfrei750/FibeR-CNN
pytorch
GitHub 中提及
KMnP/fashionpedia-api
tf
GitHub 中提及
jianing-sun/Mask-YOLO
tf
GitHub 中提及
DivJAth/DeepLearning5922
GitHub 中提及
maxfrei750/DeepParticleNet
tf
GitHub 中提及
itsasimiqbal/SeBRe
tf
GitHub 中提及
qq330488563/TEST
caffe2
GitHub 中提及
yangyucheng000/maskrcnn_mobilenetv1
mindspore
GitHub 中提及
beassssry/U
caffe2
GitHub 中提及
harrybolingot/mymaskrcnn
tf
GitHub 中提及
fsafe/Capstone
pytorch
GitHub 中提及
MIC-DKFZ/DetectionAndRegression
pytorch
GitHub 中提及
Qinhj07/ATOMCode
pytorch
GitHub 中提及
evaristr/py-faster_rcnn
caffe2
GitHub 中提及
Mrnoorsingh/car-parking
GitHub 中提及
rh01/fast-rnn
caffe2
GitHub 中提及
EmGarr/kerod
tf
GitHub 中提及
phykn/film-defect-detection
pytorch
GitHub 中提及
SonginCV/GMPHD_SAF
GitHub 中提及
RajArPatra/Super-OCR
pytorch
GitHub 中提及
jklife3/maskrcnn-impl
tf
GitHub 中提及
leochangzliao/OPBM
GitHub 中提及
qilei123/pyfasterrcnn
caffe2
GitHub 中提及
jylins/core-text
pytorch
GitHub 中提及
chuanqichen/deepcoaching
pytorch
GitHub 中提及
xunhen/py-faster-rcnn-wjc
caffe2
GitHub 中提及
ayoolaolafenwa/PixelLib
tf
GitHub 中提及
SonginCV/GMPHD_MAF
GitHub 中提及
busyboxs/What-I-have-star
tf
GitHub 中提及
jooyounghun/AI-Team-5
GitHub 中提及
ls5122/mask-rcnn
pytorch
GitHub 中提及
facebookresearch/detectron
pytorch
GitHub 中提及
alililia/ascend_maskrcnn_mobilenetv1
mindspore
GitHub 中提及
open-edge-platform/geti
pytorch
GitHub 中提及
charlesshang/fastmaskrcnn
tf
GitHub 中提及
xjnpark/ds
caffe2
GitHub 中提及
Lopezurrutia/DSB_2018
tf
GitHub 中提及
busyboxs/faster_rcnn_voc
GitHub 中提及
Makunda/DeepLearningASL
GitHub 中提及
TuSimple/mx-maskrcnn
tf
GitHub 中提及
sunhui1234/haha
caffe2
GitHub 中提及
samsh19/ML_project
pytorch
GitHub 中提及
fdac18/ForensicImages
GitHub 中提及
nikhithakarennagari/1311
caffe2
GitHub 中提及
yubaoliu/rds-slam
GitHub 中提及
krantirk/py-faster-rcnn
caffe2
GitHub 中提及
TejasBajania/Mtech_pro
GitHub 中提及
asyrovprog/cs230project
GitHub 中提及
George-Ogden/Mask-RCNN
pytorch
GitHub 中提及
jasjeetIM/Mask-RCNN
GitHub 中提及
sbetageri/MaskRCNN
pytorch
GitHub 中提及

基准测试

基准方法指标
instance-segmentation-on-bdd100k-valMask R-CNN
AP: 20.5
instance-segmentation-on-cocoMask R-CNN (ResNeXt-101-FPN)
AP50: 60.0
AP75: 39.4
APL: 53.5
APM: 39.9
APS: 16.9
mask AP: 37.1
instance-segmentation-on-isaidMask-RCNN+
Average Precision: 37.18
instance-segmentation-on-isaidMask-RCNN
Average Precision: 36.50
keypoint-detection-on-coco-1Mask R-CNN
Test AP: 63.1
Validation AP: 69.2
keypoint-detection-on-coco-test-challengeMask R-CNN*
AP: 68.9
AP50: 89.2
AP75: 75.2
APL: 82.6
AR: 75.4
AR50: 93.2
AR75: 81.2
ARL: 76.8
ARM: 70.2
keypoint-detection-on-coco-test-devMask R-CNN
AP50: 87.3
AP75: 68.7
APL: 71.4
APM: 57.8
multi-human-parsing-on-mhp-v10Mask R-CNN
AP 0.5: 52.68%
multi-human-parsing-on-mhp-v20Mask R-CNN
AP 0.5: 14.9
multi-person-pose-estimation-on-crowdposeMask R-CNN
AP Easy: 69.4
AP Hard: 45.8
AP Medium: 57.9
mAP @0.5:0.95: 57.2
multi-person-pose-estimation-on-ochumanMask R-CNN
AP50: 33.2
AP75: 24.5
Validation AP: 20.2
multi-tissue-nucleus-segmentation-on-kumarMask R-CNN (e)
Dice: 0.760
Hausdorff Distance (mm): 50.9
nuclear-segmentation-on-cell17Mask R-CNN
Dice: 0.707
F1-score: 0.8004
Hausdorff: 12.6723
object-detection-on-cocoMask R-CNN (ResNeXt-101-FPN)
AP50: 62.3
AP75: 43.4
APL: 51.2
APM: 43.2
APS: 22.1
Hardware Burden: 9G
box mAP: 39.8
object-detection-on-cocoMask R-CNN (ResNet-101-FPN)
AP50: 60.3
AP75: 41.7
APL: 50.2
APM: 41.1
APS: 20.1
Hardware Burden: 9G
box mAP: 38.2
object-detection-on-coco-minivalMask R-CNN (ResNeXt-101-FPN)
AP50: 59.5
AP75: 38.9
box AP: 36.7
object-detection-on-coco-minivalMask R-CNN (ResNet-50-FPN)
box AP: 37.7
object-detection-on-coco-minivalMask R-CNN (ResNet-101-FPN)
box AP: 40.0
object-detection-on-coco-oMask R-CNN (ResNet-50)
Average mAP: 17.1
object-detection-on-coco-oMask R-CNN (ResNet-50)
Effective Robustness: -0.11
object-detection-on-isaidMask-RCNN
Average Precision: 36.50
object-detection-on-isaidMask-RCNN+
Average Precision: 37.18
object-localization-on-gritMask R-CNN
Localization (ablation): 44.7
Localization (test): 45.1
panoptic-segmentation-on-cityscapes-valMask R-CNN+COCO
PQth: 54.0
pose-estimation-on-coco-test-devMask-RCNN
AP: 63.1
AP50: 87.3
AP75: 68.7
APL: 71.4
real-time-object-detection-on-coco-1Mask R-CNN X-152-32x8d
box AP: 45.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Mask R-CNN | 论文 | HyperAI超神经