转载自：基于深度学习的图像目标检测（第二部分）大牛讲座 |基于深度学习的目标检测在自动驾驶中的应用前言

CNN（）在目标检测方面大放异彩，R-CNN系列、YOLO、SSD等各种优秀方法层出不穷。在二维图像中的目标检测方面，学术界提出的许多框架已经投入商业使用。然而，当应用于自动驾驶、机器人等应用场景时，2D场景中的目标检测仍然不足以描述3D真实场景。

目标检测问题实际上包含两个任务：定位和分类。定位任务中3D目标检测的目标是返回3D框，需要的信息不仅是2D RGB图像，还需要对应的深度信息Depth Map：

RGB-D=普通RGB三通道彩色图像+深度图

在 3D 计算机图形学中，深度图是图像或图像通道，其中包含有关从视点到场景对象表面的距离的信息。其中，深度图类似于灰度图像，只不过每个像素值是传感器与物体之间的实际距离。通常RGB图像和Depth图像是配准的，因此像素之间存在一一对应的关系。

本文以时间为主轴，带您回顾2014年以来RGB-D图像目标检测的典型论文。

纸

2014：丰富的 RGB-D 和 (ECCV'14)

本文是rbg大师的作品。 “基于CNN，它在图像分类、目标检测、语义分割和细粒度分类等方面表现出了相当大的优势。许多作品将CNN引入到RGB-D图像上的视觉任务中。其中一些作品直接使用4-图像进行语义分割任务（不是），其中一部分只是在非常理想的环境下对小物体进行目标检测”。

作者的方法是基于2D目标检测框架R-CNN，并添加了Depth Map的使用。整体结构如下：

（1）根据RGB图像和Depth Map，检测图像中的轮廓并生成2.5D（从上面可以看出，所谓的2.5D实际上包括每个像素的视差、高度、倾斜角度的目标）

(2)使用CNN进行特征提取。这里的网络包括两个：Depth CNN学习深度图上的特征，RGB CNN学习2D图像上的特征，最后使用SVM进行分类。

在Depth Map的使用上，论文中描述的方法并不是直接使用CNN来学习它，而是深度图像在每个像素处有三个：（水平视差）、上方（高度）、以及像素局部与的角度（相对于重力的倾斜角）。

2015 年：课堂 3D (NIPS'15)

作品出自清华陈晓志大师之手（大师同时也是《Multi-View 3D for》的作者，对不起）。

作者首先指出目前state-of-the-art的RCNN方法在自动驾驶数据集KITTI上表现不佳。原因之一是KITTI上的测试图像包含许多小物体、遮挡和阴影，使得实际包含的物体被认为不合适。包括。另外，KITTI对区域的精细度要求较高（），目前大多数区域推荐都是基于强度和纹理超，无法获得高质量。

文章提出了一种针对自动驾驶场景的新方法。对于每个3D盒子（记为y），用一个元组来表示（x,y,z,θ,c,t），（x,y,z）代表3D盒子的中心，θ代表其方位角度，c代表类别，t代表对应的3D盒子模板集。

令x代表点云，y代表点云。作者认为y应该具有以下特征：

基于这些特点，作者列出了能量方程，以最小化E(x,y)为目标，并使用上一篇文章中描述的SVM进行训练。

文章中介绍的方法的效果、代码和数据：3D for Class

2016：RGB-D 中的 3D 深度 (CVPR'16)

文章来自普林斯顿大学。提出的方法是 R-CNN 的 3D 版本，专注于场景。

目前，针对3D目标检测任务的方法，有的使用2D方法来组合深度图，有的使用3D空间中的检测。这让笔者不禁要问：3D、2D还是3D，哪个是针对的？他随后指出，当前2D方法之所以表现更好，可能是因为它的CNN模型更多（well-&pre-with），而不是由于它的2D表达。

作者的方法是设计一个名为Deep的3D CNN，输入3D立体场景，输出3D框，从而提出Multi-scale 3D RPN（ ）：

与R-CNN中的RPN网络类似，对于每个滑动窗口，作者定义了N=19个框：

然后，为了检测不同尺寸的目标，作者添加了多尺度检测方法。具体来说，滑动窗口是在不同的卷积层上执行的。这里的滑动窗口是3D的，因为接收到了整个网络结构。为了细化区域，作者改进了bbox，提出了3D box：一个3D box可以用中心坐标[cx,cy,cz]，长宽高[s1,s2,s3]来表示。最终结果是6部分Shift量：

然后使用与 2D 框相同的 L1 损失。

补充：如何从深度图获取3D输入？

3D：与Depth RCNN的++angle表达不同，作者这里使用了TSDF方法。你可以看到下面的引用：

在世界坐标系中定义一个立方体，将立方体按照一定的分辨率切割成小立方体（体素）。以图8为例，定义了一个3x3x3米的立方体，并将立方体划分为不同分辨率的小立方体网格。换句话说，这个大立方体限制了扫描和重建模型的体积。然后，使用一种称为“截断符号距离函数”（简称TSDF）的方法来更新每个小网格中的一个值，该值代表网格到模型表面的最近距离，也称为TSDF值（底部）图 8）。对于每个网格，每一帧都会更新并记录TSDF值，然后通过TSDF值恢复重建的模型。例如，通过图8下面两张图中网格的TSDF数值分布，我们可以快速恢复模型表面的形状和位置。这种方法通常称为基于体积的方法（-based）。该方法的核心思想是，通过不断更新和“融合”（）TSDF这种类型的测量，我们可以越来越接近所需要的真实值。

2017：跨模式深度（CVPR'17）

虽然这篇文章是针对一个专门的任务，但它的方法非常有启发性，所以也贴在这里。

作者指出，“行人检测任务在深度学习的帮助下取得了重大突破，同时新的传感器（例如和深度）也为解决不良光照和遮挡提供了新的机会。然而，绝大多数现有的监控系统仍然使用传统的 RGB 传感器，因此在 、 和 低

光还是很有挑战性的。 ”

对于不利光照条件下的行人检测任务，文章描述了一个交叉依赖的学习框架，由两个网络组成：

(1) (RRN)

RRN用于学习RGB图像与图像之间的映射，然后可以使用学习到的模型来生成基于RGB的图像。 RRN接收RGB+行人，在ROI后面添加重建网络（全卷积）。这里的重建网络并不重建整个图像，而仅重建行人区域。

(2) 多尺度（MSDN）

MSDN使用RRN学习到的跨模态进行检测。它包含两个子网（子网A和子网B），其中子网B中的参数从RRN迁移而来，最终的fc执行多任务：bbox和.

2017：3D：从 2D 盒子到 RGB 深度的 3D 盒子（CVPR'17）

天普大学的文章。这里作者与2016年Deep的想法不同，回到了2.5D方法进行3D目标检测。所谓2.5D方法，其实就是从RGB-D中提取出合适的表达方式，然后到2D到3D空间。 “虽然利用三维几何特征检测有着光明的前景，但在实际应用中，由于遮挡、反射等原因，重建的三维形状往往是不完整的，并且包含各种噪声。”

整个系统如下，基于Fast R-CNN实现：

对于每个2D（这里的2D方法是Depth R-CNN中的方法），根据分类结果和深度初始化一个3D box（图中黄色虚线框），然后也使用一个3D box。区域细化。专注于 3D 盒子以及：

该图片是 3D 盒子的示例。每个 3D 框由向量 [xcam, ycam, zcam, l, w, h, θ] 表示。 [xcam, ycam, zcam]表示中心位置，[l,w,h]表示大小，θε[− π/2,π/2]表示方位角，即图中黄色箭头所成的角度图形和 z 轴。初始化时，大小由某类对象的类别决定。最后输出7个调整值[δx, δy, δz, δl, δw, δh, δθ]，损失函数采用L1 Loss。

结论

3D目标检测对于自动驾驶、机器人等领域具有重要意义。本文按时间顺序重点分析基于RGB-D的3D方法。从Depth R-CNN到3D-RCNN，看起来基于2D的目标检测框架正在不断完善。我们希望将来会出现更优雅的方法。

感谢您的阅读。文中如有遗漏和错误，敬请批评指正。

参考

[1] Gupta S、R、Arbeláez P 等人。丰富的 RGB-D 和 [C]// 。 ，湛，2014：345-360。

[2] 陈晓，昆杜柯，朱岩，等。 3D 类 [C]// 上 .麻省理工学院出版社，2015：424-432。

[3] 宋S, 肖静. RGB-D中的3D Deep技术[J]. 2015, 139(2):808-816。

[4] Deng Z, L J. of 3D : 3D Boxes from 2D Ones in RGB-Depth [C]// IEEE on 和 . IEEE，2017：398-406。

[5] 徐东，W，Ricci E，等。跨模态深度分析[J]． 2017年。

# 基于深度学习的3D目标检测在自动驾驶中的应用与挑战  # 子网  # 图中  # 出了  # 提出了  # 我们可以  # 普林斯顿  # 麻省理工学院  # 方法来  # 人等  # 方位角  # 都是  # 您的  # 是在  # 在这里  # 是因为  # 专注于  # 你可以  # 模态  # 如有  # 可以用  # 青海省网站建设中的优势  # 北京体育网站建设  # 正规的seo优化网站  # 网站推广首推云速捷首推  # 做优化网站便宜的软件  # 神马关键词排名软件  # 贵州网站建设系统介绍  # 营销推广媒体策划书范文  # 泸州网络网站推广招聘  # 昆山行业网站建设  # 网站建设优化服务机构  # 抖音seo优化推荐  # 北大青鸟网站建设与管理  # 优化网站怎么选关键词  # 遵化一站式网站建设协议  # 子长百度推广营销  # 菏泽整合营销推广转化高  # 泰安网站优化哪家专业  # 和平区网站推广营销中心  # 顺德推广方案短视频营销拓客 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 揭秘自媒体营销的黄金法则，如何快速提升内容曝光度,珠宝网站网站建设模板  广州百度推广的目的与意义,晋州软文网站推广方案  沙溪网站SEO优化步骤全介绍,助力网站排名，提升企业影响力,property 对seo  SEO在国外市场的崛起,影响与启示,广州seo服务推广价格  抖音SEO优化标题与文章内容创作指南,顺德网站推荐优化  SEO优化转化率提升步骤,打造高效营销利器,福建标准网站优化大全  广州百度推广找谁代发？专业代发服务助您精准营销,*网络推广和营销  SEO希望：如何通过SEO优化实现网站突破，迈向成功之路,品牌网站推广软件  SEO电话营销的艺术,如何高效沟通与转化,网站优化链接怎么弄出来  广州百度推广太贵了？中小企业如何应对？,营销推广文案宣传语大全  盐田区SEO厂商助力企业网站优化，提升网络竞争力,石狮SEO关键词优化排名哪家好  SEO教育：搜索引擎优化，开启成功职业之路,搜狗SEO排名接单  SEO自行：提升网站流量的秘密武器,邹平县个人网站建设建议  成都官网SEO优化步骤,助力城市品牌提升网络影响力,网站优化公司精英  详细介绍宁河SEO网站营销推广步骤，助力企业品牌腾飞,淄博抖音seo加盟  晋城SEO优化排名攻略,介绍提升网站流量的方法,粤海小企业网站优化  国内SEO与国外SEO,区别分析及步骤讨论,静安seo优化排名  SEO兼职：如何通过SEO兼职实现收入增长与职业突破,濮阳网站建设官网  如何在广州实现免费的百度推广方案,行业网站建设十大品牌  探索SEO的奥秘，如何利用搜索引擎优化提升你的在线影响力,临沂seo  做页面常遇下拉列表样式问题？看JQuery自定义插件解决   广州百度推广如何起量？精准策略助你成功,旅游推广营销题  SEO添加：提升网站流量与排名的必备策略,seo团队成员中国人  分享免费下载无损音乐网站，车载CD刻录歌曲不愁啦   爱秀|直播|：安卓热门分享平台，集多样功能与独特体验于一身   广州百度推广好吗？深入解析其优势与效果,汽车搜索网站建设  南昌SEO管理，打造你的在线品牌，让流量倍增,汕头企业网站优化  广州百度推广费用表详解，助力企业营销突破,临汾网站推广品牌有哪些  广州个人如何做好百度推广,营销推广的描述怎么写  介绍常州正规SEO报价,如何选择性价比最高的服务,安徽网站建设方案优化  济南优化网站排名SEO攻略,助力企业腾飞之路,力盟seo优化公司  西安SEO首页优化招聘,助力企业提升搜索引擎排名，抢占市场先机,柏乡seo网站优化  广州市SEO方案书，打造你的在线品牌王国,佛山页面seo优化报价  天津家长看过来！陕师大实力如何？一文讲透报考关键点   什么是网站地图？如何制作网站地图及创新互联公司网站特点   永州SEO专业公司助力企业互联网营销，抢占市场先机,齐齐哈尔seo网站排名  SEO关键词优化步骤,如何精准推广，提升网站流量,SEO教程化妆水推荐  介绍云南SEO黑帽教程,如何避免被搜索引擎惩罚,抖音电击器seo  SEO火爆公开课,介绍搜索引擎优化之路，助力网站流量翻倍！,鹤岗seo公司优选火星  揭秘SEO优化背后的秘密，如何让秋蝉内容脱颖而出,香蕉网络营销推广策划  横岗SEO优化,打造企业网络品牌新高度,哪些是免费流量 淘宝seo  SEO助力优质服务推广,介绍高效步骤与方法,如何搜衣服关键词排名  承德SEO优化推广服务,助力企业抢占互联网市场制高点,如何优化百度网站  黑帽SEO的落幕，锦绣大地SEO培训引领新时代SEO浪潮,在线seo优化资源  日常生活中微信成重要沟通工具，如何把录音发送到微信？   介绍十堰SEO网络推广价格,性价比之选，助力企业腾飞,上海知名seo公司  福建百度推广花不出去钱的原因分析,农业网站推广公司有哪些  揭秘广州百度推广渠道商的坑，企业不可忽视的隐患,知识城建设办网站  杨圣亮谈SEO,详细介绍搜索引擎优化步骤与方法,seo优化推广代理商  中华通网络电话：通话效果一流，拨打方式多样还省钱