什么是传感器融合?

传感器融合塑造了连接设备的未来

啁啾
推特
LinkedIn
共有
脸谱网
fb-share-icon

传感器融合塑造了连接设备的未来

传感器现在几乎应用于所有行业:它们存在于我们的汽车、工厂,甚至我们的智能手机中。虽然单个传感器可以自己提供有用的数据,但想象一下,可以从同时组合多个传感器的输出中提取信息。假设整体大于各部分之和,这将为我们提供一个更好的世界模型。传感器融合是我们完成这一壮举的过程。

具体而言,传感器融合是将来自多个传感器的数据合并以创建目标场景或对象的更精确概念化的过程。其背后的想法是,每个传感器都有优点和缺点;我们的目标是充分利用每种方法的优势,减少任何不确定性,以获得所研究环境的精确模型。

什么是传感器融合

有哪些不同类型的传感器?

首先,让我们定义传感器融合过程中使用的各种类型的传感器。例如,自动驾驶汽车使用许多不同的传感器来导航其环境。以下是几种最常见的传感器技术:

照相机

摄像机捕捉场景的图像,然后可以用来识别里面的物体。它们的缺点是图像很容易被黑暗、恶劣天气、灰尘等遮盖。

雷达

雷达传感器发射无线电波来探测物体并精确估计其速度。它使用一个称为径向速度的函数来测量波频率的变化,以确定物体是朝着它移动还是远离它。与照相机不同的是,它不能用来指示它正在感知哪些物体。

激光雷达

激光雷达代表光探测和测距,它使用红外传感器测量目标物体和传感器之间的距离。传感器发出波浪并测量波浪从物体上反弹回来所需的时间。然后使用该数据创建环境的三维点云。激光雷达的缺点是它没有很长的射程,也不像照相机或雷达那么便宜。

超声波传感器

超声波传感器可以在几米范围内估计目标物体的位置。

里程传感器

如果测量车轮速度,这个传感器可以帮助预测车辆相对于已知起点的位置和方向。

传感器融合的三种类型

一般来说,传感器融合有三种不同的方法或类型。

互补的

这种类型的传感器融合由相互不依赖的独立传感器组成,但当它们的输出组合在一起时,可以创建更完整的场景图像。例如,放置在房间周围并聚焦于房间不同部分的多个摄像头可以共同提供房间外观的图片。这种类型的优点是,它通常提供最高级别的准确性。

竞争/冗余

当传感器融合在竞争性安排中建立时,传感器提供相同目标对象的独立测量。在这一类别中,有两种配置:一种是来自独立传感器的数据融合,另一种是来自单独实例中单个传感器的数据融合。该类别提供了三种类型中最高级别的完整性。

合作的

第三种类型的传感器融合称为协作。它包括两个独立的传感器,提供数据,当它们结合在一起时,可以提供单个传感器无法提供的信息。例如,在立体视觉的情况下,位于稍微不同视点的两个照相机提供可以共同形成目标对象的3D图像的数据。这是三类中最难使用的,因为结果对单个传感器的错误特别敏感。但它的优势在于能够提供场景或目标对象的独特模型。

应该注意的是,传感器融合的许多用途利用了三种类型中的一种以上,以产生尽可能精确的结果。传感器融合也有三种通信方案;这些措施包括:

  • 分散的传感器节点之间没有通信。
  • 集中传感器与中心节点通信。
  • 分布式传感器节点以设定的间隔进行通信。

所使用的通信方案依赖于项目的用例和需求。

传感器融合算法

为了在传感器融合应用中合并数据,数据科学家需要使用一种算法。也许传感器融合中最流行的算法是卡尔曼滤波器。不过,一般来说,数据科学家探索的传感器融合有三个层次。

传感器融合的三个层次

传感器的输出需要后处理,后处理的水平是不同的。选择的级别影响数据存储需求以及模型的准确性。以下是对这三个层次的总结:

  • 低级别:在较低的级别上,传感器融合采用传感器的原始输出,以确保在转换过程中不会无意中在数据中引入噪声。这种方法的缺点是需要处理相当多的数据。
  • 中级:中级传感器融合不使用原始数据,而是使用已由单个传感器或单独处理器解释的数据。它利用物体位置的假设,权衡各种解释,得出单一答案。
  • 高级别:类似于中级、高级传感器融合加权假设,以获得关于对象位置的答案。然而,它也使用这种方法来识别物体的轨迹。

的卡尔曼滤波器

卡尔曼滤波器早在1960年就发明了,现在我们的智能手机和卫星上都有卡尔曼滤波器,通常用于导航目的。它的目的是估计动态系统的当前状态(尽管它也可以估计过去的状态,称为平滑,未来的状态,称为预测)。当解析嘈杂的数据时,它特别有用;例如,自动驾驶汽车上的传感器有时会捕捉到不完整或有噪声的数据,然后利用卡尔曼算法对这些数据进行校正。

卡尔曼滤波器是贝叶斯滤波器的一种形式。在贝叶斯滤波中,算法在预测(对当前状态的估计)和更新(对传感器的观察)之间交替进行。从本质上讲,算法将对预测进行处理,并根据更新进行修正,循环进行这两个步骤,直到达到预期的精度。

卡尔曼滤波器使用基于状态(包括位置和速度)和不确定性的数学建模进行实时预测。它与线性函数一起工作,但一些传感器输出,如雷达数据,不是线性的。在这种情况下,数据科学家依靠两种方法来线性化模型:

  • 扩展卡尔曼滤波器用雅可比矩阵和泰勒级数进行线性化。
  • 无味卡尔曼滤波使用更精确的近似值进行线性化。

在任何情况下,卡尔曼滤波器都是传感器融合最常用的算法方法之一,有助于将多个数据源合并为一个清晰的当前状态。

传感器融合中的其他算法

除了卡尔曼滤波,数据科学家可能会选择应用其他算法进行传感器融合。它们包括:

神经网络:在深度学习中使用神经网络融合来自多个传感器的图像数据,以便对结果进行分类。

中心极限定理(CLT)在大多数情况下,使用钟形曲线表示,CLT算法将对来自多个传感器的数据进行平均。

贝叶斯算法:我们提到过卡尔曼滤波是贝叶斯滤波的一种,但还有其他的。例如,Dempster-Schafer算法使用测量不确定性和推理来模拟人类的推理。

传感器融合和自动驾驶汽车

传感器融合对于自主车辆领域至关重要。融合算法通过了解障碍物的精确位置、移动速度和方向,帮助车辆在障碍物中导航。换句话说,传感器融合最大限度地提高了自动驾驶车辆的安全性。让我们谈谈它是如何工作的。

车辆将接收摄像头、雷达和激光雷达传感器的输入,以形成其周围环境的单一模型。传感器融合发生在将这些数据合并到奇异模型的实践中。我们前面提到了这些不同的传感器是如何工作的,以及它们的优缺点是什么。结合起来,他们的优势可以描绘出车辆环境的高度准确的画面。然后,该图片可用于通知导航决定去哪里以及速度有多快。

有时,自动驾驶汽车也会利用从车内提取的数据,这就是所谓的车内和车外传感器融合。车辆收集的传感器输入越多,使用传感器融合就越复杂。然而,折衷是,如果操作正确,使用的传感器数据越多,得到的模型通常越精确。

汽车传感器融合功能的一个例子是防止打滑。利用来自方向盘方向、陀螺仪和加速计的传感器输入组合,传感器融合算法可以确定汽车是否处于打滑过程中,以及驾驶员希望汽车行驶的方向。在这种情况下,自动驾驶车辆可以自动踩下制动器,以防止进一步打滑。

案例研究:Appen对自动驾驶汽车的研究

Appen与世界上10家最大的汽车制造商中的7家合作,为他们提供高质量的培训数据。这些复杂的多模式项目必须达到接近100%的精度,以确保车辆可以在任何数量的条件下运行。

“仅车辆在一种地形的模拟或良好天气条件下表现良好是不够的。它们必须在所有天气条件下,在现实世界部署中遇到的每一个可想象的道路场景中表现完美。这意味着为车辆AI开发机器学习模型的团队必须专注于在能够部署到公路上之前,以尽可能高的精度获取训练数据。”- Wilson Pang, Appen首席技术官

在Appen关于自动驾驶汽车项目的工作中,我们已经认识到,在从多种传感器类型获取和汇总数据时,存在着相当大的质量挑战。质量差的培训数据,如果及早捕获,需要花费大量时间来确定数据集的哪些组件需要改进。如果稍后被发现,结果将出现在性能较差的车型上,以及无法以所需的精度水平完成测试的自动驾驶汽车上(然后回到绘图板上)。因此,Appen拥有广泛的审计工具来监控注释数据,并帮助汽车制造商为其客户的未来安全获得尽可能接近100%的准确性。

作为传感器融合的一个具体例子,一些与阿彭合作的汽车制造商经常需要合并两个不同维度的数据集。这是一项艰巨的任务,没有合适的技术是不容易完成的。为了解决这个问题,Appen的平台可以在长方体级别提供具有99%以上对象跟踪的3D点云标注。这意味着我们的客户可以使用2D图像对其数据集进行注释,并将2D图像绑定到带有3D点云注释的数据集上,以实现跨多个维度的映射。

我们的技术是如何利用工具和第三方专业知识帮助团队完成复杂、多模式人工智能工作的一个例子。

传感器融合的其他应用

自动驾驶车辆可能是传感器融合最明显的应用,但它可以使需要聚合多个数据源的任何领域受益。研究人员也在考虑其未来在公共安全、可穿戴设备等新领域的应用。

航行

当您在智能手机上使用地图功能时,您已经体验到传感器融合。谷歌地图或苹果地图将把GPS数据与手机数据(包括指南针、陀螺仪和加速计)结合起来,不仅可以确定你在哪里,还可以确定你面对的方向和移动速度。这可能是传感器融合如何影响我们日常生活的最好例子之一。

物联网

物联网(IoT)为传感器融合提供了大量机会。物联网指的是互联设备共享和聚合数据的理念,最终服务于让我们人类的生活更轻松。这些设备包括传感器,因此将传感器融合应用于这项工作以提高效率是有意义的。

当然,传感器融合的具体应用将取决于所讨论的设备。它可以帮助监控智能水表,管理家中的室内温度,甚至在试图入侵家中时提供安全。说起来可能有点夸张,但这里的可能性确实似乎无穷无尽。

执法

兰德公司代表国家司法研究所和优先刑事司法需求倡议举办了一场研讨会探索传感器融合如何应用于执法行动。目前,执法部门越来越依赖视频技术来完成警务工作。这包括来自他们车辆和随身摄像头的视频。由于摄像机和其他传感器已经在收集这些数据,因此利用传感器融合来提高效率是有机会的。

研讨会发现,传感器融合在改善公共安全方面“非常有希望”。与会者认为,它有助于侦查正在进行的犯罪以及调查犯罪。此外,这项技术可以更好地监控警官的行为,为警官的健康和安全提供更大的保护。当然,研讨会指出,安全和公民权利保护需要到位,以确保这些技术不会被滥用。

这套技术

可穿戴设备市场正在蓬勃发展,像Fitbit和Apple Watch这样的流行产品已经上市。研究人员进行个案研究探索在可穿戴设备市场中使用传感器融合的可能机会。具体而言,该案例研究侧重于监测饮食习惯,以此作为了解人类活动总体情况的替代手段。研究人员利用可穿戴技术的数据创建了一个2D空间,可以对进食事件进行分类。在合并数据的过程中,他们能够识别活动的模式,在这种情况下,如果没有传感器融合,这是不可能的。他们希望这些结果表明,随着时间的推移,有可能对人类活动进行更多的过程监控。

虽然传感器融合在自主车辆之外的应用通常仍处于探索阶段,但随着各类数据可用性的增加,请密切关注这一领域的新发展。

传感器融合的未来

要使传感器融合工作良好,需要硬件和软件两方面的进步。在硬件方面,传感技术不断改进。更准确、更广泛可用的数据自然支持传感器融合模型的更高性能。在软件方面,数字信号处理在快速融合大量数据方面具有显著优势。数据存储选项,如云计算,也是传感器融合技术进步的关键因素,计算能力同样经历了快速增长。

传感器融合的最终目标是什么?事实上,它是模仿人体的感知能力。当你思考这个问题时,我们的大脑会从各种传感器或系统,比如神经系统、肌肉系统等,接收输入信息,从而形成我们周围世界的一幅画面。这确实是一个令人印象深刻的壮举,研究人员不一定接近于模仿。但随着支持传感器融合的软件和硬件的发展,我们离实现这一目标越来越近。

计算机视觉主管郭金莲的专家见解

传感器融合背后的直觉是,我们能收集的信息越多,我们对世界的了解就越好。在ML模型中使用这些信息之前,组织关于我们周围环境的不同信息是非常重要的。组织数据的两个基本步骤是时间同步和空间校准。只有通过精确的同步和校准,才能正确构建时间因果关系和空间几何体,然后才能在传感器融合算法中使用输出。

时间同步和空间校准步骤都非常重要,通常需要设计良好的硬件和软件。有趣的是,当我们审视自己的人类能力时,似乎我们在处理不完美的多传感器数据时有很好的适应时间和空间偏移的能力。这就是为什么可以执行数据注释来创建多传感器数据集的原因,即使传感器硬件和/或软件注册没有在理想环境中进行。您仍然可以使用正确的注释提供程序保存数据集。

实际上,创建新数据集时,可用的传感器校准级别通常具有一定程度的不精确性。在注释时,我们必须以注释者能够轻松解释和修复特性的方式向注释者呈现这种错误校准的传感器信息。我们发现,与手动过程相比,用于显示不同传感器、插入静态视觉提示和动态呈现必要信息集的精心设计的布局都有助于人工注释器更快地交付结果,并且错误更少。更有趣的是,设计一个多步骤的注释过程可以使最终结果受益,因为先前注释的数据可能会使注释者在下一个注释阶段的工作更容易。这指出,我们需要花时间思考如何将传感器融合注释作业划分为子任务,以及使用什么工具和平台来产生最佳输出。

我们能为您做些什么

Appen收集图像、文本、语音、音频和视频,并为其贴上标签,用于构建和不断改进世界上最具创新性和最复杂的人工智能系统。Appen solutions在超过235种语言方面拥有超过25年的专业经验,拥有超过100万的全球熟练承包商,以及业界最先进的人工智能辅助数据注释平台,能够提供技术、汽车、金融服务、零售、制造业领先者所需的质量、安全性和速度,以及世界各国政府。

我们与汽车制造商的合作证明,Appen能够在多模式人工智能项目上提供超过99%的准确性。我们结合2D和3D数据集的能力使我们能够支持高度复杂的机器学习训练数据需求。

为了了解更多关于我们如何帮助你完成下一个人工智能项目的信息,联系我们

用于部署具有世界级培训数据的人工智能的网站
语言