什么是传感器融合?

传感器融合塑造连接设备的未来

传感器融合塑造连接设备的未来

传感器现在几乎在每个行业都有应用:在我们的汽车里,在我们的工厂里,甚至在我们的智能手机里。虽然单个传感器本身可以提供有用的数据,但想象一下,同时从多个传感器的输出中提取的信息。假设整体大于部分之和,这将为我们提供一个更好的关于我们周围世界的模型。传感器融合是我们实现这一壮举的过程。 具体来说,传感器融合是将来自多个传感器的数据进行合并,以形成更准确的目标场景或物体概念的过程。它背后的想法是每个传感器都有优点和缺点;我们的目标是利用每种方法的优势,并减少任何不确定性,以获得所研究环境的精确模型。

什么是传感器融合

有哪些不同类型的传感器?

首先,让我们定义在传感器融合过程中使用的各种类型的传感器。例如,自动驾驶汽车使用许多不同的传感器来导航周围环境。以下是几种最常见的传感器技术:

相机

相机捕捉场景的图像,然后用来识别里面的物体。它们的缺点是图像很容易被黑暗、恶劣的天气、污物等所掩盖。

雷达

雷达传感器发射无线电波来探测物体并精确估计它们的速度。它使用一种叫做径向速度的函数来测量波频率的变化,以确定物体是朝它移动还是离开。与相机不同的是,它不能用来指示被它感知到的物体。

激光雷达

LiDAR是光探测和测距的简称,它使用红外传感器来测量目标物体和传感器之间的距离。传感器发出声波,并测量声波从物体反射回来所需的时间。然后使用这些数据创建环境的3D点云。激光雷达的缺点是它的射程不是很长,也不像照相机或雷达那样便宜。

超声波传感器

超声波传感器可以在几米内估计目标物体的位置。

计程仪传感器

如果测量车轮速度,这个传感器可以帮助预测车辆相对于已知起点的位置和方向。

三种类型的传感器融合

一般来说,传感器融合有三种不同的方法或类型。

互补

这种类型的传感器融合由互不依赖的独立传感器组成,但当它们的输出组合在一起时,创建一个更完整的场景图像。例如,放置在房间周围并聚焦于房间的不同部分的几个摄像头可以共同提供房间的图像。这种类型的优点是它通常提供最高水平的精度。

竞争/冗余

当传感器融合建立在一个竞争的安排,传感器提供独立的测量相同的目标对象。在这个类别中,有两种配置:一种是来自独立传感器的数据融合,另一种是来自单独实例中获取的单个传感器的数据融合。这个类别给出了三种类型中最高级别的完整性。

合作

第三种类型的传感器融合被称为协同融合。它涉及到两个独立的传感器,当它们提供的数据放在一起时,提供的信息是单个传感器无法提供的。例如,在立体视觉的情况下,两个视角略有不同的摄像头提供的数据可以共同形成目标物体的3D图像。这是三个类别中最难使用的,因为结果对单个传感器的误差特别敏感。但它的优点是它能够提供一个场景或目标对象的独特模型。 我们应该注意到,传感器融合的许多使用利用了三种类型中的一种以上,以创建尽可能准确的结果。在传感器融合中还采用了三种通信方案;它们包括:
  • 分散的传感器节点之间没有通信。
  • 集中传感器与中心节点通信。
  • 分布式传感器节点以设定的时间间隔进行通信。
所使用的通信方案依赖于项目的用例和需求。

传感器融合算法研究

为了在传感器融合应用中合并数据,数据科学家需要使用一种算法。也许在传感器融合中最流行的算法是卡尔曼滤波。总的来说,数据科学家探索的传感器融合有三个层次。

三层传感器融合

传感器的输出需要后期处理,其水平会有所不同。选择的级别影响数据存储需求以及模型的准确性。以下是对这三个层次的总结:
  • 低:在较低的水平上,传感器融合采用传感器的原始输出,以确保我们在转换期间不会无意中在数据中引入噪声。这种方法的缺点是需要处理相当多的数据。
  • 中级:中层传感器融合使用的不是原始数据,而是已经由单个传感器或单独的处理器解释过的数据。它利用对物体位置的假设,权衡各种解释来得出一个奇异的答案。
  • 高级:类似于中层,高层传感器融合加权假设,以获得物体位置的答案。然而,它也使用这种方法来识别物体的轨迹。

的卡尔曼滤波器

卡尔曼滤波器早在1960年就被发明出来了,现在已经出现在我们的智能手机和卫星上,通常用于导航目的。它的目的是估计一个动态系统的当前状态(尽管它也可以估计过去,称为平滑,和未来,称为预测)。当分析嘈杂的数据时,它特别有用;例如,自动驾驶汽车上的传感器有时会捕捉到不完整或有噪声的数据,然后通过卡尔曼算法进行修正。 卡尔曼滤波器是贝叶斯滤波器的一种形式。在贝叶斯滤波中,算法在预测(对当前状态的估计)和更新(传感器的观测)之间交替进行。从本质上讲,算法将根据更新的结果进行修正,循环这两个步骤,直到达到预期的精度。 卡尔曼滤波器利用基于状态(包括位置和速度)和不确定性的数学模型进行实时预测。它与线性函数工作,但有些传感器输出,如雷达数据,不是线性的。在这种情况下,数据科学家依靠两种方法来线性化模型:
  • 扩展卡尔曼滤波器用雅可比矩阵和泰勒级数来线性化。
  • 无味卡尔曼滤波使用更精确的近似来线性化。
在任何情况下,卡尔曼滤波器是传感器融合最常见的算法方法之一,有助于将多个数据源合并为一个清晰的当前状态。

传感器融合中的其他算法

除了卡尔曼滤波,数据科学家可能会选择应用其他算法进行传感器融合。它们包括: 神经网络: 在深度学习中使用神经网络融合来自多个传感器的图像数据,以便对结果进行分类。 中心极限定理(CLT) 在大多数情况下使用钟形曲线表示,CLT算法将平均来自多个传感器的数据。 贝叶斯算法: 我们提到过卡尔曼滤波器是贝叶斯滤波器的一种,还有其他几种。例如,Dempster-Schafer算法使用不确定性和推断的测量来模仿人类的推理。

传感器融合与自动驾驶汽车

传感器融合对自动驾驶汽车领域至关重要。融合算法通过了解障碍物的精确位置、移动速度和方向来帮助车辆导航。也就是说,传感器融合最大限度地提高了自动驾驶汽车的安全性。我们来谈谈它是如何工作的。 车辆将接收来自摄像机、雷达和激光雷达传感器的输入,形成其周围环境的单一模型。传感器融合发生在将数据合并到单一模型的实践中。我们之前提到了这些不同的传感器是如何工作的,以及它们的优缺点。两者的优势结合在一起,可以非常准确地描绘出车辆的环境。然后,这张图片可以用来告诉导航决策去哪里和多快。 有时,自动驾驶汽车也会利用汽车内部的数据,这被称为内部和外部传感器融合。车辆收集的传感器输入越多,使用传感器融合就会越复杂。然而,如果操作正确,所得到的模型通常使用的传感器数据越多,其结果就越准确。 在汽车领域,传感器融合的威力体现在防滑方面。利用来自方向盘方向、陀螺仪和加速度计的传感器输入,传感器融合算法可以判断汽车是否在打滑,以及司机希望汽车朝哪个方向行驶。在这种情况下,自动驾驶汽车可以自动刹车以防止进一步打滑。

案例研究:Appen在自动驾驶汽车方面的工作

Appen与世界上10家最大的汽车制造商中的7家合作,为他们提供高质量的培训数据。这些复杂的多模式项目必须达到尽可能接近100%的精度,以确保车辆可以在任何条件下运行。
“车辆在模拟地形或一种地形的良好天气条件下表现良好是不够的。他们必须在现实世界中遇到的任何可以想象的道路情况下,在任何天气条件下都能完美地运行。这意味着,研究车辆人工智能机器学习模型的团队必须专注于获得尽可能高的准确性的训练数据,然后才能部署在道路上。” - Wilson Pang, Appen的首席技术官
在Appen的自动驾驶汽车项目中,我们认识到在从多种传感器类型中获取和聚合数据时,存在相当大的质量挑战。如果早期发现质量较差的训练数据,则需要浪费大量时间来确定数据集的哪些组件需要改进。如果晚些时候被发现,结果会出现在表现不佳的模型上,以及无法以所需的精度水平完成测试的自动驾驶汽车上(然后就得重新开始)。因此,Appen拥有广泛的审计工具来监控注释数据,并帮助汽车制造商尽可能接近100%的准确性,以确保客户未来的安全。 作为传感器融合的一个具体例子,一些与Appen合作的汽车制造商经常需要合并两个不同维度的数据集。这是一项艰巨的任务,没有正确的技术是不容易完成的。为了解决这个问题,Appen的平台可以在长方体层面提供超过99%的物体跟踪的3D点云注释。这意味着我们的客户可以用2D图像和3D点云注释来注释他们的数据集,从而实现跨维度的映射。 我们的技术可以作为一个例子,说明如何利用工具和第三方专业知识来帮助团队完成复杂的、多模式的AI工作。

传感器融合的其他应用

自动驾驶汽车可能是传感器融合最明显的应用,但它可以造福于任何需要聚合多个数据源的领域。研究人员也在考虑它未来在公共安全、可穿戴设备等新领域的应用。

导航

当你使用智能手机上的地图功能时,你已经体验到了传感器融合。谷歌地图或苹果地图将GPS数据与手机数据(包括罗盘、陀螺仪和加速度计)结合起来,不仅可以确定你在哪里,还可以确定你面对的方向和移动速度。这可能是传感器融合如何影响我们日常生活的最好例子之一。

物联网

物联网(IoT)为传感器融合提供了大量机会。物联网指的是互联设备共享和聚合数据的理念,最终服务于让我们人类的生活更轻松。这些设备包括传感器,因此将传感器融合应用于这一努力以提高效率是有意义的。 当然,传感器融合的具体应用将取决于所讨论的设备。它可以帮助监控智能水表,管理家里的室内温度,甚至在试图入侵家庭时提供安全保障。这么说可能有点夸张,但这里的可能性确实是无穷无尽的。

执法

代表国家司法研究所和优先刑事司法需求倡议,兰德公司 举办了一场研讨会 探讨传感器融合如何应用于执法行动。目前,执法部门越来越依赖视频技术来完成他们的警务工作。这包括他们车上的视频和随身摄像头。由于这些数据已经被摄像机和其他传感器收集,因此有机会利用传感器融合来提高效率。 研讨会发现,传感器融合在改善公共安全方面“极有前景”。与会者认为,这对侦查正在进行的罪行和调查罪行可能是有用的。此外,这项技术可以更好地监测警官的行为,为警官的健康和安全提供更大的保护。当然,研讨会指出,安全和公民权利保护需要到位,以确保这些技术不被滥用。

这套技术

可穿戴设备市场正在蓬勃发展,货架上有Fitbit和Apple Watch等受欢迎的产品。研究人员进行了 一个案例研究 探索传感器融合技术在可穿戴设备市场的应用机会。具体来说,该案例研究侧重于监测饮食习惯,以获取对人类总体活动的洞察。研究人员利用可穿戴技术的数据创建了一个2D空间,可以对进食事件进行分类。在合并数据的过程中,他们能够识别活动的模式,在这种情况下,进食,如果没有传感器融合,这是不可能的。他们希望这些结果表明,随着时间的推移,有可能对人类活动进行更多的过程监测。 虽然传感器融合在自动驾驶汽车之外的应用可能仍处于探索阶段,但随着各种类型数据的可用性不断增长,请密切关注这一领域的新发展。

传感器融合的未来

为了使传感器融合工作得更好,硬件和软件都需要进步。在硬件方面,传感技术不断改进。更准确、更广泛可用的数据自然支持传感器融合模型的更高性能。在软件方面,数字信号处理在快速融合海量数据方面具有显著优势。数据存储选项,如云,也是传感器融合技术进步的关键因素,因为计算能力同样经历了快速增长。 传感器融合的最终目标是什么?事实上,这是模仿人体的感知能力。当你思考这个问题时,我们的大脑从各种传感器或系统(如神经系统、肌肉系统等)接收输入,从而创造出我们周围世界的画面。这确实是一个令人印象深刻的壮举,研究人员不一定会模仿。但随着越来越多的软件和硬件开发支持传感器融合,我们离实现它越来越近。

来自连国钦的专家洞察-计算机视觉主管

传感器融合背后的直觉是,我们收集的信息越多,我们对世界的理解就越透彻。在ML模型中使用它们之前,组织关于我们周围环境的不同信息是非常重要的。组织数据的两个基本步骤是时间同步和空间校准。你只能通过精确的同步和校准来正确地构建时间因果关系和空间几何,只有这样你才能在传感器融合算法中使用输出。 时间同步和空间校准步骤都不是微不足道的,通常需要精心设计的硬件和软件。有趣的是,当我们观察人类自身的能力时,似乎我们在处理不完美的多传感器数据时具有很好的适应时间和空间偏移的能力。这就是为什么即使传感器硬件和/或软件注册没有在理想环境中发生,也可以执行数据注释来创建多传感器数据集的原因。您仍然可以使用正确的注释提供程序保存数据集。 在实践中,当您创建一个新的数据集时,可用的传感器校准级别通常有一定程度的不准确性。在进行注释时,我们必须以注释器能够轻松解释和修复特性的方式向注释器呈现这些校准错误的传感器信息。我们发现,与手动流程相比,用于显示不同传感器、插入静态视觉提示和动态呈现必要信息集的精心设计的布局都有助于人类注释器更快地交付结果,且误差更小。更有趣的是,设计一个多步骤的注释过程可以使最终结果受益,因为前面注释过的数据可以使注释者在下一个注释阶段的工作更容易。这指出,我们需要花时间思考如何将传感器融合注释作业划分为子任务,以及使用什么工具和平台来产生尽可能好的输出。

我们能为您做什么

Appen收集并标注图像、文本、语音、音频和视频,用于构建和持续改进世界上最创新和最复杂的人工智能系统。凭借超过25年超过235种语言的专业知识,全球超过100万名熟练承包商,以及行业最先进的人工智能辅助数据注释平台,Appen解决方案为全球技术、汽车、金融服务、零售、制造和政府领域的领导者提供所需的质量、安全和速度。 我们与汽车制造商的合作证明,Appen能够在多模式AI项目中提供超过99%的准确性。我们结合2D和3D数据集的能力使我们能够支持高度复杂的机器学习训练数据需求。 为了了解更多关于我们如何帮助你的下一个人工智能项目, 联系我们
部署具有世界一流训练数据的人工智能网站
语言
Baidu