构建机器学习模型时不要从头开始

啁啾
推特
LinkedIn
共有
脸谱网
fb共享图标

如何利用预先训练模型的训练数据加速AI项目

这可能是一个安全的假设你与之互动的人工智能中有一部分是使用监督学习构建的。监督学习本质上是从头开始构建机器学习(ML)模型,是人工智能(AI)的关键驱动力到目前为止,由于对大型数据集访问量的增加和计算能力的增长,这项技术得到了发展。但由于缺乏资源,许多人工智能项目从未取得成果,人们可能希望有一种更有效的模型创建方法。幸运的是,有监督学习的替代方法,可以减少时间、金钱和人力资源不牺牲质量的堡垒。

利用您自己的培训数据进行迁移学习并使用预先培训过的模型是一种机器学习技术,随着技术人员寻求优化ML模型的新方法,这种技术最近才开始受到重视。迁移学习不需要从头开始,并且可以降低启动人工智能的初始投资。通过迁移学习,ML变得更加广泛,使更多的公司能够启动其AI项目,并总体上加快了AI采用的速度。

构建机器学习模型时不要从头开始

什么是迁移学习?

迁移学习是一种最大似然方法,其中针对任务训练的模型用作解决不同但相关任务的起点。对于新任务,这个预先训练好的模型可能不会100%准确,因此经常需要修剪模型并在data designer上对其进行训练,以便对您的用例进行微调。例如,您可能有一个经过训练的模型来识别家猫。迁移学习将涉及重用该模型并对其进行微调,以识别(比如)山猫。

如何使用预先训练的模型

使用预先培训的模型进行迁移学习将遵循以下过程:

1.选择型号

模型选择是迁移学习中至关重要的第一步。您需要选择一个与您试图解决的用例非常相似的模型。也有许多可用的模型免费和开源,或从第三方供应商处购买。例如,NVIDIA提供迁移学习工具包这包括面部识别、对象检测和许多其他常见ML用例中的大量预训练模型。

型号质量因货源而异,因此您应尽最大努力确保选择的型号达到所需的质量标准。

2.剪枝模型

选择哪些属性(可能全部)如果你只使用模型的一部分,你可以考虑只使用模型体系结构,或者在神经网络的情况下,只考虑网络中的某些层。这个选择取决于你试图解决的问题的性质,以及你正在工作的模型类型。如有必要,您还可以在完成步骤3后继续修剪模型。

3.列车模型

为了最大限度地提高性能,您需要继续微调模型并确认其精度;这需要为当前用例提供额外的培训数据。您可能已经有了自己的数据集,希望用于培训目的。如果您需要对数据进行注释,您可能需要寻找第三方数据提供商,如Appen,该提供商可以让您即时访问注释器池和数据注释平台,以实现高效的标记。

如果您需要获取更多数据,像Appen这样的数据提供商也可以为您提供带标签的数据集。您可以继续使用新数据对模型进行训练,直到模型达到所需的性能级别。建立强大的训练数据管道将使这一步从长远来看更快、更具可扩展性,特别是考虑到ODEL在部署后需要定期重新培训。

为什么使用迁移学习和预先培训的模型?

从头开始构建和训练ML模型所需的资源是巨大的。首先,你需要一个由高度专业化的数据科学家和ML专家组成的团队,再加上具有领域专业知识的数据注释员。你需要大量的数据,这需要花费时间和金钱。你需要额外的时间来标记你的数据,编程你的算法,训练它在标记的数据上,测试它,部署它,并在生产后继续监控它。总之,从头开始构建ML是一项非常耗费资源的工作。

如果正确实施,迁移学习可以节省时间,并且仍能达到预期的性能。利用预先训练好的模型可能意味着很多事情:这意味着您不需要为训练目的标记整个数据集(但您可能仍然需要标记)一些更多数据见上一节)。这也意味着您的团队可能不需要数据科学家或ML专家,因为您实际上并没有构建新的模型,而这是需要最专业技能的AI开发领域。在AI和ML专业人员技能差距持续存在的时代,这是迁移学习差异化的关键因素。

当你试图解决的任务可能没有大量可用数据,但相关任务有大量可用数据时,迁移学习是一个很好的工具。然后,你可以使用从解决相关任务中获得的知识来解决新任务。

迁移学习是人类获取新信息最流行的方式之一,因此在人工智能中利用这一过程也是有意义的将时间、金钱和精力投入到每项人工智能计划中。转移学习为更多玩家进入人工智能领域提供了机会,最终促进了该领域更大的实验和创新。

用于部署具有世界级培训数据的人工智能的网站
语言