易趣在人工智能方面的是非曲直:你衡量什么很重要

啁啾
推特
LinkedIn
共有
脸谱网
fb共享图标

以下内容改编自真实世界的人工智能。

我在2006年加入eBay, 2009年,这家公司的情况非常糟糕。该公司股价处于历史低点,远低于近24美元的历史高点;它在削减成本,增长是负的,市场份额在缩水,技术团队没有被授权进行创新。

简单地说,这家公司陷入了严重的困境。

他们扭转了局面,这在很大程度上要归功于对技术的投资。特别是,该公司开始了利用技术、数据和人工智能推动业务的旅程。我很幸运地加入并组建了搜索科学团队,这是首批利用机器学习优化买家体验、帮助他们更容易地在eBay网站上找到想要的物品的团队之一。

我们打算构建一个能够改善用户体验并推动收益的AI模型,但我们在第一次尝试中并未做到完美。通常情况下,在使用人工智能时,事情会先出错,然后才会变好。作为企业主或决策者,或者作为工程师或数据科学家,理解为什么人工智能模型可能无法按预期工作是很重要的,这样你就可以修正它,更有效地使用人工智能。

构建我们的第一个模型

因为我们想增加收入,当我们第一次着手建立我们的人工智能模型时,我们的团队专注于增加收入每个会话的购买量:买家在一个用户会话中购买的平均项目数。

考虑到这一目标,我们的AI模型强调销售(游戏邦注:即道具的销售次数)高于印象(游戏邦注:即道具的浏览次数),廉价道具的销售频率高于高价道具,排名高于其他道具。

我们尝试了不同的机器学习模型——重写买家查询的模型,生成特征用于排序模型的模型,以及对最终搜索结果进行排序的模型。然后我们进行了一系列a /B测试来评估模型的结果,并取得了巨大的成功。许多模型证明买方转化率增加了。其他团队受到这些成功的激励,开始努力增加每回合的购买量。

一切看起来都很美好。也就是说,直到财务团队发现这些A/B测试的胜利并没有转化为收入的增加。

易趣在人工智能方面的是非曲直:你衡量什么很重要

工作模式不一定是有利可图的

我们在某个地方出了问题,我们需要一个快速的解决方案。我们正在损害公司的收入,而当时它连一分钱都赔不起。

我们深入研究了不同查询的搜索结果,发现了一个有趣的现象:我们经常把附属项目排在最前面。例如,当买家搜索“iPhone”一词时,许多iPhone手机壳会排在搜索结果的首位。虽然这些配件在网站上很受欢迎,但它们并不是用户一直在搜索的东西,因此它造成了我们所谓的“配件污染”,并导致了糟糕的用户体验。

啊哈!我们已经弄清楚了营收下滑的原因;一个10美元的iPhone手机壳就代表了收入低于一部300美元的iPhone。我们的机型本应推荐价格更高的手机,但却推荐价格更低的配件。

我们的模型和我们建立的模型完全一样,但我们建立它是为了做错误的事情。

选择正确的测量方法

很多时候,成功取决于你选择衡量什么。

当我们开始我们的旅程时,技术团队将不同的目标统一为一个单一的目标,重点是增加销售额。这是一个非常以客户为中心的选择,你的唯一目标是销售更多,但这正是卖家和买家想要的,也是我们最终得到报酬的目的。

经过多轮讨论后,我们开始通过每次会议的购买量来衡量成功与否。我们的人工智能模型成功实现了这一目标,但却创造了糟糕的用户体验,并未能实现业务增长。我们需要用不同的人工智能模型找到新的解决方案,更重要的是,找到一种衡量人工智能模型成功与否的新方法。很明显,“每次购买”在我们的AI模型和团队中产生了错误的动机。

教训是显而易见的:小心选择正确的度量,因为它将通知AI的方向。

随后,我们将价格相关信号加入到模型中,解决了“附件污染”问题。更重要的是,我们将衡量标准从每回合的购买量改为每回合的商品总价值(GMV)。通过这些改变,我们不仅有了一个工作模式,而且有了一个盈利模式。

人工智能需要努力,但值得

一旦我们的团队向整个公司展示了机器学习和数据的强大功能,更多的团队开始利用人工智能作为业务增长的动力。这最终对收入产生了巨大影响,并帮助公司实现了引人注目的转型。

到2012年,eBay的股价已经上涨了65%,该公司在商业领域实现了约1750亿美元的盈利——约占全球电子商务市场的19%,占全球零售市场的近2%。

如果eBay没有接受人工智能,该公司现在可能会处于一个非常不同的位置。今天,在人工智能上失掉一条船,实际上意味着失去你所在行业的竞争优势。

处理AI可能会让人觉得难以应付且过于技术性,但重要的是要记住这是一个过程。你可能在第一次尝试时就做不好,但是如果你从错误中学习,并努力衡量正确的东西,你就可以构建具有实际影响的强大工具。

有关构建高效、以业务为中心的人工智能的更多建议,您可以在亚马逊上找到真实世界的人工智能。

Alyssa Rochwerger是一位以客户为导向的产品领导者,致力于为现实生活中的人们提供解决难题的产品。她喜欢把对顾客有积极影响的产品推向市场。她在将产品从概念扩展到大规模ROI方面的经验,在初创企业和大型企业都得到了证明。她曾担任多个机器学习组织的产品领导职务。她曾担任Figure Eight(被Appen收购)的产品副总裁,Appen的人工智能和数据副总裁,IBM Watson的产品总监。她最近离开了这个领域,去追求她的梦想——利用科技改善医疗保健。目前,她在加州的Blue Shield担任产品总监,在那里,她快乐地被大量的数据、许多困难的问题包围着,除了产生积极影响的机会,什么都没有。她很高兴能够追求为我们的家人和朋友提供高质量、负担得起的医疗服务的使命。Alyssa在加利福尼亚州的旧金山出生和长大,并持有三一学院的美国研究学士学位。当她不沉迷于数据和技术的时候,可以看到她和家人一起徒步旅行、做饭、在“偏僻”的餐馆吃饭。

Wilson Pang于2018年11月加入Appen担任首席技术官,负责公司的产品和技术。Wilson在软件工程和数据科学方面拥有超过十九年的经验。在加入Appen之前,Wilson曾担任携程中国首席数据官,携程是全球第二大在线旅行社公司,他带领数据工程师、分析师、数据产品经理和科学家改善用户体验,提高运营效率,从而促进了业务的发展。在此之前,他是加州eBay的高级工程总监,并在多个领域担任领导职务,包括数据服务和解决方案、搜索科学、营销技术和计费系统。在eBay之前,他曾在IBM担任架构师,为各种客户构建技术解决方案。威尔逊在中国浙江大学获得电气工程硕士和学士学位。

用于部署具有世界级培训数据的人工智能的网站
语言