Facebook创建购物数据集以打造更多人性化的聊天机器人

Facebook研究人员本周推出了互动式多模态对话(SIMMC)，这是一种新颖的研究方向，旨在培训AI聊天机器人，这些机器人会采取行动，例如显示对象并解释其对图像的响应，先前交互的记忆以及个人要求。在一份技术论文中，他们详细介绍了为此目的设计的新数据集，其中包含跨越家具和时尚两个领域的约13,000个人与人之间的对话，以及作为客观评估协议制定的若干任务。

Facebook似乎正在朝着一种助手的方向努力，该助手能够处理用户和助手共同观察的数据，然后根据该数据输出的答复不只是纯文本。希望该助手通过像人一样自然地响应图像，消息和有关图像的消息来模仿人类聊天伙伴。例如，在提示“我想购买一些椅子-给我看棕色椅子并告诉我有关材料”的提示下，助理可能会用棕色椅子的图像和文字“您感觉如何?它们为棕色，带有泡沫配件。”

SIMMC通过上述数据集和新技术任务来支持这种助手的开发，这些新技术任务可解决面向任务的对话，该对话包含以共同观察的图像或虚拟现实环境形式存在的多模式用户上下文。根据对话流程和助手的操作动态更新任务。

在SIMMC-Furniture(家具专用数据集)中，用户与会话助手进行交互以获取有关沙发和边桌等物品的推荐。为了创建它，Facebook研究人员在Unity内建立了一个虚拟环境，志愿者将与伪装成虚拟的功能齐全的助手的人随机连接。用户可以要求查看特定类型的家具，助手可以按价格，颜色，材料等对3D Wayfair资产目录进行过滤，同时浏览过滤后的结果以集中他们的观点(即放大) )或轮播(三个包含三个不同项目的广告位)演示文稿。

同时，在SIMMC-Fashion数据集中，用户要求冒充虚拟助手的人提供夹克，衣服以及其他服装和配饰建议。在相同的Unity环境中，当用户浏览和浏览根据偏好和视觉场景，记忆以及助手推荐的物品而选择的选项时，助手可以按价格，品牌，颜色等进行分类。

对于两个语料库，研究人员都指出了每种视图中出现了哪些项目。他们还开发了一种本体来捕获对话流中的多模式交互，并为助手和用户的话语提供语义，它由四个主要部分组成：对象，活动(例如，“添加到购物车”)，属性(“品牌”)和对话行为(“询问”)。为了补充这一点，他们派生了一种用于标注的标注语言，该标注语言允许对话框交换的表示形式，以便SIMMC标注捕获对象与其对应的对话框标注的关系。

Facebook研究人员基于这些数据集构建了一个基本助手，该助手由四个部分组成：话语和历史编码器，多模式融合，动作预测器和响应生成器。

话语和历史编码器根据用户回复和对话历史记录创建编码(数字表示)。

多峰融合步骤将来自文本和多峰上下文的信息组合到称为张量的数学对象中。

动作预测器通过将张量转换为另一个称为向量的对象，然后预测助手可能需要调用的API，来预测助手将要采取的动作。

响应生成器生成一个辅助响应，该辅助响应在语义上与用户的请求相关。例如，给定“向我显示低于500美元的黑色沙发”的请求，生成器可能会根据可用库存回答“这里有些”或“对不起，我们没有比500美元便宜的黑色沙发”。

在对SIMMC-Fashion和SIMMC-Furniture上的模型进行训练后，研究人员发现它们在许多指标上均优于两个基准AI系统。尽管没有利用细粒度的注释，但是性能最佳的动作预测器还是为SIMMC-Furniture语料库选择了正确的API的时间为79.6%，为SIMCC-Fashion选择了85.1%的时间。Facebook表示，它将在将来公开发布数据，注释，代码和模型。

这项研究是在Facebook详细介绍其购物体验背后的AI系统之后进行的，该体验在Instagram，WhatsApp和Facebook上不断发展。该公司表示，其目标是有一天将其方法整合到一个系统中，该系统可以即时提供产品建议，并与个人口味和风格相匹配-这是最近停止使用的以亚马逊AI为动力的Echo Look的一种无硬件设计相机告诉顾客他们的衣服看起来如何并跟踪他们的衣柜。