研究人员提出了基于游戏的AI常识推理基准

在上周的国际机器学习大会上接受的一篇论文中，伦敦大学学院和牛津大学的研究人员提出了一个WordCraft环境，以对AI代理的常识推理能力进行基准测试。他们基于《小炼金术2》(Little Alchemy 2)这款游戏，任务是让玩家混合各种成分来创造新的物品，他们说WordCraft既轻巧，又基于现实世界语义启发的实体和关系。

正如研究人员所指出的那样，私人助理和家用机器人需要能够快速学习并能很好地推广到新情况的代理。如果没有能力使用常识和关于世界的常识来推理，这是不可能的。例如，负责执行普通家务却没有看到肮脏的烟灰缸的特工需要知道一系列合理的措施，包括如何清洁烟灰缸并避免将其喂给宠物。

WordCraft通过使代理制作700多个不同的实体(成分)，并结合先前发现的实体(例如“水”和“地球”)以创建“泥浆”，来测试代理的常识推理。WordCraft中有3,417个有效的项目组合，并且座席必须使用有关概念之间关系的知识来有效地解决游戏问题，而不必尝试所有组合。通过随机采样目标实体，有效组成实体和干扰因素实体来创建每个任务，并且可以通过增加干扰因素的数量或增加必须创建的中间实体的数量来调整任务难度。

除了WordCraft之外，研究人员还介绍了一种代理程序体系结构，该体系结构利用外部知识图中的信息来指导代理程序的策略。(知识图是由主题专家在AI模型的帮助下创建的域的模型。)鉴于WordCraft中的配方基于常见实体之间的真实语义，研究人员认为，对知识图的条件应该通过将代理的学习限制于偏向于具有常识性语义的交互的策略，从而使代理能够更有效地学习。

在实验中，研究人员专注于零镜头泛化性能，将所有有效配方集分为训练集和测试集。他们还以与WordCraft相同的难度设置收集了人类基线，该基线是对使用常识和常识可以实现的零击性能的估计。

根据该团队的说法，尽管他们的座席体系结构与没有任何知识图谱的座席在更少的培训步骤中达到了同等的成功率，但随着培训的进行，它最终达到了可比的性能水平。“我们计划进一步探索多种途径。研究人员写道，将WordCraft扩展到原始的《小炼金术2》的更长视界设置(用户必须在其中找到尽可能多的实体)可能是研究常识驱动探索的有趣设置。“我们相信这项工作中的想法可以使更复杂的强化学习任务受益于与大量特定任务知识相关的任务，例如NLE。