Google Research的合著者本周发表的预印本研究描述了Entities as Experts(EAE)，这是一种新型的机器学习模型，可以访问其中提到的实体(例如，人，地方，组织，日期，时间和数字)的记忆。一段示例文本。他们声称，它以更少的数据胜过两个最新模型，同时捕获了更多的事实知识，并且比其所基于的Transformers体系结构更具模块化和可解释性。
如果同行评审能证明研究人员对EAE的主张，则可以解决长期存在的自然语言处理难题：无需注入特定于实体的知识，即可获得回答世界问题所需的知识。在企业环境中，EAE可以为聊天机器人的基础，该聊天机器人吸收特定于域的信息的语料库，并使用最可能相关的信息回答有关语料库的问题。
与所有深层神经网络一样，EAE包含神经元(数学功能)，这些神经元分层次排列以传输来自输入数据的信号并调整每个连接的强度(权重)。这样便可以提取特征并学会进行预测，但是由于EAE基于Transformer架构，因此受到关注。这意味着每个输出元素都连接到每个输入元素，并且它们之间的权重是动态计算的。
独特的是，EAE还包含实体存储层，使其能够“理解”并以高度数据有效的方式回答有关文本的问题。该模型直接从文本中学习知识，以及其他模型参数(即，从数据估算出的配置变量，并且在进行预测时模型需要此变量)，并将内存与特定实体或数据类型(如标题和数字表达式)相关联。
正如合著者所解释的那样，“ [例如，]传统的变形金刚需要用“查尔斯”和“达尔文”这两个词来构建查尔斯·达尔文的内部表示形式，这两个词也可以用来指代非常不同的实体，例如查尔斯河或达尔文市。相反，EAE可以访问“ Charles Darwin”的专用表示形式，该表示形式存储了先前提到该实体的所有上下文。对于达尔文的其他提及，例如“查尔斯·罗伯特·达尔文”或“自然选择之父”，也可以访问该表示形式。检索并重新集成了此内存后，EAE可以更轻松地将问题与答案相关联。”