英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
基于注意力的事务上下文嵌入
下一项目推荐
dagger;Shoujin Wang, dagger;Liang Hu, dagger;Longbing Cao, Dagger;Xiaoshui Huang, *Defu Lian, dagger;Wei Liu
Dagger;GBDTC, FEIT, Univeristy of Technology Sydney
dagger;Advanced Analytics Institute, Univeristy of Technology Sydney
*Big Data Research Center, University of Electronic Science and Technology of China
shoujin.wang@student.uts.edu.au, rainmilk@gmail.com,
{longbing.cao, xiaoshui.huang, wei.liu}@uts.edu.au, dove.ustc@gmail.com
摘要
在事务协商文本中向用户推荐下一项内容是很实际的，但在市场营销活动等应用程序中却很有挑战性。事务上下文指的是事务中可见的项。大多数现有的基于交易的推荐系统(TBRSs)主要考虑最近发生的项目，而不是当前环境中观察到的所有项目。此外，它们经常假定事务中的项之间存在严格的顺序，这并不总是实际的。更重要的是，一个长时间的转换往往包含许多对下一个选择不尊重的项目，这往往会压倒几个真正相关的影响。因此，我们认为，一个好的TBRS不仅要考虑当前交易中所观察到的所有项目，还要根据不同的相关性对它们进行加权，以构建一个关注的上下文，从而以较高的概率输出正确的下一个项目。为此，我们设计了一个有效的基于注意力的事务嵌入模型(ATEM)，用于上下文嵌入，在不考虑顺序的情况下对事务中每个观察到的项进行加权。通过对真实世界交易数据集的实证研究证明，ATEM在准确性和新颖性方面都显著优于现有的方法。
介绍
目前，推荐系统(RSs)在现实商业中扮演着重要的角色，尤其是在电子商务领域。然而，现有的RS理论面临各种各样的问题(Cao 2016)，比如倾向于重复用户可能已经选择的内容(Deshpande和Karypis 2004)。在现实中，用户可能更喜欢新奇且与现有产品不同的产品。为了解决这一问题，新推荐范式(Cao 2016)需要在事务上下文中进行，即在一个事务中已经选择了什么。一方面，基于事务的RSs (TBRSs) (Huang和Zeng 2011)合并了以前的事务，即，以生成更敏感和更可靠的新的事务性推荐，如下一个篮子和下一个项目的推荐(Wang等人)。(2015)通过分析事务间耦合关系(Cao 2015)。这些方法与基于用户首选项和项目可行性的典型 RS方法有很大的不同。然而，另一方面，还不清楚下一项是什么
人工智能促进会2018年版权所有(www.aaai.org)保留所有权利。
当将一个项集合放入事务中时，应该建议使用。这就需要通过分析事务内部的依赖关系来修复事务上下文中的下一项。这里，下一项的上下文指的是相应的与项相关的事务。例如一个购物篮记录，由多个选中的商品组成。
让我们用一个例子来说明上述问题。用户首先将三件物品{牛奶;苹果;橘子}放入购物车中，然后将面包添加到相同的购物车中。随后，该交易被确定为{牛奶;苹果;橘子;面包}。如果我们将前三项作为上下文，最后一项作为推荐的目标，那么现有的方法可能会推荐蔬菜，比如绿色沙拉，因为它们的上下文最接近(橘子和苹果)。然而，面包的选择可能取决于第一项(牛奶)。在这种情况下，TBRS应该更关注牛奶，而不是橘子和苹果，因为牛奶可能与下一个选择的面包更相关。这个例子说明了下一项建议的重要性，它可能会被交易中不相关的项目所误导。此外，真实世界的交易数据通常仅指示那些项与订单共同出现在事务中(例如，订单)。项之间的时间戳)。因此，推荐具有严格顺序的事务性项目可能不太现实。
在事务上下文中学习项目之间的相关性和转换是非常具有挑战性的。在TBRSs中，一个普遍的挑战是建立一个细心的上下文，以高概率输出真实的下一个选择(Ver-bert等人)。2012)。一些现有的方法旨在通过将事务作为常量来生成建议。然而，大多数现有的TBRSs利用带有排序假设的部分反文本。使用顺序模式挖掘 (Yap, Li, and Philip 2012)来预测下一个项目，使用的是带有严格顺序假设的项目之间的关联。然而，上下文中的项可能是任意的，可能与挖掘的模式不匹配。马尔科夫链(MC) (Rendle, Freudenthaler, and Schmidt-Thieme 2010;Cao、Ou和Yu(2012)是另一种建模顺序数据的方法。然而，MC只捕获从一个项目到下一个项目的转换，而不是从上下文序列，即它只反映了一阶跃迁。最近，一种基于矩阵分解(MF)的方法(Chou等，2016)将当前项目到下一个项目的转移概率矩阵分解为潜在因素。
然而，由于现实世界中幂律分布的数据，MF很容易受到稀疏性问题的困扰(Hu等人)。2016)。受到深层网络的巨大成功的启发，(Hidasi等人)。2015)应用深度递归神经网络(deep neural networks, RNN)对序列数据的交互进行建模，但由于结构复杂，计算量大，难以应用于大数据。此外，MC、MF和RNN最初是为具有严格自然顺序的时间序列数据设计的，因此它们不适合无序事务。例如，牛奶和面包先放到购物车里是没有区别的。此外，现有的方法并没有有效地对上下文中的项目进行加权，即更多地关注那些相关的项目。这种注意力的区别是非常重要的，特别是对于长时间的交易，其中经常包含许多与下一个选择无关的项目。
针对上述问题，本文提出了一种基于注意力的事务嵌入模型(ATEM)。ATEM在em层上构建了一个关注的上下文(Jian等人)。2017)通过识别与下一个选择高度相关的上下文项目，来确定交易中所有观察到的项目。考虑到现实商业中项目的数量庞大，通常超过105个，我们构建了一个浅层的宽入宽出网络(Goth 2016)，以减少时间和空间成本。具体来说，我们将关注机制(Shaonan, Jiajun, and Chengqing 2017)纳入到浅网络中，在没有严格划分假设的情况下，为交易中所有观察到的项目建立一个关注上下文。由于注意机制的存在，所提出的模型能够更关注相关的项目，而较少关注不相关的项目。因此，ATEM在预测事务中约束较少的下一项时更有效、更可靠。这项工作的主要构思如下:
一个基于注意力的模型学习一个关注的上下文，它强化相关的条目，但淡化那些与下一个选择无关的条目。我们的方法不涉及对事务中的项目进行严格的排序假设。
一个浅层的宽入宽出网络实现了ATEM，对于学习和预测大量的项目来说是更加有效和高效的。
我们的实证研究表明(1)ATEM在准确性和新颖性方面显著优于两个真实数据集上的现有TBRSs;(2)注意机制对TBRSs有显著影响，注意机制与不注意机制的TBRSs有显著差异。
相关工作
基于模式挖掘的方法是一种直观的TBRSs解决方案。(加入et al。2005)引入关系规则挖掘，发现不同对象之间的关系。考虑到项目之间的顺序，(Yap, Li, and Philip 2012)提出了一种基于个性化顺序模式的推荐框架，该框架采用了一种新颖的能力评分方法来进行准确的个性化推荐。虽然简单而有效，这些
方法通常会丢失那些不常见的项目(Hu等人2017a)由于最小支持约束。此外，包含任意项的动态上下文可能无法匹配任何挖掘的频繁模式(Wang, Bao, and Zhou 2017)。
马尔可夫链(Markov chain, MC)模型是另一种捕获顺序数据转换的解决方案(Cao, Ou, and Yu 2012)。( Wu et al。2013)提出个性化马尔可夫嵌入(PME)，首先将用户和歌曲嵌入到一个欧几里德空间中，通过对连续的唱歌行为建模，然后基于嵌入产生推荐。最近，一种个性化的排名度量嵌入方法(PRME)被提出，用于精确地为下一次POI推荐建立个性化的签到查询模型(Feng等人)。2015)。PME和PRME都是基于严格有序数据的一阶MC模型，用于对来自同一事务的顺序项之间的转换进行建模。它们可能会丢失高阶依赖项，并且假定的严格有序数据可能并不总是真实的情况。受矩阵分解(MF)强大功能的启发，每声分解的马尔科夫链(FPMC) (Rendle, Freudenthaler, and Schmidt-Thieme 2010)结合了MF和MC的功能，对底层MC上的转换矩阵进行分解，从而为下一篮推荐建立个性化的顺序行为模型。与MC和MF类似，FPMC也存在着不现实的刚性顺序假设和数据稀疏性问题。
近年来，蓬勃发展的深度学习技术开始在遥感系统中得到应用。(Hidasi et al。(2015)将门禁循环单元组成的RNN引入基于事务的RS中，有效地对事务的长序列进行建模。与深层架构相比(Wang等人)。在处理这类问题时，浅层网络更有效，特别是在大型数据集上。特别是Word2vec模型在浅层广域网络条件下学习候选词的概率分布方面取得了很大的成功(Goth 2016)。
最近，受心理认知机制的启发，注意力机制在与上下文学习相关的领域显示出惊人的潜力。(杨et al。2016a)提出叠加注意网络(attention networks, SANs)，用于图像问题，通过搜索图像中与答案相关的区域进行切换。另一种新型模型是在人类注意力的引导下学习句子表征(Shaonan, Jiajun, and Chengqing 2017)。鉴于在CV和NLP中上下文学习注意机制的巨大成功，我们结合了一些想法并提出了一个ATEM来为下一项推荐建立注意上下文模型。
问题陈述
在详细讨论我们提出的模型之前，我们首先定义问题并定义基本概念。
通常，基于交易的推荐是基于基于购物篮的交易数据。对于给定的变换数据集，令T = {t1, t2...t|T|}是所有交易的集合，每一笔交易 t = {i1, i2...i|t|}由一个条目的子集组成，其中|T|表示集合T中元素的数量。所有交易中发生的所有项目构成
图1:ATEM架构，它首先学习项目嵌入，然后将它们集成到目标项目预测的上下文嵌入中，其中“A”表示注意模型。
整个项目集I = {i1, i2...i|I|}。注意，事务t中的项目可能没有严格的顺序。对于给定的目标项 is isin; t, t中除i外的所有项都作为其相应的上下文c，即c = tis特别地，关注上下文意味着上下文中的项对嵌入下一项建议的上下文有不同的贡献。给定上下文c，我们的ATEM被构造和训练成一个概率分类器，学习预测一个条件概率分布P (is|c)。通过每次提取每个条目作为目标，为每个事务t构建一个|t|训练实例总数。
因此，TBRS被归结为根据给定上下文中的条件概率对所有候选项进行排序。注意，在预测阶段，条件概率的计算是基于上下文c的注意嵌入。这种嵌入是在c中所包含的所有语境项的基础上，利用注意机制来学习每个语境项的权重。
建模和学习
在本节中，我们首先演示了所提出的ATEM模型的体系结构，然后讨论了如何训练模型和学习参数。最后，给出了如何利用训练后的模型进行预测和相应的推荐。
基于注意力的事务嵌入模型
总体上，从下到上，ATEM模型包括输入层、项嵌入层、上下文嵌入层、输出层和项与上下文嵌入层之间的注意层，如图1所示。接下来，我们一层一层地解释模型从输入到输出的工作机制。
项目嵌入
将上下文项目集c提供给输入层，图1底部的输入单元构成one-hot编码向量，其中仅将位置ij (ij isin; c)处的单元设置为1，而将所有其他单元设置为0。对于每一个i，我们都用与ij相同的方式进行编码。因此，可以得到一个长度为|I|的向量来表示上下文中的每一项，对于给定的上下文c，可以得到|c|向量的总数。
稀疏one-hot向量传递的信息是有限的。在ATEM中，我们创建了一个嵌入机制来将这些向量映射到项目嵌入层中的一个信息丰富的低维向量表示，其中k维实值向量hj isin; R K用于表示项目ij的嵌入。输入权值矩阵 将输入层和项嵌入层完全连接起来。注意，权矩阵的列实际上将第ij项的one-hot编码为实值嵌入hj，即:
事务上下文嵌入注意力
当上下文c中所有项的嵌入都准备就绪时，我们可以通过集成c中所有项ecisin;Rk的嵌入来得到上下文c的嵌入。其中，注意上下文嵌入被构造成hj的加权和:
<p
剩余内容已隐藏，支付完成后下载完整资料</p
资料编号：[235515]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
