基于深度学习的推荐系统研究综述

计 算机学 报

C H IN E S E J O U R N A L OF C O M P U T E R S

Vol . 41 No . 7

July 2018

基于深度学习的推荐系统研究综述

黄立威江碧涛吕守业刘艳博李德毅

"&(北京市遥感信息研究所北京

100192)

2& (清华大学计算机科学与技术系北京100084)

摘要深度学习是机器学习领域一个重要的研究方向，近年来在图像处理、自然语言理解、语音识别和在线广告

等领域取得了突破性进展.将深度学习融入推荐系统中，研究如何整合海量的多源异构数据，构建更加贴合用户偏 好需求的用户模型，以提高推荐系统的性能和用户满意度，成为基于深度学习的推荐系统的主要任务.该文对近几 年基于深度学习的推荐系统研究进展进行综述，分析其与传统推荐系统的区别以及优势，并对其主要的研究方向、 应用进展等进行概括、比较和分析.最后，对基于深度学习的推荐系统的未来发展趋势进行分析和展望.关键词推荐系统；深度学习；协同过滤;个性化服务；数据挖掘；多源异构数据 中图法分类号

TP 18 DOI 号 10. 117/SP . J .1016. 2018. 01619

Abstract W ith the ever-grow ing vo lu m e ， co m plexity and dynam icity of online in fo rm a tio n ，

recommender systems have been an effective key solution to handle the increasing inform a tion overload problem by re trie vin g the m ost relevant info rm a tion and services from a huge am ount of data，and providing personalized recom m endation . In recent years，deep learning technology has become an im p orta n t re se a rch d ire ction in the fie ld o f machine le a rn in g ， w hich has been w idely applied in the image processing ， natural language understanding ， speech recognition and online a dvertising . M eanw hile，recent studies also demonstrate its effectiveness in co p in g w ith inform ation retrieval and recommendation tasks . A p plying deep learning techniques mto recommender systems has been gaining m om entum due to t s state -〇--th e -a rt performances and h ig h -q u a lity recommen ­dations . In th is paper，we investigate the deep learning based recommender system s ， fo r w hich th e m a in ta s k s are how to organize the massive m ulti-source heterogeneous d ata ， b uild more suitable user models according to user preferences requirem ents ， and im prove the performance and user satisfaction . For

specific，we

firs t introduce the

basic

concepts

and

m

recommendation systems ， including content-based recommendation m ethod ， collaborative filte ring and h yb rid recom m endation m e th o d ， and then we give an overview o f the main deep learning techniques and b rie fly i ntroduce th e ir applications in the recommender systems . A n d secondly ，we provide a comprehensive

sum m ary

of

current research

on

deep

learning b

systems . A ccording to the data sources used in recommender systems and the classification o f the

收稿日期！017-05-18;在线出版日期：2018-03-05.本课题得到国家“九七三”重点基础研究发展计划项目基金（2014C B 340404)、国家自 然科学基金重大研究计划（91638301)、国家自然科学基金（61272111，61273216,6160011950)资助.黄立威，男，1985年生，博士，中国计 算机学会(C C F )会员，主要研究方向为机器学习、推荐系统.E -m a il:

d r _lu a iig lw @163.c o m .江碧涛，女，1967年生，博士，研究员，主要研

究领域为数据挖掘.吕守业，男，1979年生，博士，研究员，主要研究领域为数据挖掘.刘艳博，女，1988年生，硕士，工程师，主要研究方向 为图像处理、机器学习.李德毅，男，1944年生，博士，研究员，中国工程院院士，主要研究领域为人工智能.

Survey on Deep Learning BasedRecommender

Systems

tra d itio n a l recommender system s,we categorize the current research into five main d irectio n s: the application o f d eep learning in content-based recommender system s,the a p p lic a tio n o f deep learning in collaborative filte rin g,the application of deep learning in hybrid recommender systems, the application of d eep learning in social network-based recommender system s,and the application of deep learning in context-aware recommender systems.T h e n,we analyze the differences and advantages of deep learning b ased recommender systems compared w ith the traditional recommender systems.F ir s t?by using deep le a rn in g,com plex feature engineering can be avoided,especially when faced w ith unstructured data such as image and video.Second,deep learning can learn the m ulti-level and abstract feature representation of users and item s,and is able to effectively capture the non-linear and n o n-triv ia l user-item interactions.T h ir d,deep learning can incorporate various m ulti-source heterogeneous data into recommender systems,and help to m itigate the data sparseness problem considerably.F in a lly,this paper summarizes the future development trend of deep learning based recommender systems,e.g. ,the combination of deep learning and traditional recommendation m ethods,the a p p lic a tio n o f deep learning in cross domain recom m endation,the com bination of the a ttention mechanism and deep learning based recommender system s,new deep learning recomm endation architectures and the in te rp re ta b ility o f deep learning based recommender systems.In s h o rt,deep learning has become popular in the recommender systems com m unity both in academia and in in d u s try.M e a n w h ile,th is area of research is very yo u n g,there is m u c h room fo r im provem ent i n the aforem entioned research d ire ctio n s,b ut we also believe th a t deep learning w i l revolutionize the recommender systems dram atically and bring more opportunities in reinventing the user experiences fo r better custom er satisfaction in the near fu tu re.

Keywords recommender system s；deep le a rn in g;collaborative filte rin g；personalized services；

data m in in g；m ulti-source heterogeneous data

i引言

近年来，随着云计算、大数据、物联网等技术的迅猛发展，互联网空间中各类应用的层出不穷引发了数据规模的爆炸式增长[1].根据国际数据集团(ID C&012年的一份报告显示：到2020年，预计全 球数据总量是2011年的22倍，将达到35. 2ZB+].大数据中蕴含着丰富的价值与巨大的潜力，将给人 类社会带来变革性的发展，但同时也带来了严重的“信息过载”问题，如何快速有效地从纷繁复杂的数据中获取有价值的信息成为了当前大数据发展的关 键难题.推荐系统作为解决“信息过载”问题的有效 方法+]，已经成为学术界和工业界的关注热点并得到了广泛应用，形成了众多相关研究成果.推荐系统 根据用户需求、兴趣等，通过推荐算法从海量数据中 挖掘出用户感兴趣的项目（如信息、服务、物品等），并将结果以个性化列表的形式推荐给用户.目前，推 荐系统在很多领域得到了成功应用，包括电子商务(如A m azon、eBay、N e tflix、阿里巴巴等）、信息检索 (如 iG oogle、M y Y a h o o、百度等）、社交网络（Face-b oo k、T w itte r、腾讯等）、位置服务 （如 Foursquare、Y e lp、大众点评等）、新闻推送（如Google N ew s、G roupLens、今日头条等)等各个领域.

传统的推荐方法主要包括协同过滤、基于内容 的推荐方法和混合推荐方法.其中，最经典的算法是 协同过滤，如矩阵因子分解，其利用用户与项目之间 的交互信息为用户进行推荐，协同过滤是目前应用最为广泛的推荐算法，近年来在N e t f lix大奖赛中屡 获大奖，但是同时也遭遇到了严重的数据稀疏（一个 用户评分过的项目仅仅占总项目数量的极少部分）和冷启动(新的用户和新的项目往往没有评分数据）问题.此外，经典的协同过滤方法采用浅层模型无法 学习到用户和项目的深层次特征.基于内容的推荐方法利用用户已选择的项目来寻找其它类似属性的 项目进行推荐，但是这种方法需要有效的特征提取，传统的浅层模型依赖于人工设计特征，其有效性及 可扩展性非常有限，制约了基于内容的推荐方法的黄立威等：基于深度学习的推荐系统研究综述1621 #期

性能.随着互联网中越来越多的数据能够被感知获 取，包括图像、文本、标签在内的多源异构数据蕴含 着丰富的用户行为信息及个性化需求信息，融合多 源异构辅助信息（side in fo rm atio n)的混合推荐方法 由于能够缓解传统推荐系统中的数据稀疏和冷启动 问题，而越来越受到重视，但是由于辅助信息往往具 有多模态、数据异构、大规模、数据稀疏和分布不均 勻等复杂特征，融合多源异构数据的混合推荐方法 研究依然面临着严峻的挑战[4>].

近年来，深度学习在图像处理、自然语言理解和 语音识别等领域取得了突破性进展+]，已经成为人 工智能的一个热潮，为推荐系统的研究带来了新的 机遇.一方面，深度学习可通过学习一种深层次非线 性网络结构，表征用户和项目相关的海量数据，具有 强大的从样本中学习数据集本质特征的能力，能够 获取用户和项目的深层次特征表示.另一方面，深度 学习通过从多源异构数据中进行自动特征学习，从 而将不同数据映射到一个相同的隐空间，能够获得 数据的统一表征[7]，在此基础上融合传统推荐方法 进行推荐，能够有效利用多源异构数据，缓解传统推 荐系统中的数据稀疏和冷启动问题.近三年来，基于 深度学习的推荐系统研究开始受到国际学术界和工 业界越来越多的关注，A C M推荐系统年会（A C M R ecS y s)在2016年专门召开了第一届基于深度学 习的推荐系统研究专题研讨会（D L R S’16)，研讨会 指出深度学习将是推荐系统的下一个重要方向，D L R S-7也已经在意大利的科莫举行.计算机领域

的数据挖掘和机器学习顶级会议（S IG K D D，N IP S，S IG IR，W W W，A A A I等）中，基于深度学习的推荐 系统研究的文章逐年增加，国内外许多大学和研究 机构也对基于深度学习的推荐系统开展了广泛研 究[820].基于深度学习的推荐系统研究目前已经成 为推荐系统领域的研究热点之一.

本文主要对基于深度学习的推荐系统的研究与 应用进展进行综述.第2节简要介绍传统的推荐算 法;第3节介绍了深度学习的主要方法;第！节重点 分析基于深度学习的推荐系统的研究进展；第5节展望基于深度学习的推荐系统的未来研究趋势；第6节是全文总结.

2传统推荐系统

20世纪90年代，协同过滤技术+1]的首次提出，标志着推荐系统成为了一门的学科而受到广泛关注.推荐系统的核心是推荐算法，它利用用户与项 目之间的二元关系，基于用户历史行为记录或相似

性关系帮助发现用户可能感兴趣的项目.文献[3]给 出了推荐算法的形式化定义：用U表示所有用户(user)的集合，用J表示所有项目（ite m)的集合.在 实际系统中，U和J具有非常大的规模.定义一个效 用函数^用来计算项目对用户M的推荐度，即&

U X J"私其中只是一个全序集合（在一定范围内

非负的整数或实数），推荐算法的研究问题就是通过 计算推荐度为每一个用户找到其最感兴趣的

项目7,如下：

$u#U，?+=argm ax5(u+i)(1)

1#I

推荐系统中的用户和项目都可以通过一组不

同的属性或特征来进行表示.推荐系统面临的一

个关键问题是效用函数）通常定义在U X I的一个 子空间上，推荐算法必须将）外推到整个U X I空 间.例如，我们通常将推荐度定义为用户对项目的

评分，但真实的推荐系统中，用户仅仅评分了一小

部分项目，因此在选择推荐度最高的项目推荐给

用户之前，必须先根据已知的评分来实现对未知

评分的预测，这就是外推的过程.推荐算法对未知

评分的预测能够采用不同的方法，包括近似理论、机器学习和各种启发式方法等.但是传统的推荐

方法主要可以分为以下3种[22]:基于内容的推荐(content-based recom m endation)23]、协同过滤推荐 (collaborative filte rin g recom m endation)24]和混合 推荐（h yb rid recom m endation)25].

(1) 基于内容的推荐.主要根据用户已经选或者评分的项目，挖掘其它内容上相似的项目作为

推荐，属于S c h a fe r划分+6]中的项目到项目关联(Ite m-to-Ite m C orrelatio n)的方法.首先通过显式

反馈（例如评分、喜欢/不喜欢）或隐式反馈（例如观 看、搜索、点击、购买等行为）的方式获取用户交互过 的项目，然后从这些项目的特征中学习用户的偏好

并表示为特征，就能计算用户与待预测项目在内容(由特征刻画）上的匹配度（或相似度），最后根据匹 配度对所有待预测项目进行排序，从而为用户推荐

潜在感兴趣的项目.基于内容的推荐方法依赖于关

于用户偏好和项目的特征信息，不需要大量的评分

记录，因此不存在评分数据稀疏的问题.同时，对于 新项目，只需要进行特征提取就可以向用户进行推荐，解决了新项目的冷启动问题，但常常会遭遇到特 征提取困难的问题.

(2) 协同过滤推荐.源于现实生活中口碑相传1622计算机学报2018 年

(w o rd-of-m o u th)的过程，协同过滤利用相似用户之 间具有相似兴趣偏好的方法，来发现用户对项目的 潜在偏好.主要包括启发式和基于模型两种类型，启发式方法首先通过用户的历史评分差异计算用户 (或者项目）之间的相似度，然后根据用户的历史评 分和用户之间的相似度计算效用值，基于模型的方 法主要通过构建一个用户偏好模型预测用户对项目 的潜在偏好.协同过滤仅仅需要利用用户的历史评 分数据，因此简单有效，是目前应用最为成功的推荐 方法.但是，由于用户对项目的评分数据相对项目的 总数量非常少，常常遭遇数据稀疏的问题，此外，对于新的用户或项目，由于没有评分数据而无法进行 推荐，存在冷启动问题.

(3)混合推荐.考虑到单一推荐方法都存在各 自的不足，通过组合不同的推荐算法进行混合推荐，往往能够产生更好的推荐性能.常见的组合策略主 要包括3种，分别为后融合、中融合和前融合.后融 合是指将两种或两种以上的推荐算法产生的推荐结 果，以投票机制、线性组合或者可信度选择组合等方 式来产生最终的推荐结果，本质上是决策层面上的 混合.中融合的基本框架是以一种推荐算法为基础，同时融合另一种推荐算法，例如：以协同过滤算法为 框架，融人基于内容的推荐算法可以有效缓解数据 稀疏问题，本质上是模型层面上的混合.前融合则是 直接将多种推荐算法融合到统一的模型中，然后从 各类数据中提取的特征作为模型的输人，由统一的 模型产生推荐结果，例如，将所有用户属性、用户行 为等数据作为输人，通过训练一个统一的分类器产 生推荐结果，本质上是特征层面的融合.

需要注意的是，随着社交媒体的迅速发展，大量 的用户生成内容（如社会化关系、标签、评论、位置信 息）能够被获取，推荐系统的内容更加多样，包括商 品、朋友、标签、音乐、视频、新闻等；同时，除了传统 的推荐方法，也催生了大量新的推荐方法，例如，基于社交网络的推荐方法、情境感知的推荐方法等；推荐的对象也更加多样，不仅仅针对单个用户，还可以 针对一群用户，产生了组推荐；随着移动互联网的发 展，位置社交网络的推荐系统也受到越来越多的关 注.因此可以发现，推荐系统在推荐内容、推荐方法、推荐对象等各个方面都朝着越来越多元的方向发展. 3深度学习技术

深度学习已经成为互联网大数据和人工智能的一个热潮[27].深度学习通过组合低层特征形成更加 稠密的高层语义抽象，从而自动发现数据的分布式 特征表示，解决了传统机器学习中需要人工设计特 征的问题，在图像识别、机器翻译、语音识别和在线 广告等领域取得了突破性进展.图像识别领域，在2016年的Im a g e N e t图像分类竞赛中，深度学习的 准确率超过了 97%.在机器翻译领域，基于深度学 习的G o o g le神经机器翻译系统（G N M T)在英语与 西班牙语和英语与法语的翻译中都取得了接近于 人类的翻译水U+8].在语音识别领域，2016年年 底百度、科大讯飞和搜狗都宣布，他们基于深度学 习的中文语音识别准确率都超过了 97%.在线广 告领域，深度学习被广泛应用于广告点击率预测，在G〇〇gle[9,29]、微软[30,31]、华为[32]、阿里巴巴+3]等企业 的应用中取得了很大成功.深度学习涉及相当广泛 的机器学习技术和结构，下面我们对常用的深度学 习模型和方法进行介绍

3.1自编码器

1986年W illia m s等人[3!]提出了自编码器（A u­to e ncoder，A E)的概念 ，并将其用于高维复杂数据 处理.自编码器通过一个编码和一个解码过程来重 构输人数据，学习数据的隐层表示.基本的自编码器 可视为一个三层神经网络结构：一个输人层X、一个 隐层和一个输出层其中输出层和输人层具有 相同的规模，结构如图1所示.

图1自编码器结构示意图

自编码器的目的是使得输人X与输出y尽可能 接近，这种接近程度通过重构误差表示，根据数据的 不同形式，通常重构误差有均方误差和交叉熵两种 定义方式.

如果仅仅通过最小化输人输出之间的误差来实 现对模型的训练，自编码器很容易学习到一个恒等 函数.为了解决这个问题，研究者提出了一系列自编 码器的变种，其中比较经典的包括稀疏自编码器[35

]黄立威等：基于深度学习的推荐系统研究综述1623 #期

和降噪自编码器[35].通过在损失函数中加人L1正 则项，便可以训练得到稀疏自编码器，其目的是对过 大的权重进行惩罚，使隐层表示中的大量节点为％从而确保隐层表示尽量稀疏.降噪自编码器则是通过在自动编码器的输人数据中加人噪声得到，这样 降噪自编码器在重构输人数据时，就被迫去除这种 噪声来学习到更加鲁棒的输人数据的表达，降噪自 编码器通过这种方式提升了泛化能力.2007年，B e n g io等人通过堆叠多个降噪自编码器，提出了 桟式降噪自动编码器（S tackedD enoising A u to e n-C〇d e r，S D A E)的概念，其是一种深度神经网络结构，通过逐层非监督学习的预训练可以学习多层次的数 据抽象表示.

自编码器，尤其是栈式降噪自编码器，在推荐系 统中主要被应用于学习用户和项目的隐层特征表示5’17’2〇’37!2]，其通过对用户或项目相关的信息（包

括评分数据和文本、图像等信息）进行重构学习到用 户或项目的隐表示，然后基于这种隐表示预测用户对项目的偏好.应用场景主要包括评分预测、文本推 荐、图像推荐等.

3.2受限玻尔兹曼机

玻尔兹曼机（Boltzm ann M ach in e,B M)+3]是一■种生成式随机神经网络，由H in to n和S e jn o w s k i在 1986年提出，B M由一些可见单元（对应可见变量，亦即数据样本）和一些隐层单元（对应隐层变量）构 成，可见变量和隐层变量都是二元变量，其状态取

0-1，状态0表示该神经元处于抑制状态，状态1代 表该神经元处于激活状态.B M能够学习数据中复杂的规则，具有强大的无监督学习能力.但是，玻尔 兹曼机的训练过程非常耗时.为此，H in t o n和Sejnow ski[43]进一步提出了一种受限玻尔兹曼机(R e s tric te d B o ltz m a n n M ach in e,R B M)，其在玻尔兹曼机的基础上，通过去除同层变量之间的所有连接极大地提高了学习效率.受限玻尔兹曼机的结构如图2所示，包括可见层v以及隐层f t,两层之间的 节点是全连接的，同层节点间是互不连接的.

从R B M的结构可以发现，在给定隐层单元的状 态时，可见层单元之间是条件的；反之，在给定可 见层单元的状态时，各隐层单元之间也条件.因 此，尽管无法有效计算R B M所表示的分布，但是通 过G ib b s采样能够得到R B M所表示的分布的随机 样本.G ib b s采样的问题是需要使用较大的采样步数，使得R B M的训练效率仍不高.考虑到这种情况，H in to n[45]提出了一■种对比散度（C o n trastiv e

D iv erg en ce，C D)快速学习算法，C D算法同样利用G ib b s采样过程（即每次迭代包括从可见层更新隐层，以及从隐层更新可见层）来获得随机样本，但是 只需迭代通常&=1)次就可获得对模型的估计，而不需要像G ib b s采样一样直到可见层和隐层达到 平稳分布.

R B M是推荐系统中最早被应用的神经网络模型[!6>0]，当前的应用主要是通过对用户的评分数据进行重构学习到用户的隐表示，从而实现对未知评分的预测.应用场景主要是用户评分预测.

3.3深度信念网络

H in to n等人在2006年提出了一种深度信念网 络（D e e p B e lie fN e tw o rk,D B N)[51]，其是一■种由多 层非线性变量连接组成的生成式模型.在深度信念网络中，靠近可见层的部分是多个贝叶斯信念网络，最远离可见层的部分则是一个R B M，其结构如图3所示.D B N的结构可以看作由多个受限玻尔兹曼机 层叠构成，网络中前一个R B M的隐层视为下一个 R B M的可见层.这样，在D B N的训练过程中，每一 个R B M都可以使用上一个R B M的输出单独训练，因此与传统的神经网络相比，D B N的训练更加简单.同时，通过这种训练方法，D B N也能够从无标记 数据获取深层次的特征表示.

D B N网络的训练可采用一种贪婪逐层算法+2].首先，由最底层R B M开始，通过对比散度算法从原 始观测数据中学习第一层隐层单元的状态，

然后将1624计算机学报2018 年

参数保存，将隐层单元的状态作为下一层R B M的输人，按照这种方式继续训练，直到整个深层结构训 练完成.

深度信念网络当前在推荐系统中应用较少.由 于D B N在建模一维数据上比较有效，因此被应用 于提取音乐的特征表示，从而进行音乐推荐[53].当 前的应用场景仅限于音乐推荐.

3.4卷积神经网络

卷积神经网络（C o n v o lu tio n alN eu ral N e tw o rk，C N N)已成为当前图像理解领域的研究热点[54-56].卷积神经网络是一种多层感知机，主要被用来处理 二维图像数据.相比传统的多层感知机，C N N使用 池化操作减少了模型中的神经元数量，同时对输人 空间的U移不变性具有更高的鲁棒性.另外，C N N 的权值共享网络结构能够减少模型中参数数量，降低了网络模型的复杂度，提升了模型的泛化能力.尤 其是当网络的输人是图像时，通过将图像直接 作为网络的输人，从而避免了传统图像处理算法中 复杂的特征提取和数据重建过程.卷积神经网络的 基本结构由输人层、卷积层、下采样层（池化层）、全连接层和输出层构成，如图4所示.

输入层||下采样层|^g|下采样层输出层

图4卷积神经网络结构示意图

卷积神经网络在推荐系统中应用较为广 泛[5’5762]，主要被用于从图像、文本、音频等内容中 提取项目的隐藏特征，从而获取项目的低维向量表 示，并结合用户隐表示为用户产生推荐.当前的应用 场景主要包括图像推荐、音乐推荐、文本推荐等.

3.5循环神经网络

1986年W illia m s等人[4]提出循环神经网络 (R e c u rre n tN e u ra l N e tw o rk，R N N)的概念.普通的 全连接网络或卷积神经网络，是从输人层到隐层再 到输出层的结构，层与层之间是全连接的，每层之间 的节点是无连接的.这种神经网络结构在面对序列 数据建模时往往显得为力.例如，当需要预测句 子中下一个单词是什么的时候，一般需要依据前面 的单词.R N N因为能够建模序列数据中不同时刻数 据之间的依赖关系，在机器翻译[63]、语音识别[]、图标标注生成[65]等领域取得了广泛应用.

R N N的最大特点在于神经网络各隐层之间的 节点是具有连接的，它能够通过获取输人层的输出 和前一时刻的隐层状态来计算当前时刻隐层的输 出，也就是说R N N能够对过去的信息进行记忆.理 论上来说，R N N能够对任意长度的序列数据进行建

模，但在实际应用中往往假设当前状态仅与前几个 时刻的历史状态相关，从而帮助降低模型的复杂度，图5是一个典型的R N N结构，包含输人单元、输出单元和隐层单元:

图5循环神经网络结构示意图

将R N N展开之后发现，它是一类所有层共享 相同权值的深度前馈神经网络.但是，普通的R N N

结构存在梯度消失问题，很难解决学习数据之间的 长程依赖关系.针对这个问题，研究者相继提出了一 些R N N的变种，其中最著名的包括H o c h re ite r等人[66]提出的长短时记忆网络（Long S hort-T erm M e m o ry，L S T M)和C h o等人[67]提出的门限循环单 元（Gated R ecurrent U n it,G R U).L S T M和G R U

采用了特殊的隐层结构，通过增加保存长期状态的 隐层单元，能够更加有效地建模长程依赖关系，是目前应用最为广泛的循环神经网络模型.近几年，随着深度学习的不断发展，通过增加更加广泛的记忆模 块，研究者提出了记忆网络（M em ory N e tw o rk)8、桟式增强循环网络（Stack-augmented R ecurrent N e t)[69]、神经图灵机（N eural T u rin g M achines, N T M)[70]和可微分神经计算机（D ifferentiable N eural Com puter,D N C)[71]等模型来建模数据之间 长程依赖关系.尤其是N T M等工作，通过将R N N 与注意力机制进行结合，极大地发展了循环神经网 络的研究与应用:

循环神经网络在推荐系统中的应用主要是用 来建模数据之间的序列影响，从而帮助获取更有 效的用户和项目隐表示.主要包括两个方面：首先 是被应用于建模推荐系统中用户行为的序列模 式[1〇’12’7278]，其次是在获取用户和项目隐表示的过 程中，循环神经网络被应用于建模用户和项目相关 的文本信息中词语之间序列影响[4'38].

当前的应用

黄立威等：基于深度学习的推荐系统研究综述

1625

#期场景主要包括评分预测、图像推荐、文本推荐、基于 位置社交网络中的兴趣点推荐等.4

基于深度学习的推荐系统

基于深度学习的推荐系统通常将各类用户和项 目相关的数据作为输人，利用深度学习模型学习到 用户和项目的隐表示，并基于这种隐表示为用户产 生项目推荐.一个基本的架构如图6所示，包含输人 层、模型层和输出层.输人层的数据主要包括：用户 的显式反馈（评分、喜欢/不喜欢）或隐式反馈数据 (浏览、点击等行为数据&用户画像（性别、年龄、喜 好等）和项目内容（文本、图像等描述或内容）数据、 用户生成内容（社会化关系、标注、评论等辅助数 据&在模型层，使用的深度学习模型比较广泛，包括 自编码器、受限玻尔兹曼机、卷积神经网络、循环神 经网络等.在输出层，通过利用学习到的用户和项目 隐表示，通过内积、S o ftm a x 、相似度计算等方法产 生项目的推荐列表.

输出层

模型层

输入层

图

6

基于深度学习的推荐系统框架

本文通过充分调研当前深度学习在推荐系统研 究中的应用情况，根据推荐系统中利用的数据类型 并结合传统推荐系统的分类，将当前的研究主要分 为5个方向：

(1)

深度学习在基于内容的推荐系统中的应 用.利用用户的显式反馈或隐式反馈数据、用户画 像和项目内容数据，以及各种类型的用户生成内容， 采用深度学习方法来学习用户与项目的隐向量，并 将与用户访问过的项目相似的项目推荐给用户；

(2)

深度学习在协同过滤中的应用.利用用户 的显式反馈或隐式反馈数据，采用深度学习方法学

习用户或项目的隐向量，从而基于隐向量预测用户 对项目的评分或偏好；

(3)深度学习在混合推荐系统中的应用.利用 用户的显式反馈或隐式反馈数据、用户画像和项目 内容数据，以及各种类型的用户生成内容产生推荐， 模型层面主要是基于内容的推荐方法与协同过滤方 法的组合；

(!)深度学习在基于社交网络的推荐系统中的 应用:利 用 用户 的显式反馈或隐式反馈数据'用 户 的社会化关系等各类数据，采用深度学习模型重点 建模用户之间的社会关系影响，更好地发现用户对 项目的偏好"

(5 )深度学习在情景感知的推荐系统中的应 用.利用用户的显式反馈或隐式反馈数据以及用户 的情境信息等各类数据，采用深度学习模型对用户 情境进行建模，发现用户在特定情境下的偏好.4.1

深度学习在基于内容的推荐系统中的应用基于内容的推荐方法的性能严重依赖于有效的 数据特征提取.深度学习的最大优势是能够通过一 种通用的端到端的过程学习到数据的特征，自动获 取到数据的高层次表示，而不依赖于人工设计特征.

因此，深度学习在基于内容的推荐中主要被用于从 项目的内容信息中提取项目的隐表示，以及从用户 的画像信息以及历史行为数据中获取用户的隐表 示，然后基于隐表示通过计算用户和项目的匹配度

来产生推荐.在假设用户和项目携带辅助信息的情 况下，深度神经网络模型被作为有效的特征提取 工具.

4. 1.1基于多层感知机的方法

深度结构化语义模型.E lk a h k y 等人[11]考虑到传统的基于内容的推荐系统中，用户特征难以获取

的问题，通过分析用户的浏览记录和搜索记录提取 用户的特征，从而丰富用户的特征表示.作者将深度 结构化语义模型（Deep Structured S em anticM odels ，

D SS M )[79]进行扩展，提出了一种多视角深度神经网

络模型（M u lti-V ie w Deep N e u ra lN e tw o rk ，M u lti -

V ie w D N N )，该模型通过用户和项目两种信息实体

的语义匹配来实现用户的项目推荐，是一种实用性

非常强的基于内容的推荐方法.其基本思想是设置 两类映射通路，分别通过深度学习模型将两类信息 实体映射到同一个隐空间，在这个隐含空间中通过 余弦相似度计算两个实体的匹配度，然后根据匹配 度产生推荐•图#展示了一个M u lti-V ie w D N N 的

通用示意图，在用户视角上，通过利用用户的搜索

、

浏览、下载、视频观看等历史记录作为输人通过 深度学习模型学习用户的隐表示光，在项目视角 上，通过利用项目的标题、类别、描述等信息作为 输人A，通过深度学习模型学习项目的隐表示>，模型共包括一个用户视角和N个项目视角，其中

N为所有项目的数量，用户视角的深度神经网络 模型为九（^，撕…)，第*个项目视角的深度神经 网络模型为/,U，W J.假设有M个样本{(：r…,,，■2：M)}〇<;M eC O s(/u(l U%•W U)'/a(l a…'Ca)

1用户视角项目视角1项目视角N

图7 Multi-ViewDNN的模型结构

在模型训练完成之后，基于模型学习到的用户 隐表示和项目隐表示A，通过在隐空间中计算用 户和项目的相似度，选择相似度最高的々个项目产生推荐.

Z h e n g等人[18]通过采用与D S S M相似的结构，考虑将评论信息融人到推荐系统中以缓解推荐系 统的数据稀疏问题，并提高推荐系统的质量，提出 了一种深度协作神经网络模型（D e e p C o o p erativ e N e u ra lN e tw o rk，D eep C oN N)•其主要思路是利用 两个并行的神经网络模型学习用户和项目的隐特 征，一个网络通过用户的所有评论数据建模了用户 的偏好，另一个网络通过项目的所有评论信息建模 项目的特征，然后在两个神经网络上面构建一个交 互层来预测用户对项目的评分.该方法通过利用用 户评论的文本内容信息，有效提升了推荐的质量. X u等人[80]基于D S S M模型研究了标签感知的个性 化推荐问题，分别利用用户的所有标签和项目的所 有标签定义用户和项目的输人特征，从而学习用户 和项目的隐表示，通过计算用户隐表示和项目隐表示的相似度来产生推荐.C h e n等人[81]研究了位置 感知的个性化新闻推荐问题•通过在D S S M中增加 一个位置通道，利用M L P从用户信息、项目信息和 位置局部主题分布中学习用户、项目和位置的隐表 示，最后联合3个方面的信息计算特定位置下用户 兴趣与新闻内容之间的关联度来产生新闻推荐.

深广学习模型.C h e n g等人[]通过利用用户特

征、情境特征和项目特征等多源异构数据，提出了一 种深广学习（W id e d D e e p L e a rn in g)模型，用于手机 A P P推荐，模型同时具有了高的记忆（m em orization)能力和泛化（g en eralizatio n)能力•记忆主要依靠统

计方法，通过关联学习分析历史记录中的共现现象，主要利用了相关性，不具有泛化性且需要手动特征 工程•泛化需要研究关联的传递性，通过探索更多的 信息能够提升推荐的多样性•图8展示了一个深广 学习模型的通用示意图，这种模型联合训练一个宽 广线性模型（图中左侧）和一个深度神经网络（图中右侧）来确保模型记忆能力和泛化能力的均衡.

输出单元

隐层

嵌入表示

稀疏特征

图8深广学习模型的模型结构

类似于深广学习模型，H e等人[2]利用深度神 经网络采用非线性方式建模用户与项目之间的复杂 交互，提出一种神经协同过滤方法（N eu ral C ollabo­rative F ilte rin g，N C F),将用户和项目的特征作为输 人，然后利用多层神经网络学习用户与项目之间的 交互函数.通过将N C F结构进行实例化，得到一种 矩阵因子分解的泛化结构和一种多层感知机结构，分别可以建模用户与项目之间交互的线性和非线 性特征，最后在N C F框架下组合以上两种结构，提出一种神经矩阵因子分解模型（N eu ral M atrix F acto rizatio n M o d e l，N e u M F)，在建模用户与项目 的交互中组合了矩阵因子分解的线性特征和深度神 经网络的非线性特征•

基于M L P的广告点击率预测.多层感知机模型目前在广告点击率预测问题中得到了广泛应用•W e b领域中的输人特征通常是离散和稀疏的，为了有效建模这类数据，学习特征之间的交互至关重 要[81’83].其中一种思路是利用M L P

直接学习特征黄立威等：基于深度学习的推荐系统研究综述1627 #期

之间的交互，例如 W ide&Deep[9]、D e e p C r〇ssin g[30]、D e e p d C r〇SS[29\\D E F[31]和D IN+33]•另一种思路是 结合因子化机[83]与M L P，首先利用因子化机建模 特征之间的成对交互，然后通过增加全连接层来进 一步建模高阶的特征交互，例如P N N[84]、D eep-F M[32]、N F M[85]和A F M[86].

Shan等人[30]提出了 一^种D eep C rossing 模型 用于广告点击率预测.D e e p C ro s s in g的模型结构如 图9所示，是由一个嵌入层、一个堆栈层、一个残差 单元和一个评分层组成的多层感知机.W a n g等人[29]基于 D e e p C ro s s in g，提出了 一^个D eep&C ro ss 网络模型用户广告点击率预测.D e e p d C r o s s同时 在输入特征上采用一个深度网络（D eep N e tw o rk)和交叉网络（C r〇Ss N etw〇r k)，然后组合两部分输出 进行预测.D e e p d C r o s s同时集成了深度神经网络 (D N N)和D eep C ro s s in g的优点.Z h u等人™基于

D e e p C ro s s in g提出了一个深度嵌入森林模型（D eep

E m b ed ding

F o re s t，D E F)，将D e e p C ro ssin g 中的残 差单元替换为森林层，通过预训练能够降低模型的 在线预测时间.Z h o u等人[33]考虑到大部分点击率 预测研究中缺乏对用户行为多样性和局部激活 (L o cal A ctiv atio n)现象的建模，提出了一种深度兴 趣网络（D eep In te re s tN e tw o rk，D I N)，D IN基于一-种多层感知机结构，通过引入用户兴趣分布和注意 力机制实现对用户行为多样性和局部激活现象的 建模:

图9 DeepCrossing模型的模型结构

Q u等人[84]基于因子化机模型和M L P提出了 一个基于产品的神经网络模型（P ro d u ct-b ased N eu ral N e tw o rk，P N N).模型结构如图10所示，由一个特征嵌入层、一个成对特征交互层和两个全连 接层组成.G u o等人[32]基于W id e&D eep，结合因 子化机和深度学习，提出了一种基于深度网络的因 子化机模型（F acto rizatio n-M achin e based N eu ral N e tw o rk，D eepFM)进行点击率预测，分别采用因子 化机和深度神经网络建模低层次和高层次的特征交 互，相比W id e d D e r D e e p F M不需要进行人工的 特征工程处理.H e等人[85]研究了稀疏数据输入情 况下的推荐问题，基于因子化机模型提出了一种神 经因子化机模型（N eural Factorization M ach in e，N F M)，能够实现特征之间的高层次非线性交互，从而提升预测能力.该模型与深广模型的最大区别是，其在特征嵌入层之上增加了一个双线性交互池化操 作.相比深广学习模型，神经因子化机模型在使用 更少隐层的情况下获得了更好的预测性能，而且因 为参数更少，训练更加容易.X ia o等人[86]通过扩展 N F M模型，提出了一种注意力因子化机模型 (A tte n tio n a l Factorization M achine，A F M)，通过将 注意力机制引入双线性交互池化操作中，提升了 N F M的表示能力和可解释性.

图10 PNN模型的模型结构

基于M L P的视频推荐方法.C o v in g to n 等人[8]通过利用用户信息、情境信息、历史行为数据 和项目的特征信息等多源异构数据，提出了 一种深 度神经网络模型用于Y o u T u b e视频推荐.Y o u T u b e 视频推荐主要面临三个方面的挑战：可扩展性、新鲜 度和数据噪声问题.为了克服这三个挑战，该研究将 深度神经网络模型应用到视频推荐系统的两个关键 过程:候选集生成和排序，系统架构如图11所示.候 选集生成的目的是从海量视频库中筛选出和用户相 关的几百个视频，主要利用用户在Y o u T u b e上的历 史行为数据、用户特征和情境信息建模用户对视频 的个性化偏好，其核心方法是将推荐问题转化为一 个基于深度神经网络的分类问题，寻找与用户向量 (神经网络变换后的特征向量）距离最近的N个视 频.排序过程是通过进一步考虑更多的视频特征，利

用神经网络和逻辑回归模型对每个候选视频进行打1628 计算机学报2018年

分，并根据打分值对视频进行排序.

图11 Covington等人[8]提出的方法的模型架构

4.1.2基于卷积神经网络的方法

基于注意力的C N N.G〇j等人[87]提出了一种 基于注意力的卷积神经网络（C N N)来进行微博中的H a s h ta g推荐.总的来说，作者将H a s h ta g推荐 作为一个多标记分类问题，C N N被作为一种特征提 取手段来获取微博的特征.提出的模型包括一个全局通道和一个局部注意力通道.全局通道由一个卷积层和一个P o o lin g层组成，局部注意力通道由一个注意力层和一个P o o lin g层组成，模型的架构如图12所示.

微博的H a s h ta g推荐.该工作考虑了文本和图像，分别采用C N N和R N N从图像和文本中提取特征，然后组合两个方面的特征进行标签推荐.同时，考虑 到标签仅仅与图像和文本中的部分信息存在关联，该工作采用注意力机制来建模这种局部关联性.Seo 等人[8A]研究了如何利用评论信息来进行推荐的问题.模型是一个基于注意力的C N N模型，其包含一 个用户网络和一个项目网络，分别采用C N N从用 户的所有评论和项目的所有评论中学习用户和项目 的隐表示，同时采用注意力机制来建模评论中的不同部分与用户偏好和项目特征的关联度.W a n g等 人+%]提出了一种动态注意力深度模型（Dynam ic A tte n tio n D e e p M o d e l，D A D M)来研究编辑者的文 章推荐问题，D A D M利用C N N来学习文章的语义信息，同时利用注意力机制来抓住编辑者文章选择行为的动态性.

比较深度学习方法.L e i等人[61]基于深度学习 方法研究了图像推荐的问题.该研究指出图像推荐最重要的是需要在图像的语义理解与用户对图像的 偏好或意图之间建立桥梁，因此学习到的图像表示 不仅仅需要具有高的表达性和可分类性，更重要的 是需要反映用户对图像的偏好.针对这个问题，该研 究提出了一种比较深度学习方法（Com parative D e e p L e a rn in g，C D L)，其主要思路是利用M L P和 C N N分别从用户的多源异构数据（包括用户画像、标签信息等）和图像的视觉信息中学习用户和图像的隐表示，并将用户和图像映射到同一隐空间中.模 型的训练过程中，利用了比较学习的思想，即同时利 用正反馈图像和负反馈图像，比较它们与用户之间 距离（即正反馈图像与用户的距离应该比负反馈图 像与用户的距离要小），并采用交叉熵损失函数进行 参数学习.最后通过计算用户和图像之间的距离来产生图像推荐.

基于C N N的音乐推荐.V a n d e n O o rd等人+7]研 究了如何利用深度学习模型来解决音乐推荐系统中 的冷启动问题.在音乐推荐中，协同过滤通常面临冷 启动问题，即对于一些没有用户数据的音乐，往往不 能够被推荐给用户.作者首先利用用户的历史收听数 据和音乐的音频信号数据，通过组合加权矩阵因子分 解和卷积神经网络，将用户和音乐投影到一个共享的隐空间，从而能够学习到用户和歌曲的隐表示.对 于新的歌曲，可以通过训练好的卷积神经网络从自 身的音频信号中提取出歌曲的隐表示，从而能够在 共享隐空间中通过计算用户与新音乐之间的相似性 来为用户推荐音乐，帮助解决新项目的冷启动问题.

4. 1. 3基于循环神经网络的方法

基于注意力的4N N.前面我们讨论过基于注意 力的C N N模型.与其类似，注意力机制也被用于基 于R N N的推荐方法中，L i等人[91]提出了一种基于 注意力的L S T M来进行微博中的H a s h ta g推荐，注 意力机制与R N N结合的优势是能够抓住文本的序 列特征，同时能够从微博中识别最具有信息量的词.模型首先利用L S T M来学习微博的隐状态（^，^，…，^)，同时采用主题模型来学习微博的主题分布.隐状态的注意力权值^通过微博第j个位置 附近的词和微博的主题分布来计算.注意力层的

输黄立威等：基于深度学习的推荐系统研究综述1629 #期

出v e c'&a j h%模型的架构如图13所东.

类似于文献[87，91]的工作，H u a n g等人[92]使用记忆网络（M em ory N e tw o rk s)代替C N N和L S T M，提出了一个基于注意力的记忆网络来进行 H a sh ta g推荐•此外，H u a n g等人[93]还提出了一个基

于注意力的记忆网络来进行微博的提示推荐.考虑到 微博语句长度通常很短，存在单词稀疏和单词同义问 题，仅仅依靠语言模型（如词嵌人模型）获得的推荐 性能往往非常有限.作者通过利用用户的历史微博 作为外部记忆单元来建模用户的兴趣，提升了提示 推荐的准确性.具体地，作者利用两个记忆网络分别 从作者的历史微博和目标用户的历史微博中发现作 者和目标用户的兴趣，最后联合微博的内容、作者的 兴趣和目标用户的兴趣实现微博用户的提示推荐.

基于R N N的新闻推荐•O k u r a等人[94]采用深 度学习方法研究了新闻推荐问题.首先为了抓住文 章的语义信息，采用降噪自编码器（D A E)从新闻中 提取文章的隐表示；然后为了学习用户的偏好，采用R N N从用户的历史行为列表中学习用户的隐表示；最后，为了利用用户与新闻之间的关联，基于新闻和 用户的隐表示采用点乘的方式为用户产生新闻推荐 列表.

4.1.4基于深度信念网络的方法

基于D B N的音乐推荐.传统的基于内容的音乐推荐将音乐内容特征提取与音乐推荐分为两个 过程，这可能导致推荐性能的不足，W a n g等人+3]通过深度信念网络和概率矩阵分解（P ro b ab ilistic M a trix F a c to riz a tio n，P M F)将两个过程组合到一■个统一框架中，提升了音乐推荐的性能.具体地，首先 学习两种用户和项目的隐表示，一种是利用概率矩 阵分解学习到用户和项目表示，第二种是采用深度信念网络从音乐中提取的音乐特征表示以及由用户 偏好得到的用户表示，然后利用两种隐表示分别做 内积，并组合两种内积通过拟合用户-项目评分矩阵 进行模型训练，最后基于学习到的两种表示对未知 评分进行预测.

总的来说，深度学习能够有效缓解用户和项目 特征提取困难的问题，以及新项目的冷启动问题，同时能够将用户和项目特征提取与推荐过程融合到统 一的框架中，但是并不能够解决基于内容的推荐方 法其自身存在的新用户问题，也不能为用户发现新 的感兴趣的资源，只能发现与用户已有兴趣相似的 资源.

4.2深度学习在协同过滤中的应用

协同过滤，如矩阵因子分解，通过学习用户和向 量的低维向量表示来实现推荐，通常面临可扩展性 不足的问题[46].深度学习由于能够适应于大规模数 据处理，目前被广泛应用于协同过滤推荐问题中.基 于深度学习的协同过滤方法利用用户对项目的显式 反馈或隐式反馈数据，采用深度学习训练一个推荐 模型，是一类基于模型的协同过滤推荐方法.其主要 思路是将用户的评分向量或项目的被评分向量作为 输人，利用深度学习模型学习用户或项目的隐表示，然后利用逐点损失（P o in t-w is e L o s s)和成对损失 (P a ir-w is e L o s s)等类型的损失函数构建目标优化 函数对深度学习模型的参数进行优化，最后利用学 习到的隐表示进行项目推荐.根据深度学习模型的 不同，本文将深度学习应用到协同过滤中的研究分 为5类.

4.2.1基于受限玻尔兹曼机的协同过滤方法

基于R B M的协同过滤.2007年S alak h u tdin o v 等人[46]首次将深度学习应用于解决推荐问题，提出一种基于受限玻尔兹曼机的协同过滤推荐模型.假 设有™部电影，则使用™个S o ftm a x单元来作为可 见单元构造R B M.每个用户都有一个单独的R B M，对于不同的R B M仅仅是可见单元不同，因为不同 的用户会对相同的电影打分，因此所有这些RB M 的可见单元共享相同的偏置以及可见单元与隐层单 元的连接权值见S a la k h u td in o v等人对传统的 R B M模型进行了改进，一是在可见层，评分数据通过 一个固定长度的01向量进行表示"二是考虑到用户 只对很少的项目进行了评分，使用一种不与任何隐 层单元连接的M is s in g单元表示未评分的项目.为 了考虑用户未评分的电影的信息，S a la k h u td in o v等人采用一个01向量r表示电影是否被评分过，

通

1630计算 机学报2018 年

图

15

基于自编码器的协同过滤方法的模型架构

基于自编码器的协同过滤方法.S e d h a in 等 人+#提出了一种基于自编码器的协同过滤方法 (A utoRec )，该模型的输人为评分矩阵只中的一行

(User-based )或者一■列（Ite C -baseF ),利用一■个编码

过程和一个解码过程产生输出，通过最小化重构误 差进行模型参数优化.S tru b 等人+5]采用两个栈式 降噪自编码器（S D A E )，将用户和项目的评分向量分 别作为输人，分别学习用户和项目的隐表示，然后通 过隐表示对缺失评分进行预测.该方法与AutoRec 略微不同，其针对评分矩阵的数据稀疏问题，在训练 过程中通过将评分矩阵中的缺失值直接归零，从而 减少了网络的连接数量，但同时这种方式也导致未 评分数据的信息被忽略.

协同降噪自编码器模型.W u 等人[20]利用降噪 自编码器来解决t 〇P -N 推荐问题，提出了一种协同 降噪自编码器模型（C ollab ora tiveD e no isin g A u to ­

Encoders ，C D A E ). C D A E 与 A utoR ec 方法 的结构

类似，通过将用户的评分向量作为输人，学习用户的 低维向量表示来进行推荐.但是与A u to R e c 相比存

由于受限玻尔兹曼机的训练过程往往依靠变分推理 和蒙特卡罗采样等近似优化方法，训练的时间过长， 导致基于受限玻尔兹曼机的协同过滤方法在实际应 用中受到很大.

4.2.2基于自编码器的协同过滤方法

最近，自编码器也被应用于协同过滤中，其通 过对用户或项目的显式或隐式反馈数据进行重构， 能够学习用户或项目的隐表示，并基于这种隐表示 预测用户对项目的偏好.图15给出了一个基本的模 型结构，给定一个用户的评分向量尺，其中包含评 分数据（图中用灰色圆圈表示）和未评分数据（图中

用白色圆圈表示），通过最小化自编码器的重构误差 /(尺，化)训练得到模型的参数，最后对未知评分进 行预测！

(5)

其中，'和-为激励函数，％$和％$为权值矩阵！和 (为偏置向量.

过融人这种辅助信息提出了一种条件R B M .模型的 结构如图14所示.

隐变量办

观测变量F

图

14基于RBM 的协同过滤方法的模型结构

根据R B M 模型可见层单元之间和隐层单元之 间条件的性质，当给定可见单元状态时，可见单 元v 与隐层单元f t 的条件概率可以表示为

2= = 11"):exp

)

—___________________

I

F

& exp

)

⑶

(4&

2(9% '11 v ，&)

+& &

+&厂 1$

i -1 k -1

i -1

其中，I 和F 分别表示用户和隐变量的数量，模型 需要训练的参数包括权值{

/隐层节点偏置

.%}和可视节点偏置{6@}.参数训练采用2002年

H i n to n 提出的对比散度算法[4>

].

P h u n g 等人[47

]通过将S ala k h u t d i n o v 等人的工

作进行扩展，用于建模用户评分的序数特征，采用一 种统一的方式同时抓住了相似性和共现性.此外，考 虑到R B M 模型仅仅利用了项目之间的关联，

G e o r g ie v 等人+8

]通过增加用户之间的关联，对 R B M 模型进行了扩展，并且对模型的训练和预测过

程进行了简化，同时还使得模型能够直接处理实值

评分数据.何洁月等人[49]将R B M 模型进行扩展，提 出一种基于实值状态的玻尔兹曼机，该模型从三个 方面对R B M 进行改进，一是能够直接将评分数据 作为可见单元的状态，不再需要转化为I

维的01

向量表示，二是在训练数据中增加使用了未评分信 息，三是将好友信任关系融人到该模型之中，能够有 效缓解模型的稀疏性.

基于受限玻尔兹曼机的协同过滤方法的最大问 题是连接隐层和可见层的权重参数规模过大，同时

用户评分向量f l :

用

户评分向量

兄

黄立威等：基于深度学习的推荐系统研究综述1631 #期

在一些差异：一是该方法不是评分预测，而是t〇P-N 推荐"二是该方法通过在评分向量中加人了噪声数据，提升了模型的鲁棒性"三是考虑不同用户的个性 化因素，为每个用户引人了一个用户因子提升了推荐的准确性.

基于自编码器的表示学习.W;等人在[20]中指出，自编码器在最小重构误差时既能采用逐点损 失（P o int-w is e L o s s)也能采用成对损失（Pair-w ise Loss),但具体选择需要针对特定的任务来决定，可 是作者并没有给出选择的依据.Z h u a n g等人[A6]在 后来的研究中指出，推荐问题中每个用户的评分标准存在差异，例如有的用户对自己不是特别满意的项目可能给出高分，而一些标准苛刻的用户可能对满足自己要求的项目给出低分，因此，推荐系统的评 分预测不仅仅需要使预测的评分数据与真实评分数 据一致，而且还需要使预测的评分数据之间的相对排序与真实评分数据排序一致.针对这个问题，作者 提出在推荐问题中融人成对排序损失（P a irw is e R a n k in g L o s s)来确保预测数据与真实数据的排序保持一致.模型利用自编码器分别学习用户和项目的隐表示，再通过组合逐点损失和成对排序损失构建目标函数，采用梯度下降方法进行参数优化，最后 基于学习到的用户和项目隐表示，通过内积方式进行评分预测.

基于自编码器的协同过滤方法通常来说简单有 效，尤其是利用栈式降噪自编码器，通过提高模型的 深度和增加噪声，推荐的有效性和鲁棒性都得到了提升.

4.2. 3基于分布式表示技术的协同过滤方法

传统的协同过滤（如矩阵因子分解）忽略了用户 行为中的序列模式，但是很多推荐场景中，序列模式 会对推荐的结果起到至关重要的作用，例如基于会 话的推荐（Session-basedR ecom m endation)问题中，一个会话中之前的行为对后面的行为具有决定性作 用.传统的序列模式建模方法（例如马尔科夫模型）往往存在计算复杂且准确性不高的问题.

最近几年，浅层神经网络模型得到了广泛应用，特别是词分布式表示模型（E m b e d d in g M o d e ls).分 布式表示模型最早应用在自然语言处理领域中，利 用背景信息构建词汇的分布式表示.分布式表示模型往往简单而且比较有效，因此很快被用于建模推荐系统中的用户行为序列模式.其核心思想是利用用户对项目的访问序列同时构建用户和项目（或者 其它背景信息）的分布式表示，并将多种实体的分布式表示映射到同一个隐空间中，进而通过计算两个 实体之间的相似性实现项目的推荐.图16是一个基 本的分布式表示模型，给定一个用户的访问序列S;= {功―i，…，切―i，切+1，…，切+i}，定义一个目标项目（T arget I t e m k#V，其中V是所有项目的集合，序列中其它所有项目为W的情境项目（C ontext Item s)，给定民，能够通过最大化序列的似然/(S j 求目标序列W的分布式表示：

£(S1)=&&l o g2(w+'w)(6)

I S;-|#s%—k其中2(w+'w)为给定目标项目w，生成情境项目 W+6的概率，通常采用S o ftm a x函数进行定义：

&exp(vt •$)

v*#V

序列^中的所有项目

图16分布式表示模型结构

对模型的学习通常采用M ik o lo v等人+#]提出 的层次 Softm ax和 Negative Sampling 方法•最终，通过学习到的项目分布式表示，能够利用基于用户 的协同过滤、最近邻等方法来产生推荐.

基于分布式表示技术的下一次购物篮推荐. W a n g等人+8]将分布式表示技术用于解决下一次购 物篮推荐问题.购物篮推荐问题是给定用户的购物历史（通常是交易数据的序列），预测用户下一次购 物行为要选择的物品.该研究考虑建模用户的历史序列行为和用户的长时偏好进行购物篮推荐，提出 了一■种层次表示模型（H ierarchica lR e prese n tatio n M o d e l,H R M).H R M是一种两层结构的混合表示模型，第一层通过聚合最后一次交易中的所有项目 的隐向量形成交易表示（建模序列模式），第二层通 过聚合用户的隐向量（建模用户偏好）和交易表示构 建混合表示，最终利用混合表示进行下一次购物篮预测.模型结构如图1#所示，V〗和$分别表示用户 m和项目，的隐向量，对于用户M，给定其上一次交易历史序列77—1，需要预测下一次购物序列7*

，1632计算机学报2018 年

H R M定义用户M在下一次购物中选择项目z的概 率为

p(l#T：l u,T：h i)'i〇Up(v('$H(hE)⑶

I H y b ri d、

&exp($ 1丨

%- i

其中I表示所有项目的数量，$(*—1是第二层通过聚合用户隐向量$+和交易表示/i(v I#T+_i)构建 的混合表示，即

$(*—"=/($+，/($I#T+—i)) (9)其中/(•)和/(•)都是聚合函数，可以是最大池化（M a x P o o lin g)和平均池化（A v e ra g e P o o lin g)等 形式.最后通过对所有用户的历史交易数据进行拟合，采用梯度下降方法进行模型的训练，进而利用训 练好的H R M进行下一次购物篮预测.

下一次交易中的item Softmax

I I I I I I I聚合操作

item l item2item3

图i7 H RM的模型结构

基于分布式表示技术的广告推荐.G rb o v ic等人+4]利用分布式表示技术研究邮件系统的广告推 荐问题，利用用户与不同电子商务网站之间的邮件 往来获取到的用户历史购买行为数据，预测用户 对产品的兴趣.首先，作者提出了两种产品分布式 表示方法获取用户或项目的分布式表示，一种是 P ro d2V e c方法，所有产品被考虑，其在产品层 次上建模，采用分布式表示技术将所有产品嵌人到 一个连续的、低维的向量空间"另一种方法是 B agged-P ro d2 V e c，其考虑一封邮件中可能包含多 个产品的购买行为，在邮件层次上进行建模，采用分 布式表示技术获取到更加有效的产品向量表示.获 取项目的分布式表示之后，作者提出了两种推荐模 型，一种是产品到产品的推荐模型，其在嵌人式空间 中计算产品之间的相似度，然后利用基于用户的协 同过滤产生广告推荐；另一种是用户到产品的推荐 模型，其通过将用户和产品嵌人到统一的低维空间，从而通过计算用户与产品的相似度产生推荐.

基于分布式表示技术的协同过滤方法，能够建 模用户行为的序列影响.同时，由于其简单而且训练 高效，目前在推荐系统研究中引起了大量的关注[98].但是，这种方法仅仅建模了用户行为的局部 情境信息，并不能完全有效地抓住用户行为的序列模式:

4.2.4基于循环神经网络的协同过滤方法

循环神经网络模型正是针对序列数据建模而提 出，因此很快被引人到用户行为序列模式建模的研 究中.基于循环神经网络的协同过滤与基于分布式 表示技术的协同过滤类似，都能用来建模用户行为 的序列模式，但区别在于分布式表示技术仅仅抓住 了用户行为的局部情境信息，而R N N能够建模用 户行为之间的相互依赖关系.基于循环神经网络的 协同过滤的主要思路是利用循环神经网络建模用户 历史序列行为对当前时刻用户行为的影响，从而实 现用户的项目推荐和行为预测.图i8是一个基本的 基于R N N的协同过滤方法框架，已知一个用户的 行为序列S={而，心，…，:r t}，首先，对其进行嵌人 式表示并作为循环神经网络在每一时刻的输人，时刻*的隐向量i)，其中/为激励 函数.输出0t为时刻i选择特定项目的概率，通常基 于*时刻的隐向量采用S o ftm a x等方法进行计算. 根据应用场景不同，基于循环神经网络的协同过滤 模型主要被用于基于会话的推荐、融人时间序列信 息的协同过滤等应用中.

0,0

〇

图i8基于循环神经网络的推荐方法的模型架构

基于会话的推荐.基于会话的推荐系统主要利 用当前会话中的历史行为记录预测下一步点击每个 项目的概率，其最大特点是仅仅考虑了一个会话期 间的行为数据.H id a s i等人+>]采用G R U来抓住会 话中行为之间的依赖关系，基本架构如图i9所示，在每一个时间点上，模型的输人是当前点击的项目 的o n e-h o t编码，然后通过一个嵌人层压缩为低维 连续向量，中间是多个基本的G R U层和一■个前向层，输出层利用S o ftm a x等方法计算的每个项目的 点击概率.为了实现并行计算，该研究通过把不同的 会话拼接起来，然后采用m ini-b a tc h处理.此外，在输出阶段，考虑到项目数量太多会导致计算量过大，该研究通过对所有项目进行抽样，

仅仅预测部分项

黄立威等：基于深度学习的推荐系统研究综述

1633

目被点击的概率.

图

19 HidaW 等人+>提出的方法的模型结构

在文献[76]中，T a n 等人对H id a s i 等人+>的工

作提出了一系列改进，一是数据增强（dataaugm en -

ta tio n )，首先是通过将每一个长度的序列都作为一

个训练样本来增加训练样本的数量，然后采用嵌人 式D ro p o u t 随机去除一些序列中的节点，帮助缓解 由于噪声数据导致的过拟合"二是预训练，考虑到 用户偏好会随时间变化，通过利用所有历史数据 对模型进行预训练，然后仅仅利用最近的数据进 行更精细粒度的训练，这样同时抓住了用户的长 时偏好和短时偏好"三是利用信息（Privileged

In fo rm a tio n )进行训练，在模型训练过程中，通过融

人用户行为序列中预测时间点之后的数据，提升了 模型的预测精度.

融入时间序列信息的协同过滤.传统的协同过滤方法并没有考虑用户行为的时间信息，但是时 间信息反映了用户行为的时间序列模式，有效地利 用时间信息有利于提升推荐系统的性能.S o n g 等 人[1$]通过融人时间信息并在多种粒度上建模用户 的兴趣偏好，提出一种多等级时间深度语义结构化 模型（M u tii -R a te T D S S M ). L iu 等人[73]考虑到推荐 系统中的用户行为往往存在多种类型，采用循环 神经网络模型和L o g 双线性模型（Log -B iL in e a r ，

L B L ) +9]分别建模用户行为之间的长程依赖关系和

短时情境信息，从而提出了一种循环L o g 双线性模 型（R ecurrent Log -B iL in e a r ，R L B L ),实现对用户在 下一时刻的行为类型预测.W u 等人[77]将循环神经 网络用于建模用户的时间序列行为，该研究区分了 不同类型的显式反馈和隐式反馈数据，并组合一个 循环部分和一个非循环部分来对用户进行推荐.循 环部分是一个R N N 结构，其通过区分不同的行为 类型抓住所有历史反馈对当前用户行为的影响.非 循环部分是一个全连接神经网络结构，其主要建模 了用户基本的偏好.

以上研究实际上仅仅利用了用户的序列行为建

模用户偏好的演化，同时假设项目的特征保持不变. 但是在实际的推荐系统中，项目的特征可能发生变 化，例如一部电影的受欢迎程度或者受众群体会随 着时间发生改变.D a i 等人[78]考虑到用户偏好和项 目特征会因为用户交互而随时间演化，基于循环神 经网络和时间点过程模型，提出了一种循环共 演化特征嵌人过程模型（R ecu rre n tC o e vo lu tio n a ry

Feature E m beddingProcesses )实现用户偏好和项

目特征的演化跟踪，并学习用户和项目在每一时刻

的隐表示，最后通过对用户和项目的隐表示进行内 积来产生项目推荐.W u 等人[1%]通过利用循环神经 网络建模用户偏好和项目特征的演化，提出了一种 循环推荐网络（R ecurrentR ecom m ender N e tw o rk ，

R R N )能够预测用户未来的行为轨迹.具体地， R R N 首先利用低维矩阵因子分解学习用户和项目

的静态隐表示，同时将用户的历史评分数据作为输

人，采用L S T M 学习用户和项目在每一时刻的动态 隐表示，最后通过聚合两类隐表示的内积实现单一 时刻的评分预测.

基于循环神经网络的协同过滤方法，由于其能 够有效建模用户行为中的序列模式.同时通过改变 循环神经网络的输人[77]和定义不同的权值矩阵[73]， 还能够融人时间等情境信息[1 %]，以及各种类型的辅 助数据来提升推荐的质量[72]，模型具有高的适用 性，在当前的推荐系统中得到了广泛应用.4.2. 5基于生成对抗网络的协同过滤方法

W a n g 等人[_提出的IR G A N 首次将G A N 引

人到信息检索领域，实现了信息检索建模中两种思 维流派（生成检索模型和判别检索模型）的统一描 述.生成检索模型聚焦于给定一个查询9,生成相关 的文档A 判别检索模型聚焦于给定一个查询和文 档（形式上讲，假设f ttU e W k …，r )是用户真实的偏 好分布，生成检索模型外需要尽力接近用 户真实的偏好分布，判别检索模型需要尽 力区分相关文档和不相关文档.类似于G A N ，可以 定义IR G A N 的目标函数：

N

1 =m in m a x &{E 7"2tru e 7iv r [i 〇g 1(7|g &)] +

# $ & — 1

[i 〇g (1—1(7|g &))]} (10) 其中，1(7 | ) 'a (/(7，g &))，是一个 sigm oid 函数，#和$分别是生成检索模型和判别检索模型的

7期15Y

苺

©

骧

lofauo

*皿

锊轺验铽：

y

着

参数，能够通过采用梯度下降法进行迭代学习而获 取到.以上目标函数是通过采用成对排序损失来构 建的，假设九W|g…，r)能够通过一个S o ftm a x函数 进行定义：

…I、—e x p(办％，^)) %

P#7\\q4---------(1)

6e x p(g#(M，7))

7

g#(g7)是给定查询m生成文档7的概率，5#%7)和^(7)通常根据具体的任务进行定义，可以是相同的形式或不同的形式.在文献[100]中，作者将其定义为相同的形式：g#(M7) —7)和/“M7) —K g7).在项目推荐任务中，作者采用了 矩阵因子分解方法来定义K g7):

s(u,i)—bt f v l v t(12)其中，F是项目$的偏置，）+和*分别为用户+和项 目$的隐向量.（+，）也可以通过因子化机或者神 经网络进行定义.

生成对抗网络由于引人了对抗机制，在推荐系 统中能够取得不错的效果.但目前，生成对抗网络在 推荐系统中的应用还处于探索阶段，更深人的研究 有待于进一步展开.

4.2.6基于其它深度学习模型的协同过滤方法

除了R B M、A E、分布式表示技术、R N N和对抗 神经网络之外，目前被用于协同过滤的深度学习模 型还包括卷积神经网络、神经自回归分布估计模型(N eu ral A u to re g ressiv e D istrib u tio n E s tim a to r，N A D E)[101].

G e n g等人[>8]针对社交内容网络中用户与图像 之间的连接稀疏以及图像内容多样的问题，提出了 一种神经网络模型来学习社交内容网络中用户和图 像的统一表示.该模型利用用户和图像之间由于历 史交互形成的二部图网络结构，采用卷积神经网络 模型通过最大化模块度[102]的方法学习用户与图像 的深层次统一表示，从而在同一空间中通过计算用 户和图像的相似度为用户进行图像推荐.Z h e n g等人[103]考虑到基于R B M的协同过滤存在优化困难 的问题，使用N A D E替代R B M来进行协同过滤推 荐，N A D E不需要融人任何隐变量，因此避免了复 杂的隐变量推理过程，从而降低了模型复杂度.

总的来说，基于深度学习的协同过滤能够看做 是传统隐因子模型的一种非线性泛化[20].其最大的 优点是在学习用户和项目隐表示的过程中引人了非 线性的特征变换，相比传统的协同过滤方法（如矩阵 因子分解）具有更好的性能[2，6].但同时这类方法仍然无法改变传统协同过滤方法存在的数据稀疏问 题，以及新用户和新项目的冷启动问题.

4.3深度学习在混合推荐系统中的应用

传统的协同过滤方法仅仅利用了用户的显式反 馈或隐式反馈数据，面临数据稀疏问题.通过融人用 户画像数据、项目内容数据、社会化标注、评论等辅 助数据，混合推荐方法能够有效缓解数据稀疏问题，但是这种方法面临最大的难题是辅助数据的表示问 题，经典的方法，如协同主题回归（C ollaborative T o p ic R e g re s s io n，C T R)[104],并不能够获取有效的 辅助数据表示[4].深度学习通过自动特征提取，能够 从辅助数据中学习到有效的用户和项目隐表示.

基于深度学习的推荐方法的主要思路是组合基 于内容的推荐方法与协同过滤，将用户或项目的特 征学习与项目推荐过程集成到一个统一的框架中，首先利用各类深度学习模型学习用户或项目的隐特 征，并结合传统的协同过滤方法构建统一的优化函 数进行参数训练，然后利用训练出来的模型获取用 户和项目最终的隐向量，进而实现用户的项目推荐.根据深度学习模型的不同，本文将基于深度学习的 推荐方法分为以下两类.

4.3.1基于自编码器的混合推荐方法

当前，自编码器在基于深度学习的混合推荐方 法中应用最为广泛.基于自编码器的混合推荐方法 的基本架构如图20所示，自编码器由于具有强的表 示学习能力，很自然地用来从用户特征X或项目特 征y中学习用户隐表示U或项目隐表示V，然后图20基于自编码器的混合推荐方法的模型架构

用户-项目

交互矩阵

R

U X V->K R,u y)

「输入11_方出层1

项

巨

特

征y

〇

〇

〇

〇

〇

Wi

〇

〇

〇

〇

隐屋/

V /

W? 0C

〇

〇

〇

〇

〇

W：

〇

〇

〇

〇

〇

J

1

隐层

%■

用

户

特

征

X

〇

〇

〇

〇

〇

WX U

〇

〇

〇

〇

W2U

U

〇

〇

〇

Wz

〇

〇

〇

〇

◦

〇

〇

〇

〇

—£(X，U)

/

r

黄立威等：基于深度学习的推荐系统研究综述1635

图21 CDL 的模型结构#期

将隐表示融人到隐因子模型中拟合用户-项目交互

矩阵只（如评分矩阵&最后联合自编码器的重构误 差/(X ，⑴和/(y ，v )，以及拟合交互矩阵的误差 /c r ，u ，v )构建统一的损失函数，通过梯度下降等方 法学习到最终的用户和项目隐表示，从而对用户进 行推荐.在不同研究中，可能同时利用了项目特征信 息和用户特征信息，也可能只利用了其中一种.

协同深度学习模型• W a n g 等人在K D D 2015年 的论文[4]中提出了一种贝叶斯版本的降噪自编码器 模型，即贝叶斯栈式降噪自编码器模型（B ayesian S D A E )，然后组合B a y e s ia n S D A E 和概率矩阵分 解，提出了一种协同深度学习（C o llab o ra tiv eD eep L e a rn in g ，C D L )混合推荐方法.该方法主要利用项 目的文本类辅助数据，采用B a y e sia n S D A E 学习项 目的隐表示.C D L 模型的图表示如图21所示，假设 系统有/个用户和J 个项目，对应一个评分矩阵 [_R …]IX /，文本数据用词袋模型表示，所有项目 的文本数据对应一个特征矩阵足（每一行代表一个 项目的词频向量&通过在足中加人噪声得到自编 码器的输人X 。，自编码器第：层的输出为X :，相应 权值矩阵和偏置为和C D L 的生成过程如下：

%)对S D A E 网络的每一层：① 对权值矩阵的每一列w ，提取

② 提取偏置向量，Ah1J K :)

③ 对X 的每一行j ，提取

1%(%f () %—,1)

(2) 对每个项目％

① 提取一个干净的输人%—1,)

② 提取一个隐项目偏移向量s %〜！(。％—,K )， 然后设置隐项目向量为

$ =s ,+X S /2%,

(3) 对每个用户2,提取一个隐用户向量：

-，=!(〇%—,K )

(4) 对每对用户和项目（％ )，提取一个评分尺，其中%、％+%和％。是超参数.是一个置信度参

数矩阵.

之后，有研究者对C D L 模型进行了一系列扩 展.文献[39]中，W a n g 等人将C D L 扩展应用到标 签推荐问题中，提出一种关系栈式降噪自编码器 模型（R elational Stacked Denoising A utoencoder ， R S D A E ).

该研究采用S D A E 从项目的内容信息中 学习项目的隐表示，利用概率矩阵分解建模标签与项 目之间的共现信息，同时融人了标签系统中可能存在 的各类关系数据.C D L 模型中，项目的文本辅助信 息是由词袋模型表示，这种方式忽略了文本内容中 词语序列所包含的信息.针对这个问题，W a n g 等 人[38]提出了一种协同循环自编码器模型（Denoising R e c u rre n tA u to e n c o d e r ，C R A E )，用来代替 SD AE 进行项目推荐.

C R A E 拥有一种自编码器结构，在编 码器和解码器中，分别利用一个循环神经网络建模 文本序列的生成，从而抓住文本中词语的序列信息. 另外一个C

D L 的扩展是协同变分自编码器方法 (Collaborative Variational Autoencoder ，C V A

E )[4Z ]， C V A E 使用变分自编码器代替S D A E 从项目的内 容中学习项目的隐表示.其相比C D L ，推理的过程 更加简单，且不需要在输人中加人噪声，能够从图 像、

文本等项目内容中提取特征.此外，Y i n g 等 人[1。5]将C D L 模型进行扩展，提出一种协同深度排 序模型（C ollaborative Deep R a n k in g ，C D R )，CDR

与C D L 的区别在于，C D R 利用了成对损失函数代 替C D L 使用的逐点损失函数进行模型优化.

协同知识库嵌入模型.

Z h a n g 等人+]利用一个 与C D L 相似的模型架构，融人项目之间的结构化信 息（

项目之间的各类关系）和非结构化信息（文本数 据和图像数据）到推荐系统中，通过组合深度学习方 法和概率矩阵分解模型，提出了一种协同知识库嵌 人模型（C ollaborative Know ledge Base E m bedding ，

C K E ).

C K E 利用了三种非监督表示学习方法从项

目相关的结构化和非结构化数据中学习项目的隐表

示.具体来说，为了利用项目相关的结构化信息，通 过采用一种知识库嵌人式方法T ransR [1%6]将项目嵌 人到隐空间来学习项目的结构化向量，利用项目相 关的文本信息通过采用S D A E 提取文本的分布式 表示来得到项目的文本向量，利用项目相关的图像 信息通过提出一种栈式卷积自编码器（Stacked C onvolutional A u to E n cod ers，S C A E )模型提取视觉 图像的分布式表示来得到项目的视觉向量，并通过

融合项目的三类向量得到项目的隐表示，

最后结合

1636计算 机学报

2018 年

x V l(R ,U y )输入层〇〇〇

((((3输U 层□00^ U R

度学习模型P M F 学习到用户和项目最终的隐表示.与C D L 相

比，C K E 集成了更多的辅助信息来学习项目的隐表 示，另外，C K E 中的协同过滤利用了成对排序损失.

基于S D A E 的方法.W e i 等人[41]通过组合协同 过滤方法T im e S V D ++[10#]和栈式降噪自编码器 S D A E ，提出了一种混合推荐方法.该研究利用 S D A E 从项目的辅助信息中学习项目的隐表示，利 用T im eS V D +f 拟合用户和项目之间的评分矩阵. 与C D L 相比，该模型利用的T im eS V D +f 是一类

融合了时间因素的隐因子模型，因此建模了用户偏 好和项目特征随时间的变化，有利于提升推荐系统 的性能.

基于m D A 的方法.L i 等人[1#]通过将边缘降噪 自编码器（M arginalized D enoising A u to e n c o d e r ， m D A )[108]和概率矩阵分解方法进行组合，提出一种 混合推荐方法.m D A 是降噪自编码器的一类扩展，

其通过对降噪自编码器的输人噪声进行边缘化，避 免了训练降噪自编码器所需要的大的计算开销，提 升了模型的可扩展性.与C D L 和C R A E 的不同之 处在于，该模型不仅考虑了项目相关的辅助信息来 学习项目的隐表示，还融人了用户相关的辅助数据

来学习用户的隐表示，此外该模型并没有像C D L 和 C R A E —样采用贝叶斯形式，而是利用边缘降噪自编 码器，具有更少的模型参数，具有更高的可扩展性.基于a S D A E 的方法.D o n g 等人[40]提出了一种

基于附加桟式降噪自编码器％ A d d itio n a lS ta c k e d D e n o isin g A u to e n c o d e r ,aS D A E )的混合推荐方法， a S D A E 是S D A E 的扩展，其输人是用户或者项目的

评分向量，a S D A E 在S D A E 的每个隐层都加人用户

或者项目的辅助信息，在输出端同时重构输人数据 和辅助数据.该研究利用a S D A E 学习用户和项目 的隐表示，然后结合矩阵因子分解（M F )和aSD A E

构建联合目标优化函数，采用梯度下降方法进行参 数优化，进而对未知评分进行预测.相比C D L 方法， 该模型能够融人更加精细的辅助数据，且具有更少 的模型参数.

! 3. 2基于其它深度学习模型的混合推荐方法

除了自编码器之外，目前被用于混合推荐的深 度学习模型还包括多层感知机、卷积神经网络和循 环神经网络等.虽然基于深度学习的混合推荐方法 都采用深度学习加协同过滤的模型框架，但是自编 码器从辅助信息中学习用户和项目隐表示的过程是

一个非监督过程，因此在模型最终的优化过程中除 了拟合用户与项目的显式反馈或隐式反馈数据之

外，还融人了自编码器的重构误差，而其它监督深度 学习方法将从辅助信息中学习用户和项目隐表示的 过程和拟合协同信息的过程集成到一个统一的监督 学习框架中，从而在最终的模型优化过程中只拟合 用户与项目的显式反馈或隐式反馈数据.因此，与基 于自编码器的混合推荐方法的最大区别在于最终优 化目标函数的构建.图22给出了一个基本的模型架 构，深度学习模型用来从用户特征X 和项目特征y 中学习用户隐表示U 或项目隐表示V (此处并没有

自编码器的输人数据重构过程）

，然后将隐表示融人 到隐因子模型中拟合用户-项目交互矩阵只（

如评分 矩阵），通过拟合交互矩阵的误差/CR ，U ，V )构建统 一的目标优化函数，利用最终学习到的用户和项目 隐表示对用户产生推荐.图22基于其它深度学习模型的混合推荐方法模型架构

基于M L P 的混合推荐方法.传统矩阵分解方

法通常采用内积的方式来衡量用户向量和项目向量

的距离，H s ie h 等人[15]利用测度学习来学习数据之

间的相似度，并将测度学习（M e tric L e a rn in g ，M L ) 和协同过滤结合，

提出了一种协同测度学习 (C ollaborative M e tric L e a rn in g ，

C M L )方法.该研 究指出内积操作由于不具有距离相似度的传递性， 并不是一个合理的距离测度，

会带来相似度学习不 准确的问题.因此，

C M L 通过大边界最近邻方法 (Large M argin Nearest N e ig h b o r ，

L M N N )进行测 度学习来学习数据之间的相似度.最后，在测度学习 损失函数的基础上，通过M L P 融人项目相关的特 征数据，

同时将加权近似排序成对损失[109]融人用 户的隐式反馈数据，

并加人正则化因子，构建统一的 目标优化函数，最后学习到用户和项目隐向量，进而 实现T 〇

P-K 推荐.C h e n 等人[110]在多媒体推荐中，通过引人两种 层次的注意力机制到隐因子模型中，

提出了一个 注意力协同过滤模型（A tte n tiv e Collaborative 输#.l p l A

p r o l n f w _

入

l o c x x x 〕l

* 项目S 怔

7用户篇x

黄立威等：基于深度学习的推荐系统研究综述1637 #期

F ilte r in g，A C F).A C F是一个多层感知机，包括两 种层次的注意力机制，一个项目层次的注意力机制被用来刻画不同项目匹配用户兴趣的程度，一个部 件层次的注意力机制被用来抓住多媒体辅助信息中 对用户最具有代表性的特征.

基于C N N的混合推荐方法.K im等人[5A利用 卷积神经网络将项目相关的文本辅助数据融人到推 荐系统中，提出了一种卷积矩阵因子分解模型(C o nvo lutio na i M a trix F a cto riza tio n,C o n vM F).B 虑到C D L等方法采用词袋模型对文本进行表示时，无法有效利用文本内部的情境信息，C o n v M F利用 C N N的多层卷积操作抓住文本中词语之间的相互关联，并帮助学习用户和项目的隐表示，提升推荐系 统评分预测的准确性.C o n v M F首先对文档中的每个词做嵌人式表示，然后将所有嵌人式向量拼接成一个矩阵，这样每篇文档就可用一个二维矩阵表示，然后在该矩阵上进行卷积、池化以及映射，从而获取 到项目的隐向量.C o n v M的目标函数由矩阵因子分 解和C N N的损失函数共同组成.

基于R N N的混合推荐方法.与C o n v M F相同，为了抓住文本辅助数据中词语之间的序列关系，B a n sa i等人+1A基于循环神经网络模型提出了一种文本推荐方法，在利用评分数据的同时，还利用了文 本内容信息和文本标签数据进行推荐.具体来说，为 了更好地抓住文本中词语的序列模式，该模型利用 G R U学习文本内容的向量表示，然后基于隐因子模 型采用一个多任务学习框架（包括文本推荐和标签预测两个任务)构建一个联合优化目标函数，在监督 学习框架下实现对模型参数的优化.与C D L和 C R A E相比，虽然该模型也利用了项目相关的文本数据学习项目的隐向量表示，但是该模型是一个完全端到端的监督学习架构.

L i等人[111]利用深度学习模型研究了 A P P的评 分预测与抽象t ip s生成问题，通过一个多任务学习 框架同时进行评分预测与抽象t ip s生成.具体地，在评分预测任务中，作者利用用户和项目的隐向量作为输人，利用一个多层感知机（M L P)来进行评分 预测.在抽象t ip s生成中，将用户和项目的隐向量作为输人，利用一个G R U来进行文本生成.最后在 一个多任务框架中进行模型训练.

基于深度学习的混合推荐中，深度学习方法主 要用于从辅助数据中学习用户和项目的隐表示.当前的大部分研究都采用深度学习加隐因子模型的推 荐框架，各种研究的区别主要体现在辅助数据的类型、深度学习的方法和隐因子方法三个方面的选择不同，表1总结了相关的代表性研究.

表1

研究

W ang et a i [4]

"Wang et a i [38]

W ang et a i [39]

Y in g et a i E105]

L t e t a i[42]

Z h a n g e ta l. +5]

L i e t a i[17]

W e ie t a l.[41]

D o n g e ta l. [40]

H s ie h e ta l. [15]

C h e n e ta l. [110]

K i m e t a l.[59]

B a n s a le ta l. [19-

L i e t a i丨

基于深度学习的混合推荐方法比较

辅助数据类型深度学习模型隐因子模型

文本S D A E P M F

文本、关系R S D A E P M F

文本C R A E P M F

文本S D A E P M F

文本、图像等V A E P M F

文本、图像、S D A E、S C A E、

P M F

关系等T ra n s R

用户和项目

特征m D A P M F

用户特征S D A E T im e S V D+f

用户和项目

特征aS D A E M F

图像、文本、

标签等M L P M L

图像、视频、

音频等

A ttention-based

M L P

S V D

文本C N N M F

文本G R U L F M

文本M L P、G R U M F

总的来说，基于深度学习的混合推荐通过融人辅助信息能够有效缓解协同过滤推荐中存在的数据 稀疏和冷启动问题.但是，目前的大部分研究都是针 对具体的辅助数据而采用不同的深度学习模型，构 建一个针对所有数据的、统一的混合推荐框架是下一步的重要方向.

4.4深度学习在基于社交网络的推荐系统中的应用

当前，社交网络作为一种开放的公众参与的信息交流与业务服务平台，迅速进人了人们的日常工作和生活中.同时，随着移动互联网的发展，位置社 交网络也已经迅速普及.基于社交网络的推荐系统旨在解决社交媒体平台中“信息过载”的问题，已经 成为社交媒体挖掘领域的热门话题.目前，深度学习 与基于社交网络的推荐系统的结合也引发了一系列 的研究成果，主要可以分为两个方向：％)基于深度 学习的社交网络社会化关系影响建模"（2)基于深 度学习的位置社交网络序列模式建模.

4.4. 1基于深度学习的社交网络社会化关系影响

建模

社交网络中用户之间存在各种类型的社会化关 系（例如朋友关系、关注关系等），用户之间通过社会 化关系会产生相互影响，并具有相似的兴趣偏好.基 于社交网络的推荐系统最重要的是需要通过建模用 户之间的社会化关系影响来提升推荐系统的质量.通常，社会化关系通过图结构进行表示，因此传统的1638计算机学报2018 年

方法一般采用图模型或正则化技术来建模用户之间 的社会化关系影响[112]，但是这些方法容易受到图 结构的稀疏性以及高的计算复杂性的影响.当前，针对这些问题，研究者通过利用深度学习开展了一些 针对性工作.

基于M L P的推荐方法.W a n g等人[113]研究了 跨信息网络和社交网络的社会化推荐问题，即如何 利用信息网络中用户与项目之间的交互和社交网络 中用户之间的连接，将信息网络中的项目推荐给社 交网络中的潜在用户.该研究通过分别在两个领域 进行嵌人式学习，同时让桥接用户（同时出现在两个 网络中的用户）共享相同的嵌人式表示，来学习用户 和项目一致的隐表示.在信息网络领域，作者基于 M L P，提出了 一种属性感知的深度协同过滤模型 (A ttr i bu te d-awa r e D ee p C F M o d el)，模型架构如图 23所示.模型将用户和项目的I D号以及它们的属 性信息作为输人，通过多层神经网络预测用户对项 目的偏好.在社交网络领域，基于信息网络中桥接用 户的隐表示，通过假设朋友之间具有相近的兴趣来 学习其它用户的隐表示，最后通过组合两个领域的 损失函数构建统一的优化函数进行模型训练.

基于分布式表示技术的推荐方法.Y a n g等人[#!]为了融人社会化影响到推荐系统中，采用了基于深 度学习的网络表示技术建模用户之间的社会化影 响.基于用户的社交网络结构，通过网络表示技术将 用户节点嵌人到一个共享的隐空间，每个用户用一 个低维、稠密的向量进行表示.通过使用网络表示技 术建模社交网络的生成，能够缓解社交网络图结构 的稀疏性问题，同时基于深度学习的网络表示技术 具有高的可扩展性，能够适应于大规模数据集. Z h a o等人[11!]通过组合深度学习与矩阵因子分解，研究如何利用社交网络数据为社交网络中的冷启动 用户（在电子商务网站中没有购买记录的用户）推荐电子商务网站中的产品.首先，通过利用神经网络模 型（即W o rd2V e c和P a ra2V ec)从用户购买行为数 据中学习用户和项目的嵌人式表示，同时为了融人 社交网络信息，利用改进的梯度B o o s t树方法从社 交媒体用户数据中学习用户的嵌人表示，最后，利用基于特征的矩阵因子分解联合以上两个方面的隐表 示进行模型训练和预测.

基于自编码器的推荐方法.D e n g等人[11>针对 传统矩阵因子分解中用户和项目的隐特征初始化困 难以及用户信任关系多样化的问题，采用深度自编 码器模型初始化用户和项目的隐特征向量，通过正 则化技术融人用户信任关系的影响到推荐系统中，有效提升了推荐系统的性能.P a n等人[116]@究了如 何融人信任关系到评分预测问题中，作者采用降噪 自编码器分别通过重构用户的评分向量和信任关系 向量学习评分隐向量和信任隐向量，中间通过一个 加权隐层来U衡这两类隐向量的重要性，基于学习

到的隐向量来进行t〇p-N推荐.此外，文章还利用了 一个关联正则项来避免由于数据稀疏所导致的过拟 合问题.

基于R B M的推荐方法.N g u y e n等人[0]在S a la k h u td in o v等人[!6]的工作的基础上，通过两种 方式建模社会化关系对推荐结果的影响，一种是将 社会化关系和用户评分一样，都作为R B M的观测 变量，通过同时拟合社会化关系和用户评分实现社 会化影响建模；另一种是在R B M中增加一个隐含 层，在这个隐层上通过朋友间的权值共享实现社会 化影响建模.

通过深度学习方法将社交网络中的社会化关系 影响融人到推荐系统中，有利于缓解推荐系统的数 据稀疏和冷启动问题，从而提升推荐系统的质量.但 总的来说，深度学习在基于社交网络的推荐系统中 的应用还非常少，诸如如何区分关系的类型和强度、如何有效建模结构洞等社会理论到推荐系统中，都还有待深人的研究.

!!2基于深度学习的位置社交网络序列模式建模位置社交网络中，所有项目（也就是兴趣点，P o in t-O f-In te re s t，P0I)都具有位置属性，用户行为 具有时间和空间上的序列模式，对这种时空序列模 式的建模有利于提升P0I推荐的准确率.因此，位置社交网络的推荐系统除了需要关注用户之间的社 会化关系，还需要抓住用户的位置影响、序列移动模 式等因素.

基于M L P的推荐方法.Y a n g等人[11#

]指出当黄立威等：基于深度学习的推荐系统研究综述1639 #期

前的P01推荐方法都是针对特定的数据和问题而 设计，提出了一种通用的半监督学习模型，即偏好与 情境嵌人模型（Preference a n d C o n te x tE m b e d d in g，P A C E),能够利用相邻用户和位置的信息来缓解推 荐系统的数据稀疏问题.P A C E首先构建情境图作

为观测数据，包括利用位置间的距离构建的位置图，以及利用用户间的朋友关系构建的用户图.P A C E 的模型架构如图2!所示，其输人是用户和项目的 o n e-h o t向量，输出是用户和项目的情境信息以及 用户对P0)的访问次数，分别建模了用户与用户之 间的情境、项目与项目之间的情境，以及用户对P0) 的偏好.最后，P A C E联合三个方面的损失建立优化 函数，通过学习到的模型进行P0)推荐.

基于C N N的推荐方法.W a n g等人[62]研究了 如何融人图像内容信息来提升P0)推荐的问题，作者基于C N N和概率矩阵因子分解，提出了一种 视觉内容增强的P0)推荐模型（V is u a lC o n te n t E n h a n ce d P0IR e c o m m e n d a tio n，V P0I).V P0I利用C N N从图像内容中提取特征，通过用户-图像关 系、P0I-图像关系和用户-P0I关系三类关系，构建 了一个概率主题模型，最后将图像的特征提取和概 率主题模型融合到一个统一框架中构建优化函数，采用Negative S a m p lin g方法进行参数优化.

基于R N N的推荐方法.L i u等人[2研究了位 置社交网络中的行为预测问题，通过利用循环神经 网络抓住序列行为之间的依赖关系，从而基于用户 的历史行为序列帮助预测下一时刻的行为.Y a n g等人[7!]利用循环神经网络建模位置社交网络中的用 户序列移动模式，同时融合用户的社会化关系影响 进行位置推荐.具体地，模型由两个部分组成：社会 网络的构建和移动轨迹的生成.首先采用网络嵌人 方法构建社会网络，再利用用户的访问偏好、用户朋友的影响、用户的短时序列情境和长时序列情境共同建模行为序列的生成.为了刻画两种情境信息，在 短时和长时两个情境下分别采用R N N和G R U抓 住用户移动模式中的序列关联性.最后组合社会网 络的构建和移动轨迹的生成建立目标函数，采用随 机梯度下降法进行模型训练.

基于分布式表示的推荐方法.0s o y[118]利用用 户与项目之间的共现信息，采用W o rd2V e c技术开 展位置社交网络推荐问题研究.首先，通过W o rd2V e c技术利用用户的历史签到行为将用户和 项目嵌人到一个共享的低维空间，然后，借鉴基于内 容的推荐方法和基于用户的协同过滤方法，采用最 近邻算法找到用户最感兴趣的项目，并产生用户的 项目推荐.Z h a o等人[119]考虑建模用户的兴趣偏好和移动模式来进行兴趣点推荐，提出了一种序列嵌人排序模型（SEquential Em bedding R a n k，SE E R)模型.具体来说，S E E R利用分布式表示技术学习用 户的嵌人式表示，然后将用户嵌人作为约束加人到成对排序模型中来抓住用户行为的序列模式，同时 S E E R还融人了时间和空间信息.

通过深度学习方法将用户行为序列模式融人到 推荐系统中，有利于抓住用户行为之间的依赖关系，从而提升推荐系统的质量.深度学习在位置社交网 络推荐系统中的应用目前主要聚焦在序列模式建模，其研究还有待进一步拓展，例如，如何通过深度 学习融合各类异构的时空数据，以及如何集成社会 化关系影响、位置影响、时间影响和序列模式等要素 构建统一的推荐框架等.

4.5深度学习在情境感知的推荐系统中的应用

情境感知的推荐系统主要通过集成用户的情境 信息到推荐过程中，从而改善推荐效果.在情境感知 的推荐系统中，因为考虑了情境信息，传统的推荐函 数从只变为k U X J X C"只，其中C表示 所有情境的集合.当前，深度学习在情境感知的推荐 系统中的应用主要集中在如何采用深度学习方法对 情境 信 息 进 行 有 效 建 模， 主 要 表 现 在 两 个方面!

(1)如何采用深度学习方法融人情境信息到推荐系 统中，即基于深度学习的情境感知的推荐；（2)如何 采用深度学习方法实现对情境信息的有效表示，即基于深度学习的情境信息表示.

基于深度学习的情境感知的推荐.传统的情境感知的推荐系统通过将问题转化为一个三维矩阵上 的矩阵补全问题，能够简单地融人情境信息到推荐系统中.但是对于很多复杂场景下的推荐问题（

例如10计算机学报2018 年

序列推荐问题&融人情境信息到推荐系统中是很困 难的[120].L i;等人+2，120]考虑到传统的序列推荐除 了需要考虑用户的序列影响，还需要考虑用户行 为的情境信息，通过改进传统的循环神神经网络 结构融人了情境信息到序列推荐中.在文献[72] 中，作者提出了一种空时循环神经网络模型（S patial T em p o ral R ec u rren t N eu ral N e tw o rk,S T-R N N)，针对不同粒度的时间间隔和距离长度，通过在循环 神经网络模型中定义不同的时间转换矩阵和位置转 换矩阵，有效地抓住了连续的时间和空间情境信息 对用户行为的影响，提升了位置推荐的质量.在文 献[120]中，作者将情境信息分为输人情境(如位置、天气等）和转换情境（时间间隔长度&通过在循环神 经网络中采用可适应的、情境具体的输人矩阵和转 换矩阵对两种情境信息进行建模，帮助提升了序列 推荐的质量:

基于深度学习的情境信息表示.传统的情境感知的推荐系统通常采用图模型、主题模型和张量分 解技术等，但是，当情境数据大量增加时，这些技术 会因为情境集合维度过大而遭遇到严重的数据稀疏 问题.深度学习通过将各种类型的情境数据进行建 模，并表示为一个低维、稠密的隐向量，能够有效缓 解这种数据稀疏问题[121].

Z h o u等人[122]将分布式表示技术用于情境信息 建模，提出一种多情境轨迹嵌人模型（M ulti-C o n tex t T rajecto ry E m bedding M o d el,M C-T E M),通过将 包括用户、轨迹、临近的地点、类别、时间、区域在内 的情境信息嵌人到一个统一的隐空间中，能够抓住 多种类型的情境信息用于轨迹数据挖掘，此外，分布 式表示技术通过刻画相关因素之间的距离以及联 系，可以增加模型的可解释性.H u a n g等人[12?]提出了一种神经概率模型用于基于情境的引用推荐.首 先用一个词语序列来表示情境，然后利用词分布式 表示学习方法学习情境和文档的向量表示，最后通 过神经概率模型联合情境和文档的向量表示来产生 文章推荐.F a n g等人[124]提出了一种E n co nd er-D eco nder结构来解决情境感知的引用推荐问题，在解码器中，作者采用了一个基于C N N的深度模型 来学习情境数据的隐表示，在解码器中，作者利用一 个R N N来生成引用的文章标题，同时利用作者的 元数据构建了一个作者网络来抓住作者的自身偏 好，采用注意力机制抓住不同部分输人对生成文章 标题的重要性.U n g e r等人[121]将情境信息分为清晰 情境信息和隐情境信息，首先采用深度自编码器从各种类型的、粗糙的情境数据中提取隐情境表示，然后采用隐因子模型融合隐情境表示、清晰的情境信 息和用户对项目评分数据构建一个评分模型来进行 评分预测，通过融人隐情境信息提升了推荐系统的 质量.R a w a t等人[60]利用深度神经网络模型研究了 融合用户情境信息的图像标签推荐问题，同时考虑 了用户情境信息和图像语义信息.主要思路是采用 深度卷积神经网络学习图像的语义表示，采用一个 深度神经网络学习用户的情境表示，最后联合两方 面的表示，将标签推荐问题作为一个多标记分类问 题进行标签推荐:

总的来说，深度学习应用于情境感知的推荐系 统中.一方面，在很多复杂推荐场景中，通过深度学 习方法能够有效融人情境信息到推荐系统中；另一 方面，通过深度学习获取情境信息的隐表示，并在此 基础上进行情境感知的推荐，能够有效融人各类粗 糙的情境数据，缓解情境感知的推荐系统中的数据 稀疏问题.但同时，由于情境数据被表示为隐情境，模型面临可解释性不足的问题.

4.6应用比较

基于深度学习的推荐方法能够融人多源异构数 据进行推荐，包括用户的显式反馈或隐式反馈数据、用户画像和项目内容数据、用户生成内容等.深度学 习方法通过将多源异构数据作为输人从而采用一个 端到端的模式自动训练预测模型，能够有效融人多 源异构数据到推荐系统中，从而缓解传统推荐系统 中面临的数据稀疏和冷启动问题，并提升推荐系统 的能力.其主要的优势表现在：％)可以避免复杂的 人工特征工程[5’53’61]，尤其是面对图像、视频等非结 构化数据，深度学习的表示学习能力能够帮助从非 结构化数据中提取特征信息"％)可以学习非线性 的多层次抽象特征表示，而且获取的特征通常是稠 密和低维的，这是传统浅层模型所不具备的[9,2933]" %)可以克服不同数据之间的异构性，将各类粗糙 的原始数据作为输人来学习用户和项目的隐表 示[>，8，17,80]•但同时也存在一些不足：％)可扩展性问 题.当前，虽然深度学习在Y o u T u b e视频推荐[]、G o o g le的A p p推荐[9]和Y a h o o的新闻推荐[94]等实

际场景中得到了应用，但由于其模型复杂往往需要 长的训练时间，如何平衡模型可扩性和复杂度仍然 是一个大的问题；％)可解释性问题•深度学习模型 往往类似于一个黑盒，容易带来推荐系统可解释性 不足的问题，如何在增强推荐能力的同时增强可解 释性仍然有待深人研究.总的来说，基于深度学习的推荐系统利用深度 型以及推荐对象等方面存在着差异.表2列出了学习方法学习用户和项目的隐表示，从而实现项目 5个主要研究方向在深度学习模型、数据类型方面推荐，但是不同类型的方法在深度学习模型、数据类 的区别，以及各自的优点和面临的难点问题.

7期黄立威等：基于深度学习的推荐系统研究综述 11

表2深度学习在不同推荐系统中的应用比较

应用方向深度学习模型数据类型主要优点主要难点

深度学习在基于 内容的推荐系统 中的应用M L P、C N N、R N N、

D B N等

用户的显式反馈或隐式

反馈数据、用户画像和

项目内容数据，以及各

种类型的用户生成内容

1自动的用户和项目特征提取

2.不存在新项目的冷启动问题

3.高的可扩展性

1新用户冷启动问题

2.不能为用户发现多样的感兴趣

的资源

深度学习在协同 过滤中的应用R B M、A E、C N N、

N A D E、R N N、

G A N等

用户与项目之间的显式

反馈或隐式反馈数据

(如评分矩阵）

1系统自动化程度高

2.推荐结果丰富

3.能够实现非线性特征建模

1数据稀疏问题

2.新用户和新项目冷启动问题

深度学习在混合 推荐中的应用A E、C N N、R N N、

M L P等

用户的显式反馈或隐式

反馈数据、用户画像和

项目内容数据，以及各

种类型的用户生成内容

1不存在冷启动问题

2.不受数据稀疏问题约束

3.有效利用辅助数据提升推荐

性能

1异构数据的有效特征表达

2 各类推荐算法的混合

深度学习在基于 社交网络的推荐 系统中的应用R B M、A E、分布式

表示技术、C N N、

R N N、M L P等

用户与项目之间的显式

反馈或隐式反馈数据、

用户的社会化关系数

据，以及时间、位置等情

境数据

1缓解推荐系统的数据稀疏问题

2.缓解推荐系统的冷启动问题

3.能够建模社会化关系影响和

用户行为序列模式

1探索更多基于深度学习的模型架

构来有效建模社会化关系影响

2.位置社交网络中，如何同时融合

用户移动模式、社会化影响、时

间影响、位置影响等多种要素

深度学习在情境 感知的推荐系统 中的应用分布式表示技术、

A E、R N N、M L P等

用户与项目之间的显式

反馈或隐式反馈数据，

用户的情境信息（时间、

地点、天气等）

1能够融合各种类型的情境数据

2 能够实现情境数据的有效表示

1确定不同情境信息的作用程度

2.提升情境模型的可解释性

5基于深度学习的推荐系统研究趋势展望

随着大数据时代的不断深人，深度学习在推荐 系统中的应用已经受到学术界和工业界越来越多的 重视，基于深度学习的推荐系统研究已经成为当前 的研究热点.但是基于上面的讨论可以看到，目前深 度学习在推荐系统中的应用仍处于起步阶段，在未 来必将会有更多、更广泛的尝试[125].以下总结了五 个可能的研究方向.

(1)深度学习与现有推荐方法的结合

传统的推荐方法，包括基于内容的方法和协同 过滤方法，都采用浅层模型进行预测，依赖于人工特 征提取，很难有效学习到深层次的用户和项目隐表 示.通过利用深度学习模型融合广泛的多源异构数 据，包括社会化关系、用户或项目属性、以及用户的 评论和标签信息等，能够学习到更加抽象、更加稠密 的用户和项目的深层次表示，同时采用深层神经网 络结构构建预测模型也能够更好地抓住用户和项目 之间交互的非线性结构特征+5].但同时，传统的推 荐方法，具有简单、可解释性强等优势.因此，将深度 学习与现有推荐方法结合，能够融合两种方法的优 势，虽然目前已有相关研究出现，但这个方向仍值得更多的研究者加以关注.

%)基于深度学习的跨领域信息融合的推荐

随着数据获取能力的不断提升，用户在不同领 域的历史记录或项目在不同领域的信息能够被获 取.例如，一个用户可能在多个社交媒体平台上注册 账号，融合用户在不同平台上的数据能够进行跨领 域信息融合的推荐，帮助克服单一领域信息的不足，从而有效缓解传统推荐系统中的数据稀疏和冷启动 问题，同时利用多个领域数据能够更好地发现用户 的个性化偏好.针对跨领域推荐问题的研究，当前最 主要的研究方法包括基于协同过滤的方法[126]、基于迁移学习的方法[127]和基于张量分解的方法[128]等.但是，这些方法都只针对不同领域中特定类型的 信息进行融合，适应性非常有限.当前，利用深度学 习技术，通过将各类数据通过嵌人式表示等方法作 为统一输人，构建深层预测模型能够有效融合各种 不同类型的、跨平台的异构数据进行推荐，已经在 G〇〇g le[8]和微软[1%]等互联网公司的实际系统中被 应用.未来，通过构建深度学习模型来实现跨领域信 息融合的推荐将是学术界和工业界研究的重点方向

(3)注意力机制与基于深度学习的推荐系统的结合

基于注意力机制的深度学习是人类视觉中的选 择注意力机制与深度神经网络的结合，目前在计算12计算机学报2018 年

机视觉、自然语言处理等领域取得了巨大成功.当前，注意力机制已经被应用于M L P、R N N、C N N和 其它深度学习模型，其中最为引人关注的是基于注意力的R N N和基于注意力的C N N.基于注意力的 R N N能够更好地建模序列数据中的长期记忆，基于 注意力的C N N能够从输人中识别与问题最具有信息量的部分.将注意力机制应用到在推荐系统中，能够帮助推荐系统抓住项目中最具有信息量的特征，推荐最具有代表性的项目，同时增强模型的可解释性[110].当前，注意力机制已经在Hashtag 推荐[87,88,91，92]、文章推荐[9。]、多媒体推荐[110]、引用 推荐+124]等问题中得到了应用.但是总的来说，目前 的研究还比较少，未来还待更深人和更广泛的研究.

(4) 新的深度学习推荐系统架构

对于推荐系统来说，涉及到不同的推荐对象和 推荐场景，例如电影推荐、音乐推荐、图像推荐、商品 推荐、地理位置推荐等等.一方面，针对所有任务构 建统一的深度学习推荐模型几乎是不可能的，需要 根据不同的推荐场景考虑不同的数据构建新的深度 学习框架来产生推荐，包括推荐项目的具体内容信息，推荐系统中涉及的辅助数据(评论、标签、用户画 像信息、用户的社会化关系等&以及推荐的情景信 息（时间、位置等）等，因此，面对新的推荐场景需要设计新的深度学习推荐系统架构.另一方面，当前的 推荐系统需要建模的要素众多，不仅仅包括用户与 项目之间的交互数据，还涉及到用户行为的时空序列模式、社会化关系影响、用户偏好的动态演化和项 目特征的动态变化等，建模更多的要素能够提升推荐系统的性能.因此，研究能够表达和融合多种要素 的、新的深度学习架构也是未来的研究方向之一.

(5)基于深度学习的推荐系统的可解释性

推荐系统除了直接展示推荐结果之外，往往还要展示恰当的推荐理由来告诉用户为什么系统认为 这样的推荐是合理的.提升推荐系统的可解释性可以提高用户对推荐结果的接受度，同时也可以提高 用户在系统透明度、可信度、可辨性、有效性和满意 度等方面的体验.已有的推荐方法使用主题模型学习到的话题+04]以及显式的物品特征+129]来加强可解释性.但是，基于深度学习推荐系统采用端到端的 模型直接将多源异构数据作为输人预测用户对项目 的偏好，模型训练的结果是给出深度神经网络的结构和神经元之间的连接权重，很难对推荐结果直接给出合理的解释.因此，有必要从数据、模型和经济 意义等层面上进行研究，提升基于深度学习的推荐系统的可解释性.

6结束语

在互联网迅猛发展的今天，随着互联网用户对 信息需求的日益膨胀，“信息过载”问题逐年升温，推 荐系统在各个领域的数字化进程中扮演着越来越重 要的角色.将深度学习技术融人推荐系统中，开展基 于深度学习的推荐系统研究，通过从海量数据中学习用户和项目的隐表示，然后构建推荐模型，最终向 用户产生有效的推荐列表.与传统的推荐系统相比，基于深度学习的推荐系统能够利用深度学习技术通 过融合各种类型的多源异构数据，自动学习用户和 项目抽象的隐藏特征，建模用户行为中的序列模式，能够更有效地反映用户的不同偏好以及提高推荐的 准确性.本文在分析传统推荐算法所存在问题的基础上，介绍和分析了基于深度学习的推荐系统的研究现状和进展，并讨论了今后的发展方向，希望 能对相关领域的研究人员和工程技术人员提供有益的帮助:

参考文献

+ 1] M a rz N，W arren. J. B ig D a ta：P rin cip le s and Best Practices o f Scalable R ea ltim e D ata System s. G re e n w ic h，U S A：

M a n n in g P u b lica tio n s C o.，2015

+ ]G antz J，R einsel D. T h e D ig ita l U n iv e rs e in2020 ：B ig D a ta，

B igger D ig ita l S h a do w s，and B iggest G ro w th in the F a r East.

I D C iV ie w:ID C A n a lyze the fu tu r e，2012，2007 (2012):

1-16

[3]A d o m a vicius G，T u z h ilin A. T o w a rd the n e x t g eneration o f

recom m ender sy s te m s：A survey o f the s ta te-o f-th e-a rt and

possible extensions. IE E E T ra n sa ctio n s on K n o w le d g e and

D ata

E n g in e e rin g，2005，17(6): 734-749

[4]W a n g H，W ang N，Y e u ng D Y. C o lla b o ra tive deep lea rn in g

fo rre c o m m e n d e r syste m s//P ro c e e d in g s o f the 21st A C M

S IG K D D In te rn a tio n a l C onference on K n o w e d g e D iscovery

and D ata M in in g. S y d n e y，A u s tr a lia，2015：1235-1244

[5]Zhang F，Y u a n N J，L ia n D，et al. C o lla b o ra tive know ledge

base em bedding fo r recom m ender syste m s//P ro c e e d in g s o f

the 22nd A C M S IG K D D In te rn a tio n a9Conference on

K n o w le d g e D iscovery and D ata M in in g. San F ra n c is c o，

U S A，2016：353-362

[6]LeC u n Y，Bengio Y，H in to n G. Deep lea rn in g. N a tu re，

2015, 521(7553)：436-444

[7]Peng Y，Zhu W，Zhao Y，et a l C ross-m edia analysis and

reasoning ：A dvances and dire ctio n s. F ro n tie rs o f In fo rm a tio n

T e ch n o lo g y d E le c tro n ic E n g in e e rin g，2017, 18(1) ：44-57

黄立威等：基于深度学习的推荐系统研究综述13 #期

[8]C ovington. P» A dam s J» Sargin. E. Deep neu ra l n e tw o rk s fo r

yo u tu b e re co m m e n d a tio n s//P ro ce e d in g s o f the 10th A C M

C onference on R ecom m ender System s. B o s to n，U S A，2016:

191-198

[9]Cheng H T，K o c L，H arm se n J，et al. W id e d deep lea rn in g

fo r recom m ender syste m s//P ro c e e d in g s o f the 1st W o rk s h o p

on Deep L e a rn in g fo r Recom m ender System s. B o s to n，U S A，

2016：7-10

[10]W u C Y» A hm ed A» B eutel A» et al. R ecurrent recom m ender

n e tw o rk s//P ro c e e d in g s o f the 10th A C M In te rn a tio n a l

C onference on W eb Search and

D ata M in in g. C a m b rid g e，

U K，2017: 495-503

[11]E lk a h k y A M，Song Y，H e X. A m u lti-v ie w deep lea rn in g

approach fo r cross d o m a in u s e r m o de lin g in recom m endation

syste m s//P ro c e e d in g s o f th e24th In te rn a tio n a l Conference

on W o rld W id e W eb. F lo re n c e，I t a ly，2015: 278-288

[12]S o n g Y，E lk a h k y A M( H e X.M u lti-ra te deep le a rn in g fo r

te m p o ra l re c o m m e n d a tio n//P ro c e e d in g s o f the 39th in te rn a­

tio n a l A C M S IG IR C onference on R esearch a n d D e v e lo p m e n t

in In fo rm a tio n R e trie v a l. P is a，I t a ly，2016: 909-912

[13]V a sile F» S m irnova E» Conneau A. M e ta-P ro d2V e c：P ro du ct

em beddings using s id e-in fo rm a tio n fo r re c o m m e n d a tio n//

Proceedings of the A C M Conference on Recommender System s.

B o s to n，U S A( 2016: 225-232

[14]G rb o vic M，R a d o s a v lje v ic V，D ju r ic N, et al. E-com m erce in

y o u r in b o x: P ro d u c t recom m endations at s c a le//P ro cee d in g s

o f th e21st A C M S IG K D D In te rn a tio n a l C onference on

K n o w le d g e D isco ve ry and D ata M in in g. S y d n e y，A u s tra lia，

2015!1809-1818

[15]H s ie h C K，Y a n g L，C ui Y，e t a l C o lla b o ra tive m e tric

le a rn in g//P ro c e e d in g s o f the 26th In te rn a tio n a l Conference

on W o rld W id e W eb. P e rth, A u s tra lia, 2017：193-201

[16]R oy S，G u n tu k u S C. L a te n t fa c to r re pre se n ta tion s fo r cold-

s ta rt video re c o m m e n d a tio n//P ro c e e d in g s o f the 10th A C M

C onference on R ecom m ender System s. B o s to n，U S A，2016:

99-106

[17]L i S，K a w a le J，F u Y. Deep c o lla b o ra tive filte rin g via

m arginalized denoising a u to-e n c o d e r//P ro c e e d in g s o f the 24th

A C M In te rn a tio n a l on Conference on In fo rm a tio n and

K n o w le d g e M anagem ent. M e lb o u rn e，A u s tra lia，2015: 811­

820

[18]Z h e n g L，N o r o o z iV，Y u P S.J o in t deep m o de lin g o f users

and item s using review s fo r re c o m m e n d a tio n//P ro c e e d in g s o f

the 10th A C M In te rn a tio n a l C onference on W eb Search and

D ata M in in g. C a m b rid g e，U K( 2017: 425-434

[19]Bansal T(Belanger D, M cC allum A. A s k the G R U: M u lti­

task e a rn in g fo r deep te x t recom m endations//P roceedings of

the 10th A C M Conference on Recom m ender Systems. B o s to n，

U S A，2016: 107-114

[20]W u Y» D uB ois C» Zheng A X, et al. C o lla b o ra tive denoising

auto-encoders fo r top-n recom m ender s y s te m s//P ro c e e d in g s

o f th e9th A C M In te rn a tio n a l Conference on W eb Search and

D ata M in in g. San F ra n c is c o, U S A, 2016: 153-162[21]S u X，K h o s h g o fta a r T M.A survey o f co lla b ora tive filte rin g

techniques. Advances in A r t if ic ia l In telligence, 2009, 2009: 4 [22]V e r b e r t K，M anouselis N» Ochoa X，et a l C on te xt-aw a re

recom m ender system s fo r le a rn in g: A survey and fu tu re

challenges. IE E E T ra n sa ctio n s on L e a rn in g T e c h n o lo g ie s，

2012, 5(4) : 318-335

[23]M ooney R J，R oy L. C ontent-based b oo k recom m ending

using le a rn in g fo r te x t ca te g o riz a tio n//P ro c e e d in g s o f the 5th

A C M C onference on D ig ita l lib ra rie s. San A n to n io, U S A,

2000!195-204

[24]Breese J S，H ecke rm a n D，K adie C. E m p iric a l analysis o f

p red ictive a lg o rith m s fo r c o lla b o ra tive filte rin g//P ro c e e d in g s

o f the 14 th Conference o n U n c e rta in ty in A rtific ia l Intelligence.

M a d is o n，U S A( 1998: 43-52

[25]Balabanovic M，Shoham Y. F a b: C ontent-based»collaborative

recom m endation. C om m unications o f the A C M, 1997, 40(3):

66-72

[26]S chafer J B，K o n s ta n J，R ie d l J. Recom m ender system s in

e-c o m m e rc e//P ro c e e d in g s o f the 1st A C M Conference on

E le c tro n ic C om m erce. D e n ve r, U S A, 1999: 158-166

[27]S ilv e r D» H ua n g A，M add iso n C J，et a l M a s te rin g the

game o f Go w ith deep neural n e tw o rk s and tree s e a r c h:

N a tu re，2016, 529(7587): 484-4

[28]W u Y» S chuster M,C hen Z» et a l G o o g le’s neural m achine

tra n s la tio n system: B rid g in g the gap betw een hum an and

m achine tra n s la tio n. a rX iv p re p rin t a rX iv: 1609. 08144，2016

[29]W a n g R, F u B, F u G，et al. Deep d cross n e tw o rk fo r ad

c lic k predictions. a rX iv p re p rin t a rX iv: 1708. 05123，2017

[30]Shan Y，H oens T R，Jiao J，et a l Deep crossing: W eb-scale

m o de lin g w ith o u t m a n u a lly c ra fte d c o m b in a to ria l fe a tu re s//

Proceedings o f the 22nd A C M S IG K D D In te rn a tio n a l

C onference on K n o w le d g e

D isco ve ry and D ata M in in g. San

F ra n c is c o，U S A, 2016: 255-262

[31]Zhu J»Shan Y，M ao J C，et a l Deep em bedding fo re s t:

F o re s t-b a s e d s e rv in g w ith deep em bedding features. a rX iv

p re p rin t a rX iv: 1703. 05291，2017

[32]G uo H, T a n g R( Y e Y( et a l D e e p F M: A fa c to riz a tio n-

machine based neural netw o rk fo r C T R prediction//P roceedings

o f the 26th In te rn a tio n a l J o in t Conference on A r tific ia l

In te llig e nce. M e lb o u rn e, A u s tra lia, 2017: 1725-1731

[33]Z hou G，Song C，Z hu X，et a l Deep in te re s t n e tw o rk fo r

c lic k-th ro u g h rate p re

d ictio n. a rX iv p r

e p rin t a rX iv: 1706.

06978, 2017

[34]W illia m s D，H in to n G. L e a rn in g representations by back-

prop a g atin g e rrors. N a tu re, 1986，323(6088): 533-538 [35]B e n g io Y，L a m b lin P，P o p o v id D，et a l G reedy laye r-w ise

tra in in g o f deep n e tw o rk s//P ro c e e d in g s o f the A dvances in

N eural In fo rm a tio n P ro c e s s in g Systems. V a n co u ve r，C anada，

2007, 19: 153

[36]V in c e n t P，L a ro ch e lle H，Bengio Y» et a l E x tra c tin g and

com posing ro b u s t features w ith denoising autoencoders//

Proceedings o f the 25 th In te rn a tion a l Conference on M achine

L ea rn ing. H e ls in k i( F in la n d( 2008 : 1096-110314计算机学报2018 年

[37]Sedhain S，M e no n A K，S a n e r S，et al. A u to re c: A u to e n­

coders m eet c o lla b o ra tive filte rin g//P ro c e e d in g s o f the 24th

In te rn a tio n a l C onference on W o rld W id e W eb. F lo re n c e，

I t a ly，2015: 111-112

[38]W a n g H，S hi X，Y e ung D Y. C o lla b o ra tive re c u rre n t

a u to en co d er：R ecom m end w h ile lea rn in g to f i ll in the blanks

//P ro ce e din gs o f the Advances in N e u ra l In fo rm a tio n

Processing System s. B a rcelo n a，S p a in，2016: 415-423

[39]W a n g H»S hi X, Y e u ng D Y. R e la tio n a l stacked denoising

autoencoder fo r tag re com m e n d atio n//Proceedings o f the

29th C onference on A r tific ia l In te llig e nce. A u s tin，U S A，

2015!3052-3058

[40]D ong X, Y u L，W u Z，et a l A h y b rid c o lla b o ra tive filte rin g

m odel w ith deep s tru c tu re fo r recom m ender s y s te m s//

Proceedings o f the 31st A A A I C onference on A r tific ia l

In te llig e nce. S a n F ra n c is c o, U S A, 2017：1309-1315

[41]W e iJ，H e J，C h e n K，et a l C o lla b o ra tive filte rin g and deep

lea rn in g based recom m endation system fo r cold s ta rt item s.

E x p e rt System s w ith A p p lic a tio n s, 2017, 69: 29-39

[42]L i X，She J. C olla b o ra tiv e V a ria tio n a l A u to e nco d e r fo r

Recom m ender S ystem s//P roceedings of the 23rd A C M S IG K D D

In te rn a tio n a l C onference on K n o w le d g e D iscovery and D ata

M in in g. H a lifa x，C anada，2017: 305-314

[43]H in to n G E» S e jn o w ski T J. L e a rn in g and R elearning in

B oltzm ann M achines. M assachusetts, U S A: M I T Press, 1986

[44]S m olensky P. In fo rm a tio n Processing in D ynam ical S ystem s:

F o u n da tio ns o f H a rm o n y T h e o ry[P h. D. d is s e rta tio n ].

C olorado U n iv e rs ity at B o u ld e r

D e p a rtm e n t o f C om p u te r

Science，C o lo ra d o，U S A( 1986

[45]H in to n G E:A p ractica l guide to tra in in g re s tric te d

B o ltzm a n n m achines. M o m e n tu m, 2010，9(1):926

[46]S a la k h u td in o v R, M n.ih A,H in to n G. R e s tric te d B o ltz m a n n

m achines fo r c o lla b o ra tive filte rin g//P ro c e e d in g s o f the 24th

In te rn a tio n a l C onference on M achine L ea rn ing. C o rv a lis，

U S A，2007: 791-798

[47]P h u n g D Q，V e n ka te sh S. O rd in a l B o ltzm an n m achines fo r

c o lla b o ra tive filte rin g//P ro c e e

d in g s o f th e25th Conference

on U n c e rta in ty in A r tific ia l In te llig e nce. V ir g in ia，U S A，

2009!548-556

[48]G e o rg ie v K，N ako v P. A n o n-IID fra m e w o rk fo r collaborative

filte rin g w ith re s tric te d B o ltzm a n n m a c h in e s//P ro c e e d in g s o f

the 30th In te rn a tio n a l C onference on M achine Lea rn ing.

A tla n ta，U S A( 2013: 1148-1156

[49]H e J ie-Y u e，M a Bei. Based-on real-valued co nd itio na l

re s tric te d B o ltzm an n m achine and social n e tw o rk^or collabo­

ra tiv e filte rin g. Chinese J o urn a l o fC o m p u te rs»2016, 39(1):

183-195(in C h in e s e)

(何洁月，马贝.利用社交关系的实值条件受限玻尔兹曼机

协同过滤推荐算法.计算机学报，2016, 39(1): 183-195)

[50]N gu ye n T T，L a u w H W. R ep re se ntatio n le a rn in g fo r

h o m o p h ilic p re fe re n ce s//P ro ce e d in g s o f the 10th A C M

C onference on R ecom m ender System s. B o s to n，U S A，2016:

317-324[51]H in to n G E( O sindero S( T e h Y W. A fa s t lea rn in g

a lg o rith m fo r deep

b e lie f nets. N e u ra l C o m p u ta tio n, 2006，

18(7)!1527-1554

[52]Bengio Y. L e a rn in g deep a rchite cture s fo r A I. F o undations

a n d T re n d s®in M a c h in e L e a rn in g，2009，2(1):1-127

[53]W a n g X，W a n g Y. Im p ro v in g content-based and h y b rid

m usic recom m endation using deep le a rn in g//P ro c e e d in g s o f

the 22nd A C M In te rn a tio n a l C onference on M u ltim e d ia.

O rla n d o, U S A( 2014: 627-636

[54]L e C u n Y，Boser B，Denker J S，et al. Backpropagation applied

to h a n d w ritte n zip code re cog n ition. N e u ra l C o m p u ta tio n,

19, 1(4) : 541-551

[55]LeC u n Y» B o tto u L，Bengio Y，et a l G radient-based

lea rn in g applied to docum ent re cog n ition. Proceedings o f the

IE E E，1998, 86(11): 2278-2324

[56]K riz h e v s k y A，S utskever I H in to n G E. Im a g e N e t classifi­

cation w ith deep c o n v o lu tio n a l neural n e tw o rk s//P ro c e e d in g s

o f the Advances in N e u ra l In fo rm a tio n Processing System s.

L ake T a h o e, U S A, 2012: 1097-1105

[57]V a n den O ord A(D ie lem a n S»S chrauw en B. Deep co nte nt-

based m usic re c o m m e n d a tio n//P ro c e e d in g s o f the Advances

in N e u ra l In fo rm a tio n Processing System s. L ake T a h o e，

U S A，2013: 23-2651

[58]G e n g X，Zhang H，B ia n J，et a l L e a rn in g im age and user

features fo r recom m endation in social n e tw o rk s//P ro c e e d in g s

o f th e IE E E In te rn a tio n a l C onference on C om p u te r V is io n.

S a n tiag o, C h ile，2015: 4274-4282

[59]K im D, P ark C, Oh J，et a l Con.volution.tl m a trix factorization

fo r docum ent c o nte xt-a w a re re c o m m e n d a tio n//P ro c e e d in g s o f

the 10th A C M Conference on Recom m ender Systems. B o s to n，

U S A，2016: 233-240

[60]R a w a tY S( K a n k a n h a lli M S. C o n T a g N e t : E x p lo itin g user

co n te x t fo r im age tag re c o m m e n d a tio n//P ro c e e d in g s o f the

2016 A C M on M ultim edia Conference. A m sterdam, N etherland,

2016 1102-1106

[61]L e i C，L iu D，L i W，et a l C om p a ra tive deep lea rn in g o f

hybrid representations fo r image recom m endations//Proceedings

o f the IE E E C onference on C om p u te r V is io n and P a tte rn

R ecognition. Las V egas, U S A, 2016: 2545-2553

[62]W a n g S，W a n g Y，T a n g J，et a l W h a t y o u r images reveal :

E x p lo itin g visual contents fo r poin.t-of-in.terest recom m endation

//P ro c e e d in g s o f the 26th In te rn a tio n a l C onference on W o rld

W id e W eb. W e ste rn A u s tra lia，2017: 391-400

[63]S utskever I，V in y a ls O，Le Q V. Sequence to sequence

lea rn in g w ith neural n e tw o rk s//P ro c e e d in g s o f the Advances

in N eu ra l In fo rm a tio n Processing Systems. M o n tre a l，C anada，

2014: 3104-3112

[]G raves A» J a itly N. T o w a rd s end-to-end speech re co g n itio n

w ith re c u rre n t n e u ra9n e tw o rk s//Proceedings o f the 31st

In te rn a tio n a l C onference on M achine L ea rn ing. B e ijin g»

C h in a，2014: 17-1772黄立威等：基于深度学习的推荐系统研究综述15 #期

[65]K a r p a t h y A，F e i-F e i L. Deep visua l-sem a n tic a lig n m e n ts fo r

gen e ra ting im age d e s c rip tio n s//P ro c e e d in g s o f the IE E E

C onference on C om p u te r V is io n and P a tte rn R ecognition.

B o s to n，U S A，2015: 3128-3137

[66]H o c h re ite r S，S chm idhuber J. L o n g s h o rt-te rm m em ory.

N eu ra l C o m p u ta tio n, 1997，9(8) ：1735-1780

[67]Cho K(V a n M e rrie n b o e r B( Bahdanau D( et al. O n the

p rop e rtie s o f neu ra l m achine tra n s la tio n: Encoder-decoder

approaches. a rX iv p re p rin t a r X iv：1409. 1259, 2014

[68]W e sto n J，C hopra S» Bordes A. M e m o ry n e tw o rk s. a rX iv

p re p rin t a rX iv: 1410. 3916，2014

[69]J o u lin A,M ik o lo v T. In fe rrin g a lg o rith m ic p a tte rn s w ith

stack-augm ented re curre n t n ets//P ro ce e din g s o f the Advances

in N eu ra l In fo rm a tio n Processing Systems. M o n tre a l，C anada，

2015：190-198

[70]G raves A» W ayne G» D an ih elka I. N e u ra l tu rin g machines.

a rX iv p re p rin t a r X iv： 1410. 5401, 2014

[71]G raves A» W ayne G» R eynolds M» et al. H y b rid co m pu tin g

using a neural n e tw o rk w ith d ynam ic e xte rn a l m em ory.

N a tu re，2016, 538(7626): 471-476

[72]L iu Q，W u S，W a n g L，et al. P re d ic tin g the n e x t lo c a tio n：

A re c u rre n t m odel w ith spatial and te m p o ra l co n te xts//

Proceedings o f the 30th A A A I C onference on A r tific ia l

In te llig e nce. P h o e n ix，U S A，2016: 194-200

[73]L iu Q, W u S，W ang L. M u lti-b e h a v io ra l sequential predic­

tio n w ith re c u rre n t lo g-b ilin e a r m odel. IE E E T ra n sa ctio n s on

K n o w le d g e and D ata E n g in e e rin g, 2017，29(6): 1254-1267 [74]Y a n g C, Sun M(Zhao W X，et a l A neural n e tw o rk

approach to jo in tly m o de lin g social n e tw o rk s and m o bile

tra jecto rie s. A C M T ra n sa ctio n s on In fo rm a tio n S yste m s，

2017, 35(4): 36

[75]H id a ri B» K a ra tz o g lo u A，B a lt r u n a s L，et a l Session-based

recom m endations w ith re c u rre n t neural n e t w o r k s:a r X iv

p re p rin t a rX iv: 1511. 06939, 2015

[76]T a n Y K，X u X，L iu Y.Im p ro ve d re c u rre n t neu ra l n e tw o rk s

fo r session-based re co m m e n d a tio n s//P ro ce e d in g s o f the 1st

W o rk s h o p on Deep L e a rn in g fo r R ecom m ender System s.

B o s to n，U S A，2016: 17-22

[77]W u C，W ang J，L iu J，et a l R e c u rre n t neu ra l n e tw o rk based

recom m endation fo r tim e heterogeneous feedback. K no w le dg e-

Based S yste m s( 2016，109: 90-103

[78]D a i H，W ang Y，T riv e d i R，et al. R e c u rre n t co evo lu tion a ry

feature embedding processes fo r recom m endation//P roceedings

o V th e1st W o rk s h o p on Deep L e a rn in g V o r R ecom m ender

System s. B o s to n，U S A，2016: 29-34

[79]H ua n g P S»H e X，Gao J，et a l L e a rn in g deep s tru c tu re d

sem antic m o d e ls V o r w eb search using c lic k th ro u g h data//

Proceedings o f the 22nd A C M In te rn a tio n a l C onference on

C onference on In fo rm a tio n d K n o w le d g e M anagem ent. San

F ra n c is c o，U S A，2013: 2333-2338

[80]X u Z，Chen C» L uka sie w icz T» et a l T a g-aw a re personalized

recom m endation using a deep-sem antic s im ila rity m odel w ith

negative sa m pling//P ro cee d ing s of the 25t h A C M In te rn a tion a l

on Conference o n In fo rm a tio n and K now ledge M anagem ent.

In d ia n a p o lis，U S A，2016: 1921-1924

[81]C h e n C，M e n g X，X u Z，et a l L oca tio n-aw a re personalized

news recom m endation w ith deep sem antic analysis. IE E E

A ccess，2017，5(99): 1624-1638

[82]H e X，Liao L,Zhang H, et al. N eural collaborative filte rin g

//P ro c e e d in g s o f the In te rn a tio n a l Conference on W o rld W ide

W eb. P e r th，A u s tra lia，2017: 173-182

[83]R endle S. F a c to riz a tio n m a c h in e s//P ro c e e d in g s o f the 2010

IE E E10th In te rn a tion a l Conference on Data M in in g. S ydney，

A u s tra lia, 2010: 995-1000

[84]Q u Y，C ri H，R en K，et a l P roduct-based neural n e tw o rk s

fo r user response p re d ic tio n//P ro c e e d in g s o f the 2016 IE E E

16th in te rn a tio n a l Conference on D ata M in in g. B a rcelo n a，

S p a in，2016: 1149-1154

[85]H e X，C hua T S. N e u ra l fa c to riz a tio n m achines fo r sparse

p red ictive a n a ly tic s//P ro c e e d in g s o f th e40th In te rn a tio n a l

A C M S IG IR C onference on Research and D evelopm ent in

In fo rm a tio n R e trie v a l. T o k y o，Ja pa n，2017: 355-3

[86]X iao J，Y e H，H e X，et al. A tte n tio n a l fa c to riz a tio n

m a chin e s: L e a rn in g the w e ig h t o f fe a tu re in te ra c tio n s via

a tte n tio n n e tw o rk s//P ro c e e d in g s o f the 26th In te rn a tio n a l

J o in t C onference on A r tific ia l In te llig e nce. M e lb o u rn e，

A u s tra lia，2017: 3119-3125

[87]G ong Y» Zhang Q. H ash ta g recom m endation using a tte n tio n-

based c o n vo lu tio n a l neu ra l n e tw o rk//P ro c e e d in g s o f the 25th

In te rn a tio n a l J o in t Conference on A r tific ia l In te llig e nce. N ew

Y o r k，U S A，2016: 2782-2788

[88]Z h a n g Q，W ang J，H u a n g H，et a l H ashtag recom m endation

fo r m u ltim o d a l m ic ro b lo g using c o-a tte n tio n n e tw o rk/ /

Proceedings o f the 26th In te rn a tio n a l J o in t C onference on

A r tific ia l In te llig e nce. M e lb o u rn e, A u s tra lia, 2017: 3420­

3426

[]Seo S，H ua n g J，Y a n g H，et a l R ep re se ntatio n le a rn in g o f

users and ite m s fo r re vie w ra tin g p re d ic tio n using a tte n tio n-

based co nv o lu tio n a l neu ra l n e tw o rk//P ro c e e d in g s o f the 3rd

In te rn a tio n a l W o rk s h o p on M achine L e a rn in g M e th o ds fo r

R ecom m ender System s (S D M —7). H u s to n, U S A, 2017 [90]W a n g X, Y u L,R e n K, et al. D ynam ic a tte n tio n deep m o d ll

fo r a rtic le recom m endation by le a rn in g hum an e d ito rs-

d e m o n s tra tio n//P ro c e e d in g s o f the 23rd A C M S IG K D D

In te rn a tio n a l C onference on K n o w le d g e D iscovery and D ata

M in in g. H a lifa x，C anada，2017: 2051-2059

[91]L i Y，L iu T，Jiang J, et al. H ash ta g recom m endation w ith

to p ica l a tte n tio n-b a se d L S T M//P ro c e e d in g s o f th e26th

In te rn a tio n a l C onference on C o m p u ta tio n a l L in g u is tic s.

O sa ka，Ja pa n，2016: 3019-3029

[92]H u a n g H，Z h a n g Q，G o n g Y，et a l H ashtag recom m endation

using end-to-end m em ory n etw o rks w ith hierarchical atte n tio n

//P ro c e e d in g s o f the 26 th In te rn a tio n ll Conference on

C om putational Linguistics. O saka，Japan，2016: 943-95216计算机学报2018 年

[93]H u a n g H，Z h a n g Q，Huang X, et al. Mention, recommendation,

fo r tw itte r w ith end-to-end m e m ory n e tw o rk//P ro c e e d in g s

o f the 26th In te rn a tio n a l J o in t C onference on A r tific ia l

In te llig e nce. M e lb o u rn e, A u s tra lia, 2017；1872-1878

[94] O k u ra S，T a g a m i Y，O no S，et al. Em bedding-based news

recom m endation fo r m illio n s o f u se rs//P ro c e e d in g s o f the

23rd A C M S IG K D D In te rn a tio n a l C onference on K n o w le dg e

D iscovery and D ata M in in g. H a lifa x, C anada, 2017 ；1933­

1942

[95] S tru b F，M a ry J. C o lla b o ra tive filte rin g w ith stacked

denoising A u to E n cod e rs and sparse in p u ts//P ro c e e d in g s o f

the N IP S W o rk s h o p on M achine L e a rn in g fo r eCommerce.

M o n tre a l，C anada，2015

[96] Z h u a n g F，L uo D，Y u a n N J，et al. R ep re se ntatio n lea rn in g

w ith p air-w ise co nstra in ts fo r c o lla b o ra tive ra n k in g/ /

Proceedings o f the 10th A C M In te rn a tio n a l C onference on

W eb Search and D ata M in in g. C a m b rid g e，U K( 2017: 567­

575

[97] M ik o lo v T，S u tske ve r I，Chen K，et al. D is trib u te d re pre­

sentations o f w ord s and phrases and th e ir c o m p o s itio n a lity//

Proceedings o f the Advances in N eural In fo rm a tio n Processing

System s. L a k e T a h o e, U S A, 2013；3111-3119

[98] W a n g P，G uo J，L a n Y，et al. L e a rn in g h ie ra rch ica l repre­

sentation m odel fo r n ext basket recom m endation//P roceedings

o f the 38 th In te rn a tion a l A C M S IG IR Conference on Research

and D evelopm ent rn In fo rm a tio n R e trie v a l. S a n tia g o，C h ile，

2015；403-412

[99] M n ih A，H in to n G. Three new g ra p h ia l models fo r statistical

language m o d e llin g//P ro c e e d in g s o f the 24th In.te rn a tio n a l

C onference on M achine L ea rn ing. C o rv a llis，U S A，2007 ；

1-8

[100] W ang J( Y u L(Zhang W( et a l IR G A N；A m in im a x game fo r u n ifyin g generative and discrim inative in fo rm a tio n retrieval

m o d e ls//P ro c e e d in g s o f the 40th In te rn a tio n a l A C M S IG IR

C onference on R esearch and

D evelopm ent in In fo rm a tio n

R e trie v a l. T o k y o, Japan, 2017；515-524

[101] L a r o c h e lle H，M u rra y I. T h e neural autoregressive d is tri­

b u tio n e stim a to r. J o urn a l o f M achine L e a rn in g Research,

2011，15: 29-37

[102] C la u s e tA，N ew m a n M E J，M o ore C. F in d in g c o m m u n ity s tru c tu re in ve ry large n e tw o rk s. P hysical R evie w E» 2004，

70(6) ；066111

[103] Z h e n g Y，T a n g B，D in g W，et al. A neural autoregressive approach to co lla b ora tive filte rin g//P ro c e e d in g s o f the 33rd

In te rn a tio n a l C onference on M achine L ea rn ing. N e w Y o r k，

U S A，2016: 7-773

[104] W ang C» B lei D M. C o lla b o ra tive to p ic m odeling :^or recom­m ending scie n tific a rtic le s//P ro c e e d in g s o f the 17th A C M

S IG K D D In te rn a tio n a l C onference on K n o w le d g e D iscovery

and D ata M in in g. San D iego, U S A, 2011；448-456

[105] Y in g H，Chen L»X iong Y»et al. Collaborative deep ra n k in g；

A h y b rid^^ir-w is e re com m endation .algorithm w ith im p lic it

fe e d b a ck//P ro ce e d in g s o f the 20th P a cific-A sia Conference

on K n o w le dg e D iscovery and D ata M in in g. A u c k la n d，N ew

Z e a la n d，2016；555-567

[106] L i n Y，L iu Z，Z hu X，et a l L e a rn in g e n tity and re la tio n em beddings fo r know ledge grap h c o m p le tio n//P ro c e e d in g s

o f the 29th A A A I C onference on A r tific ia l In te llig e nce.

A u s tin，U S A( 2015；2181-2187

[107] K o re n Y. C o lla b o ra tive filte rin g w ith te m p o ra l dynam ics.

C om m unications o f th e A C M, 2010，53(4)；-97

[108] Chen M, X u Z» W einberger K» et al. M arginalized denoising autoencoders fo r dom ain adaptation. a rX iv p re p rin t a rX iv；

1206.4683, 2012

[109] Rendle S» Freudenthaler C» G an.tnerZ» et a l B P R；Bayesian personalized ra n k in g fro m im p lic it fe e d b a c k//P ro c e e d in g s o f

the 25 th Conference on U n c e rta in ty in A rtific ia l Intelligence.

M o n tre a l，C anada，2009；452-461

[110] Chen J, Zhang H，H e X，et a l A tte n tiv e co lla b ora tive filte rin g；M u ltim e d ia re c o m m e n d a tio n w ith ite m-an d com po­

n en t-le ve l a tte n tio n//P ro c e e d in g s o f the 40th In te rn a tio n a l

A C M S IG IR C onference on R esearch and D evelopm ent rn

In fo rm a tio n R e trie v a l. T o k y o, Japan, 2017；335-344

[111] L i P，W ang Z，Ren Z，et a l N e u ra l ra tin g regression w ith abstractive tips generation fo r recom m endation//P roceedings

of the 40 th In te rn a tio n ll A C M S IG IR Conference on Research

and D evelopm ent in In fo rm a tio n R e trie va l. T o k y o，Ja pa n，

2017!345-354

[112] M a H，Zhou D，L iu C，et a l R ecom m ender system s w ith social re g u la riz a tio n//P ro c e e d in g s o f the 4th A C M In te rn a­

tio n a l C onference on W eb Search and D ata M im ing. H o n g

K o n g，C h in a，2011；287-296

[113] W ang X, H e X，N ie L( et a l Ite m s ilk ro a d；R ecom m ending item s fro m in fo rm a tio n d o m a in s to social u sers//P roceedings

of t^he 40l^h In te rn a tio n il A C M S IG IR Conference on Research

and D evelopm ent in In fo rm a tio n R e trie va l. T o k y o，Ja pa n，

2017!185-194

[114] Zhao W X，L i S，H e Y，et a l C onnecting social m edia to e-co m m e rce；C o ld-s ta rt p ro d u c t recom m endation using

m icroblogging inform a tio n. IE E E T ransactions on K now ledge

a n d D a ta E ngineering, 2016，28(5)；1147-1159

[115] Deng S，H ua n g L，X u G，et a l O n deep le a rn in g fo r tru s t-a w a re recom m endations in social n e tw o rk s. IE E E

T ra n sa ctio n s on N e u ra l N e tw o rk s d L e a rn in g S yste m s，

2017, 28%) ；11

[116] Pan Y，H e F，Y u H. T ru s t-a w a re c o lla b o ra tive denoising auto-encoder fo r to p-N recom m endation. a rX iv p re p rin t

a r X iv；1703. 01760, 2017

[117] Yang C，B ti L( Zhang C，et a l Bridging collaborative filte rin g and sem i-supervised le a rn in g；A neural approach fo r P O I

re c o m m e n d a tio n//P ro c e e d in g s o f the 23rd A C M S IG K D D

In te rn a tio n a l C onference on K n o w le d g e D isco ve ry and D ata

M in in g. H a lifa x，C anada，2017 ；1245-1254黄立威等：基于深度学习的推荐系统研究综述17 #期

[118] Ozsoy M G. F ro m w ord embeddings to item recommendation..

a rX iv p re p rin t a r X iv； 1601. 01356, 2016

[119] Zhao S, Zhao T,K in g I，et al. G e o-T e a ser：G eo-tem poral sequential em bedding ra n k fo r poin.t-of-in.terest recom m en-

d a tio n//P ro c

e e d in g s o

f the 26th In te rn a tio n a l C onference on

W o rld W d e W eb C om panion. P e rth，A u s tra lia，2017：153­

162

[120] L iu Q，W u S，W a n g D，et al. C o n te xt-a w a re sequential re c o m m e n d a tio n//P ro c e e d in g s o f the 2016 IE E E16th

In te rn a tio n a l C onference on D ata M im ing. B a rcelo n a，S p a in，

2016：1053-1058

[121] U n g e r M, B ar A,S hapira B，et al. T o w a rd s la te n t co n te xt- aware recom m endation systems. K now ledge-B ased S ystem s，

2016, 104：165-178

[122] Zhou N，Zhao W X，Zhang X，et al. A general m u lti-c o n te x t em bedding m odel fo r m in in g hum an tra je c to ry data. IE E E

T ra n sa ctio n s on K n o w le d g e and D ata E n g in e e rin g，2016，

28(8) ：1945-1958

[123] H ua n g W，W u Z，L ia n g C，et al. A neural p ro b a b ilis tic model fo r context based citation recom m endation//Proceedings

o f the 29th A A A I C onference on A r tific ia l In te llig e nce.

A u s tin，U S A，2015: 2404-2410

[124] Fang Y，Fang Y. N eu ra l c ita tio n n e tw o rk fo r co nte xt-a w a re

citation recom m endation//Proceedings of the 40th International

A C M S IG IR C onference on Research and D evelopm ent in

in fo rm a tio n R e trie v a l. T o k y o，Ja pa n，2017: 1093-1096 [125] Zhang S，Y ao L，Sun A. Deep le a rn in g based recom m ender syste m：A survey and new perspectives. a rX iv p rep rin t a rX iv：

1707.07435, 2017

[126] S ing h A P，G o rd o n G J. R e la tio n a l lea rn in g via collective m a trix fa c to riza tion//P roce e d in g s o f the 14 th A C M S IG K D D

In te rn a tio n a l C onference on K n o w le d g e D isco ve ry and D ata

M in in g. L a s V e g a s，U S A，2008：650-658

[127] L i B，Y ang Q，X ue X. Can m ovies and books collaborate?

cross-dom ain c o lla b o ra tive filte rin g fo r sp a rs ity re d u c tio n//

Proceedings o f the 21st In te rn a tio n a l J o in t C onference on

A r tific ia l In te llig e n c e，Pasadena，U S A，2009 ：2052-2057 [128] H u L，Cao J，X u G，et al. P ersonalized recom m endation via cross-dom ain tria d ic fa c to riz a tio n//P ro c e e d in g s o f the 22nd

In te rn a tion a l Conference on W o rld W ide Web. Rio de Janeiro,

B ra z il，2013：595-606

[129] Zhao W X，W ang J，H e Y，et a l M in in g p ro d u c t adopter in fo rm a tio n fro m o nlin e review s fo r im p ro v in g p ro d u ct

recom m endation. A C M Transactions o n K n o w le d g e Discovery

fro m D ata，2016, 10(3)：29

H U A N G L i-W e i，born in 1985,

Ph. D. His main research interests include

machine learning and recommender

systems.

J I A N G B i-T a o，born in 1967，Ph. D.，professor. Her main research interests focus on datamining.

L V S h o u-Y e，born in 1979，Ph. D.，professor. H s main research interests focus on data mining.

L I U Y a n-B o，born in 1988，M. S.，engineer. Her main research tnterests tnclude tmage processtng and machtne learntng:

L I D e-Y i，born in 1944，Ph. D.，professor，Academi­cian of the Chinese Academy of Engineering. His main research interests focus on artificial intelligence.

B a c k g ro u n d

Deep Learning is one of the next big things inrecom­mendation systems technology. The past few years have seen the tremendous success of deep neural networks in a number of complex tasks such as computer vision，natural language processing and speech recognition. After its relatively slow uptake by the recommender systems community，deep learning for recommender systems became widely popular in past three years. This paper gives a comprehensive overview of the current state of the art and provides a thorough analysis and comparison of the latest studies on deep learning based recommendation systems，including the comparison with the traditional recommender systems，the main research direction and application progress. In addition，the paper discusses the future development trendof deep learning based recommen­dation systems.

The work is supported by the National Basic Research Program of China ( 973 Program ) under Grant No. 2014CB340404，the Major Research Plan of the National Natural Science Foundation of China under Grant No. 91638301 and the National Natural Science Foundation of China under Grant Nos. 61272111，61273216 and 6160011950. All of these projects are around data mining，deep learning，remote sensing information pro­cessing ，and the r esearch of these topics has been studied by

our group for many years.