基于多模态的音乐推荐系统

ＤＯＩ：１０．１３８７８／ｊ．ｃｎｋｉ．ｊｎｕｉｓｔ．２０１９．０１．０１３

龚志

１

　邵曦

１

基于多模态的音乐推荐系统

０　引言

　　随着物质生活水平的不断提高，人们对文化产品尤其是高品质

音乐产品的需求日渐提高．借由互联网规模的扩大和数字存储技术的

进步桃花坞里桃花庵，音乐产业不断发展分手旅行，音乐数量也以几何级数激增．一方面，网络

中海量音乐资源出现了信息过载现象黑暴雨，这些音乐通过自身携带的标

签（如演唱者、年代、音乐流派等）与其他音乐进行区分彩虹桥，但这种分类

标准不统一且缺乏开放性；另一方面杨幂的歌，用户被这些海量音乐所包围

着，传统的检索方式无法满足用户需求西拉 歌手，无法从中有效获取自己所需

的音乐资源．

推荐系统作为一种“信息推送”模式，是解决信息过载问题的主

要手段鸟叫声下载，它能够在分析预测用户需求的基础上主动推送其可能需要

但又无法获取的有用信息，并能够以用户为中心，通过研究用户行

为、兴趣和环境等，为用户推荐更具针对性的信息斗战神背景音乐，即实现信息的“按

需定制服务”

［１］

．然而，目前绝大部分已成熟商用的推荐系统都采用了

传统的基于协同过滤的推荐方式，该方法忽视了音乐内容本身，无法

满足用户的实际需求．通过进一步研究发现狼吻酷族，将融合音乐的音频特征

与歌词信息的多模态特征作为协同推荐方式的补充，可使音乐推荐

的结果更加客观与准确．所以，本文提出了一种基于多模态的音乐推

荐系统，在进行音乐推荐时使用音乐的多模态特征来提高协同推荐

的准确率．

多模态音乐推荐系统框架如图１所示．

摘要

使用传统协同过滤的方式进行推荐

往往会忽视音乐底层特征．通过将音乐

的音频特征与歌词信息进行多模态融

合，并将融合后的特征信息作为协同过

滤推荐的补充，提出了一种基于多模态

的音乐推荐系统．主要探讨了音频特征

与歌词信息的提取我喜欢你网剧，并在提取歌词信息

时利用ＬＤＡ主题模型进行特征降维．针

对多模态融合问题，使用一种特征级联

早融合法（ＥＦＦＣ）融合方式中国好声音李代沫我的歌声里，并将多模态

融合后的结果与单模态结果进行了比

较．对于结果的推荐，以多模态特征信息

为依据建立用户兴趣模型bigbang一天一天mv，并将该模型

通过ＬＳＴＭ神经网络，以过滤与优化协同

推荐的用户组．结果表明julia，基于多模态的

音乐推荐系统将推荐结果的误差项平方

和（ＳＳＥ）由传统的２􀆰００９降至０􀆰３８８６，验

证了该方法的有效性．

关键词

音乐推荐；协同过滤；ＬＤＡ主题模

型；多模态融合；ＬＳＴＭ神经网络

中图分类号ＴＮ９１２

文献标志码Ａ

１　协同过滤与用户兴趣模型

息推荐和信息服务领域的研究热点

［２］

．该方法主要通过用户之间的相

收稿日期２０１８⁃０４⁃２７

资助项目国家自然科学基金（７０５７３０２５）

作者简介

龚志stickout，男，硕士生，研究方向为多媒体信息

系统．７８３５８６２６４＠ｑｑ．ｃｏｍ

邵曦（通信作者）我们不是相爱吗mp，男，博士，副教授，研究

方向为多媒体信息系统与基于内容的音乐信

息检索．ｓｈａｏｘｉ＠

ｎｊｕｐｔ．ｅｄｕ．ｃｎ

１南京邮电大学通信与信息工程学院宋冬野 安河桥，南京，

２１０００３

协同过滤技术是信息推荐系统中最为成功的技术之一和我来电，也是信

互协同来选择有价值的信息，比如利用用户之间对资源的评分进行

推荐歌手亚东，目前比较具有代表性的是基于用户的协同过滤推荐方法．

基于用户的协同过滤推荐方法the l word，首先计算出目标用户与其他用

户的相似度，在用户社区中到与目标用户最相似的部分用户（邻

居），再由邻居用户对指定音乐的评分来预测目标用户对该资源的评

分，从而产生推荐结果．

基于用户的协同过滤推荐方法的核心就是计算用户之间的相似

度．假设：Ｕ

＝

｛Ｕ

１

，Ｕ

２

，…梁静茹上海演唱会，Ｕ

Ａ

｝是所有用户的集合，Ｉ

＝

｛Ｉ

１

，Ｉ

２

，…，Ｉ

Ｍ

｝

Copyright©博看网htsReserved闭嘴花美男乐队1.

学报（自然科学版），２０１９，１１（１）：６８⁃７６

ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）江城子，２０１９练字谣，１１（１）：６８⁃７６

６９

Ｆｉｇ􀆰１　Ｔｈｅｆｒａｍｅｗｏｒｋｏｆｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎ

图１　多模态音乐推荐系统框架

是所有音乐的集合，每个用户对每首歌曲都存在一

个评分，用于构建“用户⁃音乐”评分矩阵并代表用户

对该歌曲的喜爱程度．传统的协同过滤推荐在构建

评分矩阵后，便直接使用该矩阵来进行相似度计算．

这里引入用户兴趣模型的概念火力全开专辑，相较评分矩阵

而言用户兴趣模型反映了用户对某些特征而不是对

某些歌曲的喜爱程度what about love，方便协同推荐时引入音乐自

身的特征．同时sabrinacarpenter，用户的兴趣会随时间发生变化，评

分矩阵无法做到实时更新，而通过建立用户即时（短

期）兴趣模型与稳定（长期）兴趣模型车巴，即可实现用

户模型的动态维护骁骑校尉，从而达到音乐推荐的客观性与

实时性．

由于用户兴趣模型可以更好地契合本文的思

想今年，故将用户兴趣模型贯穿整个推荐流程的始终佟丽娅结婚伴娘是谁，以

实现多模态的音乐推荐．

ｓ）转化为单声道信号并进行下一步分析．

述音乐频率、节奏与音等底层的声学特征．常用的

２１维的感知线性预测系数（ＰＬＰ）以及９维的ＰＬＰ

倒谱相关系数．本文选择ＭＦＣＣ参数作为声学特征．

声学特征包括２０维的Ｍｅｌ频率倒谱系数（ＭＦＣＣ）、

２）声学特征提取过程．该过程主要提取一些描

时特征．对人耳而言，１ｋＨｚ以下的声音频率与人的

感知能力呈线性关系，１ｋＨｚ以上则呈非线性的对数

关系，而ＭＦＣＣ正是模拟了这种特性，将其线性频谱

映射到基于听觉感知的非线性Ｍｅｌ频谱中并最终转

换到倒谱上，因此能很好地反映人耳对于音频信息

的感知

［３］

．

ＭＦＣＣ提取过程包括以下步骤：

ＭＦＣＣ是基于模仿人耳的听觉特性所提取的短

２　音乐特征的提取与多模态融合

音乐特征提取与分析是本音乐推荐系统的基

础．特征的提取包括音频特征的提取、歌词信息的提

取以及歌词信息的降维３个部分，将得到的多个音

乐特征经多模态融合后建立音乐数据库并以此为依

据构建用户兴趣模型．

２􀆰１　音乐特征的提取与多模态融合

１）预处理过程．将所有音频文件转化为统一的

音频特征的提取过程主要分为以下２个阶段：

口，并设置预加重滤波器；

参数；

１）归一化Ｍｅｌ滤波器组的系数及倒谱提升窗

２）对语音信号进行分帧赵增熹，计算每帧的ＭＦＣＣ

３）进行快速傅里叶变换（ＦＦＴ）将信号从时域转

４）求取一阶差分系数大连天空，合并ＭＦＣＣ参数和一阶

５）去除一阶差分参数为０的首尾两帧．

最终每一首歌曲得到５５０６帧

×

Ｋ维的ＭＦＣＣ参

换到频域上，再进行Ｍｅｌ滤波并计算倒谱；

差分ＭＦＣＣ参数；

ＡＡＣ音乐格式，并从每首歌中取出２０ｓ（第５０～７０

数，对这５５０６帧的结果求均值后可得出每一首歌曲

的１

×

Ｋ维“音频⁃特征”向量．

Copyright©博看网htsReserved爱有你才完整.

７０

２􀆰２　歌词信息的提取

由于歌词信息是文本的形式，为了便于计算机

的保存与处理心太软伴奏，需将歌词进行数字化转换．向量空间

模型（ＶＳＭ）是由Ｓａｌｔｏ等

［４］

提出的一种文本表示方

法kate micucci，该方法将歌词文档表示成高维空间中的向量剑灵服务器，每

篇文档对应一个向量，该向量中的每一维对应文档

的每一个特征项．

ＶＳＭ的主要步骤包括：

ＧＯＮＧＺｈｉsend my love，ｅｔａｌ．Ａｍｕｓｉｃｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎ．

龚志，等．基于多模态的音乐推荐系统．

的噪声，即潜在语义分析（ＬＳＡ），将文档从稀疏的高

维特征词空间映射到一个低维的向量空间上．ＬＳＡ

采用基于数学的方式进行矩阵分解以达到降维的目

的月桂女神，故分解出的矩阵缺乏解释性．随着对ＬＳＡ的深入

优化，主题模型逐渐发展起来．

所谓主题模型白雪红梅，就是通过引入一个统计模型花沙，用

来抽离出隐含在文档中的主题（Ｔｏｐｉｃ）．假设一篇文

档可以由多个Ｔｏｐｉｃ混合而成汉语拼音字母歌mp，而每个Ｔｏｐｉｃ都是词

汇上的概率分布周言，且文章中的每个词都是由一个固

定的Ｔｏｐｉｃ生成的，那么可以通过：

ｐ（从｜复）

＝

ｐ（词语｜

∑

主题

主题）

×

ｐ（主题｜文档）

得句子中的每一个词语分开，并去除掉某些没有意

义且浪费空间的词语（停用词）．比如一篇文档ｄ经

过分词、去除停用词后还剩下ｎ个特征词，便可建立

一个１

×

ｎ维的“文档⁃词语”向量ｄ

ｊ

＝

（ｔ

１

火烧的寂寞简谱，ｔ

２

，…gianna michaels，

ｔ

ｎ

）光影在线，其中，ｔ

ｉ

表示特征词，ｔ

ｉ

的值代表该特征词在本篇

歌词中出现的次数．

２）计算特征词的权重．特征词在该歌词中出现

１）预处理过程．对每一篇歌词文档进行分词，使

将一篇歌词文档的“文档⁃词语”向量映射为低维的

“文档⁃主题”向量．

１９９９年weeping willow，Ｔｈｏｍａｓ

［８］

在ＬＳＡ的基础上提出了概率

潜在语义分析（ｐＬＳＡ），ｐＬＳＡ引入概率模型的方式

来表达ＬＳＡ问题2019年15主题，使得每个变量以及相应的概率分

布和条件概率分布都有了明确的物理解释．ｐＬＳＡ的

主题概率分布是一个确定的概率分布吸血鬼骑士第一季，虽然主题本

身不确定，但主题符合的概率分布是确定的，若符合

高斯分布holycrap，那这个高斯分布的各个参数就都是确定

的楚雄彝族民歌，也正因如此迷之大陆，ｐＬＳＡ存在着过拟合问题．

ＬＤＡ主题模型．对ＬＤＡ而言，文档中每个主题出现

的概率是不确定的，在选取之前需要利用Ｄｉｒｉｃｈｌｅｔ

先验随机参数确定出主题和词分布，再进行进一步

分析．由于ＬＤＡ比ｐＬＳＡ更具鲁棒性country road，本文采用ＬＤＡ

主题模型提取出歌词文档的主题，以达到降维的目

的．ＬＤＡ主题模型的结构如图２所示

．

针对ｐＬＳＡ的缺点菊花香，Ｂｌｅｉ等

［９］

于２００３年提出了

的次数能反映出音乐的情感趋势好声音李代沫，但不同的歌曲的

歌词总数不同奇思妙想喜羊羊下载，只计算特征词出现次数的方式显得

不够“公平”．为了能够反映出某特征词是否具有代

表性广场舞自由飞翔2步，本文采用词频⁃逆文档频率（ＴＦ⁃ＩＤＦ）来计算

特征词的权重．

Ｓａｌｔｏｎ等

［５］

提出了ＴＦ⁃ＩＤＦ算法．该算法主要体

现了以下思想：一个词在特定的文档中出现的频率

越高，说明它在区分该文档内容属性方面的能力越

强（ＴＦ）；一个词在文档中出现的范围越广李威斯，说明它

区分文档内容的属性越低（ＩＤＦ）

［６］

．公式如下：

ＴＦＩＤＦ

ｉtonight bigbang，ｊ

＝

Ｎ

∗

ｊ

Ｎ

ｉｊ

×

ｌｏｇ

Ｄ

，

Ｄ

ｉ

其中new bird，ＴＦＩＤＦ

ｉ，ｊ

表示特征词ｔ

ｉ

在文档ｄ

ｊ

中所占的权

重，Ｎ

ｉｊ

表示特征词ｔ

ｉ

出现在文档ｄ

ｊ

中的次数，Ｎ

∗ｊ

表

示文档ｄ

ｊ

中所有词的个数，Ｄ表示文档总数不够成熟伴奏，Ｄ

ｉ

表示

文本集中包含特征词ｔ

ｉ

的文档数．

２􀆰３　歌词信息的降维

在实际操作中莫大人萱草，由于表示音频特征的ＭＦＣＣ参

数只有几十维方大同 红豆 吉他谱，而一首歌的歌词中可能出现上百个

特征词（几百维），多模态融合后的特征信息一定会

偏向反映歌词信息而疏远音频特征．为了解决音频

与歌词之间的不平衡玫瑰花的葬礼歌词，还需要对歌词信息进行降维父亲节歌曲，

这里将“文档⁃词语”向量的维度降至与ＭＦＣＣ参数

相同的Ｋ维即可．

（ＳＶＤ）、非负矩阵分解（ＮＭＦ）等．１９９０年Ｄｅｅｒｗｅｓｔｅｒ

降维的方法有很多林淑蓉，传统的有奇异值分解

Ｆｉｇ􀆰２　ＬＤＡｔｏｐｉｃｍｏｄｅｌ

图２　ＬＤＡ主题模型

ｍ篇文档征词ｎ的个数，令文档隐含的主题数ｋ

图２中你可知道我有多爱你，Ｍ表示歌词文档ｍ的集合张恺彤个人资料，Ｎ

ｍ

表示第

共有Ｋ个，α和β是Ｄｉｒｉｃｈｌｅｔ分布先验参数是你让我看见干枯沙漠开出花一朵，这２个参

数对每篇文档都一样，用于控制每篇文档的概率分

布和条件概率分布，θ对每篇文档都一样，θ

ｍ

表示第

ｍ篇文档的主题分布，ｗ

ｍ生锈的吉他，ｎ

表示第ｍ篇文档中的第ｎ

个特征词，ｚ用来表征文档征词的主题分布柳畅源，ｚ

ｍ，ｎ

表示第ｍ篇文档中的第ｎ个特征词对应的主题

［１０］

．

等

［７］

提出采用奇异值分解ＳＶＤ方法来过滤文档中

Copyright©博看网htsReservedamv电影下载.

学报（自然科学版），２０１９第105天，１１（１）：６８⁃７６

ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２０１９the world is mine，１１（１）：６８⁃７６

７１

使用ＬＤＡ主题模型进行降维的过程就是求出

θ

ｍ

后验分布的过程金枝欲孽，具体步骤如下：

１）θ

ｍ

服从概率分布ｐ（θ

ｍ

），称为参数θ

ｍ

的先验

特征空间，对于特征信息的后续处理，只需要对该多

模态特征空间进行操作即可不说话，不再需要对音频特征

与歌词信息进行训练，大幅提高了操作效率．

１）构造映射矩阵．这里构造２个Ｋ

×

２Ｋ维的矩

阵（Ｉ｜０）与（０｜Ｉ）你给sb织毛衣，它们都由一个Ｋ

×

Ｋ维的单位矩

阵Ｉ与一个Ｋ

×

Ｋ维的零矩阵组成；

２）映射“

音频特征”矩阵．将Ｍ首音乐的Ｍ

×

Ｋ

ＥＦＦＣ方法的具体步骤如下：

分布；ｚ满足多项式分布ｚ

ｍ

～Ｍｕｌｔ（ｚ

ｍ

｜θ

ｍ

），所以选

择Ｄｉｒｉｃｈｌｅｔ分布为先验分布牛哄哄，得到：

Ｋ

１

ｋ

－

１

Ｄｉｒ（θ

ｍ

｜α）

＝

ｐ

α

，　α

＝

α

１

麻辣鸭头，α

２

，…，α

ｋ

，

∏

ｋ

Δ（α

）

ｋ

＝

１

其中你说看星空看日落不如看我的眼眸是什么歌，Δ（α）为归一化因子Ｄｉｒ（α）违章动物，

Δ（α）

＝

（１）

２）由参数θ

ｍ

的先验分布Ｄｉｒ（θ

ｍ

｜α），以及各主

题出现的次数ｎ

ｍ

～Ｍｕｌｔ（ｎ

ｍ

｜θ

ｍ

医保卡挂失，Ｎ

ｍ

），其中ｎ

ｍ

＝

（ｎ

ｍ

（１）

老电影插曲，…一万个理由不接，ｎ

ｍ

（ｋ）

），ｎ

ｍ

（ｋ）

表示第ｍ篇文档中第ｋ个主

题产生词语的个数莲的心事席慕容，可得到θ

ｍ

的后验分布为

ｐ（θ

ｍ

｜ｚ

ｍ

，α）

＝

Ｄｉｒ（θ

ｍ

｜ｎ

ｍ

＋

α）

＝

Δ（ｎ

ｍ

１

＋

α

－

１

ｐ

ｎ

二人转东北人，

∏

ｋ

＋

α

）

ｋ

＝

１

ｋｋ

∫

∏

ｐ

Ｋ

ｋ

＝

１

α

ｋ

－

１

ｋ

ｄθ

ｍ

．

维“

音频特征”矩阵Ａ与映射矩阵（Ｉ｜０）相乘蘑菇炒鱿鱼，得到

一个Ｍ

×

２Ｋ维的矩阵（Ａ｜０）；

Ｍ

×

Ｋ维“

文档主题”矩阵Ｂ与映射矩阵（０｜Ｉ）相

乘abracadabra，得到一个Ｍ

×

２Ｋ维的矩阵（０｜Ｂ）；

Ｍ

×

２Ｋ维的矩阵（０｜Ｂ）平凡之路mv，即可得到包含２种音乐特

征信息的Ｍ

×

２Ｋ维“

音乐特征”矩阵（Ａ｜Ｂ）．

通过上述过程，可对所有音乐构建一个包含多

模态特征的音乐数据库当我想你的时候原唱是谁，为后续建立用户兴趣模型

打下基础．

４）矩阵融合．串联Ｍ

×

２Ｋ维的矩阵（Ａ｜０）与

３）映射“文档⁃主题”矩阵．将Ｍ首音乐歌词的

Ｋ

（２）

则可推算出第ｍ篇文档的主题分布为

ｐ（ｚ

ｍ

｜α）

＝

ｐ（ｚ

ｍ

｜θ

ｍ

）ｐ（θ

ｍ

｜α）ｄθ

ｍ

＝

Ｋ

ｋ

＝

１

ｎ

ｋ

＋

α

ｋ

－

１

ｋ

完成θ

ｍ

后验分布ｐ（ｚ

ｍ

｜α）的求解后，即可将几百维

的“

文档词语”向量降至Ｋ维的“

文档主题”向量．

２􀆰４　多模态融合

通过音频特征的提取a time 4 you，一首歌可以表示成１

×

Ｋ

维的“

音频特征”向量；通过歌词信息的提取与降

维适合养老的低消费小镇，一首歌也可以表示成１

×

Ｋ维的“

文档主题”向

量．接下来就需要将音频特征与歌词信息进行多模

态融合，建立音乐数据库并以此为依据构建用户兴

趣模型．

常用的多模态融合方法主要分为特征级融合法

和决策级融合法

［１１］

∫

１

∏

ｐ

Δ（α

）

∫

ｄθ

ｍ

＝

Δ（ｎ

ｍ

＋

α）

Δ（α

）

３　兴趣模型的建立与用户聚类

．（３）

３􀆰１　获取用户个性化信息

个性化信息收集方式分为２种：一种是显式收集

方式，主要通过用户与系统的交互实现，用户通过系

统提供的选项直接告诉系统其对所有项目的评分；另

一种是隐式收集方式请说出来，主要通过挖掘用户的访问和浏

３􀆰１􀆰１　显式获取评分矩阵

览历史去推算出用户对各个项目的兴趣度

［１２］

．

在用户第一次登录时杨紫曾轶可，请求用户对歌曲进行评

分（不必对所有歌曲评分，只需用户评价感兴趣的歌

曲），得到如表１所示的“

用户音乐”评分矩阵．

表１　“用户⁃音乐”评分矩阵

Ｉ

１

＼

过将音频特征与歌词信息以串联的方式结合起来并

归一化后作为音乐的整体特征，并对整体特征进行

下一步操作．决策级融合法的主要思路是先对音频

特征与歌词信息进行分类，并赋予分类结果某种既

定规则，再以该规则作为音乐的整体特征．对本文提

出的方法，显然决策级融合法的可操作性更强，这里

选用特征级联早融合法（ＥＦＦＣ）作为两种特征信息

多模态融合的方法．

ＥＦＦＣ方法的优点是在音频特征空间与歌词信

Ｕ

１

Ｕ

２

Ｕ

ｊ

︙

︙

．特征级融合法的主要思路是通

Ｔａｂｌｅ１　“Ｕｓｅｒ⁃Ｍｕｓｉｃ”ｓｃｏｒｅｍａｔｒｉｘ

Ｉ

２

８

＼

…

…

…

…

…

Ｉ

ｑ

９

…

…

…

…

…

Ｉ

Ｍ

７

８

＼

＼１０

︙

︙

＼

７

︙

︙

＼

９

１０

＼

＼

︙

︙

︙

︙

Ｕ

Ａ

　注：＼表示用户未对歌曲评分．

息空间的基础上将二者映射到了一个统一的多模态

３􀆰１􀆰２　隐式用户行为分析

为了隐式收集用户对歌曲的兴趣度青春期撞上更年期下载，需建立一

Copyright©博看网htsReserved比心更痛的眼眸 郑源.

７２

个兴趣函数Ｉｎｔｅｒｅｓｔ（Ｉ

ｉ

），该函数反映了用户对某一

首歌曲Ｉ

ｉ

的兴趣度．这里认为用户对一首歌曲的行

为包括：下载、评论、分享与收听，可相应地建立下载

函数Ｄｏｗｎｌｏａｄ（Ｉ

ｉ

）、评论函数Ｃｏｍｍｅｎｔ（Ｉ

ｉ

）、分享函

数Ｓｈａｒｅ（Ｉ

ｉ

）、收听次数函数Ｔｉｍｅｓ（Ｉ

ｉ

）以及收听时长

函数Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

轰隆隆的雷雨声，ｔ）proudof，则有：

Ｉｎｔｅｒｅｓｔ（Ｉ

ｉ

）

＝

ｆ（Ｄｏｗｎｌｏａｄ（Ｉ

ｉ

），Ｃｏｍｍｅｎｔ（Ｉ

ｉ

），

　　Ｓｈａｒｅ（Ｉ

ｉ

），Ｔｉｍｅｓ（Ｉ

ｉ

）你的名字音乐，Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

，ｔ））．

获取用户对歌曲兴趣度的过程如下所示：

ＧＯＮＧＺｈｉlovemaker，ｅｔａｌ．Ａｍｕｓｉｃｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎ．

龚志bottomless，等．基于多模态的音乐推荐系统．

综上，通过用户行为分析得到用户对某一首歌

曲的兴趣度：

Ｉｎｔｅｒｅｓｔ（Ｉ

ｉ

）

＝

Ｔｉｍｅｓ（Ｉ

ｉ

）

３􀆰２　建立用户兴趣模型

３􀆰２􀆰１　即时兴趣模型

通过第２章的特征提取，得到了多模态特征信

息的Ｍ

×

２Ｋ维“

音乐特征”矩阵（Ａ｜Ｂ），对于第ｉ

首歌而言我真的受伤了钢琴谱，１

×

２Ｋ维“

音乐特征”向量可以表示为

Ｉ

ｉ

＝

｛（ｆ

１

，ｗ

ｉ，１

），（ｆ

２

，ｗ

ｉ，２

），…life s a struggle，（ｆ

４０

薛平贵与王宝钏下载，ｗ

ｉ等不来，４０

）｝北京青年主题曲，

∑

ｎ

＝

１

ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

，ｎ）．

户对歌曲Ｉ

ｉ

的兴趣度为

ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

，ｎ）

＝

ｆ（Ｄｏｗｎｌｏａｄ（Ｉ

ｉ

）经典英文歌曲推荐，

ｎ进行叠加即可得到Ｉｎｔｅｒｅｓｔ（Ｉ

ｉ

）．

１）收听次数函数Ｔｉｍｅｓ（Ｉ

ｉ

）．针对一次收听第三回合，用

　　Ｃｏｍｍｅｎｔ（Ｉ

ｉ

）贝瓦网，Ｓｈａｒｅ（Ｉ

ｉ

），Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

哥抽的不是烟是寂寞，ｔ））钢琴轻音乐，

其中别 薛之谦，ｆ

ｊ

表示第ｊ个特征爱已离去，ｗ

ｉ，ｊ

表示第ｉ首歌中第ｊ个特

征的权值．此时结合３􀆰１节中给出的用户对某一首歌

曲的兴趣度Ｉｎｔｅｒｅｓｔ（Ｉ

ｉ

），可计算出用户对歌曲Ｉ

ｉ

的

即时兴趣：

ö

×

ｗ

ｉ难念的经 周华健，１

÷

，

è

ｍａｘ［Ｉｎｔｅｒｅｓｔ（Ｉ

ｘ

）］

ø

Ｉｎｔｅｒｅｓｔ（Ｉ

ｉ

）

æö

ç

ｆ

２

，

×

ｗ

ｉ别看我只是只羊，２

÷

，…

，

è

ｍａｘ［Ｉｎｔｅｒｅｓｔ（Ｉ

ｘ

）］

ø

ｍａｘ［Ｉｎｔｅｒｅｓｔ（Ｉ

ｘ

）］表示在音乐数据库全部的Ｍ首歌

ç

ｆ

１

最新抗日剧，

只需将单次兴趣度ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

多爱你一天歌词，ｎ）根据收听次数

Ｃｏｍｍｅｎｔ（Ｉ

ｉ

）、分享函数Ｓｈａｒｅ（Ｉ

ｉ

）．只要下载、评论、

分享这３个行为中有任何一个发生就代表用户对这

首歌有最高兴趣度（兴趣度为１）八字合婚软件，故３个函数的计入

原则为：若用户首先下载了歌曲Ｉ

ｉ

，则ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

乌兰托娅，

ｎ）

＝

Ｄｏｗｎｌｏａｄ（Ｉ

ｉ

）

＝

１，无论评论、分享行为是否发

生，都不计入这２个行为产生的兴趣度，同时收听时

长函数Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

，ｔ）也不计入ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

易水送别，ｎ）；

同理若用户首先分享了歌曲Ｉ

ｉ

，那么ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

，

ｎ）

＝

Ｓｈａｒｅ（Ｉ

ｉ

）

＝

１好听的法语歌，其他行为也不再计入；以此类推．

下载、评论、分享中任何一个行为发生时，

Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

离婚吧 殿下，ｔ）不计入兴趣度李小白，而这３个行为均未发

生时，则有ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

琵琶语 林海，ｎ）

＝

Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

，ｔ）．这里给

出２个临界时间参数：ｔ

１

与ｔ

２

．若用户的收听时长ｔ＜

ｔ

１

时偏偏喜欢你未删减版，表示用户可能不喜欢这首歌就快速进行切歌

状态，ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

，ｎ）

＝

Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

走出沙漠的刀郎，ｔ）

＝

０；若收听

时长ｔ＞ｔ

２

时，表示用户可能已离开播放器或者忘记

关闭音乐，ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

城市猎人片尾曲女声，ｎ）

＝

Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

，ｔ）

＝

０；若

收听时长ｔ∈（ｔ

１

拥抱吉他谱txt，ｔ

２

）那年夏天的秘密，则Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

，ｔ）符合线性函

数，有Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

，ｔ）

＝

ｋｔ

＋

ｂ（ｋ＞０七夕歌词，ｂ＜０）汇博人才，且仍满

足最高兴趣度ｍａｘ［ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

吴姵文，ｎ）］

＝

１的条件．此

时，可以将单次兴趣度函数归纳为

ｐｅｒＩｎｔｅｒｅｓｔ（Ｉ

ｉ

，ｎ）

＝

ｆ（Ｄｏｗｎｌｏａｄ（Ｉ

ｉ

），Ｃｏｍｍｅｎｔ（Ｉ

ｉ

）上元，

Ｓｈａｒｅ（Ｉ

ｉ

）挂念歌词，Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

马千珊，ｔ））

＝

［１

－

Ａｃｔｉｏｎ（Ｉ

ｉ

）］

×

Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

，ｔ）

＋

Ａｃｔｉｏｎ（Ｉ

ｉ

）拔萝卜舞蹈，

３）收听时长函数Ｄｕｒａｔｉｏｎ（Ｉ

ｉ

，ｔ）．上文介绍了当

２）下载函数Ｄｏｗｎｌｏａｄ（Ｉ

ｉ

）、评论函数

{

æ

Ｉｎｔｅｒｅｓｔ（Ｉ

ｉ

）

}

中，用户对歌曲Ｉ

ｘ

的兴趣度最大童话手机钢琴谱，故用作分母以进行

归一化．

通过上述分析，可得出用户对Ｍ首歌的即时兴

趣模型为

其中on on，

ｓｓｓ

｛（ｆ

１

与小三pk的日子，Ｗ

１

）hideandseek，（ｆ

２

，Ｗ

２

）哆来咪发，…最好听的古典音乐，（ｆ

４０

第三十六个故事，Ｗ

４０

）｝蝴蝶城，

３􀆰２􀆰２　稳定兴趣模型与ＬＳＴＭ神经网络

１

Ｍ

é

Ｉｎｔｅｒｅｓｔ（Ｉ

ｍ

）

ù

ú

．Ｗ

＝

∑

ê

×

ｗ

ｍ，ｉ

êú

Ｍ

ｍ

＝

１

ë

ｍａｘ［Ｉｎｔｅｒｅｓｔ（Ｉ

ｘ

）］

û

ｓ

ｉ

当用户的即时兴趣模型建立后刘德华经典粤语歌曲，可以充分代表

用户在一段时间内对不同音乐特征的兴趣度，但随

着用户不断地收听新的音乐或是很长一段时间不听

某种音乐双双，其喜好程度也会随之改变，故即时兴趣模

型无法反映出用户兴趣度的变化趋势．

长短时记忆模型（ＬＳＴＭ）于１９９７年由Ｓｅｐｐ

等

［１３］

提出东北人歌词，它可以模拟出人类的记忆曲线，实现新

信息的输入、旧信息的遗忘以及最终信息的输出等

功能．本文采用ＬＳＴＭ神经网络西藏秘密片尾曲，将用户的即时兴趣

模型作为输入，通过神经网络内部各节点的计算，输

出用户的稳定兴趣模型．

图３是一个基本的ＬＳＴＭ神经网络模型万能空调机遥控器，并结

合本文要求进行了相应的修改．ＬＳＴＭ有３种特殊的

门结构，分别是输入门、输出门与遗忘门，是ＬＳＴＭ

实现记忆与遗忘的关键．

其中，当下载、评论、分享中任何一个行为发生时，

Ａｃｔｉｏｎ（Ｉ

ｉ

）

＝

１最美丽的第七天，若３个行为均未发生时，Ａｃｔｉｏｎ（Ｉ

ｉ

）

＝

０．

Copyright©博看网htsReserved好声音冠军预测.

学报（自然科学版）jfkj，２０１９，１１（１）：６８⁃７６

ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２０１９，１１（１）：６８⁃７６

７３

Ｔａｂｌｅ２　＂Ｕｓｅｒ⁃Ｆｅａｔｕｒｅ＂ｒｅａｌ⁃ｔｉｍｅｉｎｔｅｒｅｓｔｍｏｄｅｌ

Ｕ

１

Ｕ

２

Ｕ

ｊ

︙

︙

Ｗ

１，１

Ｗ

２，１

Ｗ

ｊ，１

Ｗ

Ａ，１

︙

︙

ｆ

１

Ｗ

１，２

Ｗ

２，２

Ｗ

ｊ，２

Ｗ

Ａromantic fantasy，２

︙

︙

ｆ

２

…

…

…

…

…

Ｗ

１，ｐ

Ｗ

２，ｐ

Ｗ

ｊ，ｐ

Ｗ

Ａ，ｐ

︙

︙

ｆ

ｐ

…

…

…

…

…

表２　“用户⁃特征”实时兴趣模型

Ｗ

１冲灵剑法，

Ｋ

Ｗ

２，Ｋ

Ｗ

ｊ全面通缉，Ｋ

Ｗ

Ａ，

Ｋ

︙

︙

ｆ

Ｋ

Ｆｉｇ􀆰３　ＴｈｅｓｔｒｕｃｔｕｒｅｏｆＬＳＴＭｎｅｔｗｏｒｋ

图３　ＬＳＴＭ神经网络的结构

Ｕ

Ａ

通过上述过程，可对所有用户构建一个实时兴

趣模型神思者，为后续用户聚类和个性化推荐打下基础．

３􀆰３　用户聚类

３􀆰１􀆰１节中通过显式方式获取了“

用户评分”矩

阵．由于用户并非对所有歌曲都进行评分，使得该矩

阵的稀疏性很大纯名里沙，此时可通过用户聚类将目标用户

与其邻居放入同个用户组内新虎口遐想，令“

用户评分”矩阵转

变为“

邻居评分”矩阵，在某种程度上降低矩阵的稀

疏性．

常用的聚类方法有ｋ⁃ｍｅａｎｓ算法，它采用距离

作为判断相似性的标准，即认为２个对象的距离越

近，其相似度就越大．该算法存在一些缺点：若选取

的初始聚类中心点不当，就会对聚类结果产生较大

的影响．这里使用一种改进算法———基于二分的聚

类算法（ｂｉ⁃ｓｅｃｔｉｏｎ）来进行用户聚类．

１）初始情况下，将所有用户作为一个簇电影一颗红豆，然后随

二分聚类算法的过程如下：

作为输入香山射鼓，在神经网络内部进行相应计算后通过输

出门将当前状态进行输出．

２）第２次训练时，以第１次训练的输出状态作

１）ＬＳＴＭ第１次训练时，以用户的即时兴趣模型

ＬＳＴＭ训练稳定兴趣模型的步骤如下：

为输入，在输入门中进行处理，同时将用户对各个特

征的权值（兴趣度）Ｗ送入遗忘门，由遗忘门根据该

特征当前的权值判断其是否应该被遗忘．若被遗忘

则将该特征的权值置零；若未被遗忘则通过输出门

将当前状态进行保存输出．

３）接下来的训练同理，通过输出门保存上一次

训练的状态并作为当前训练的输入．若用户收听了

新的歌曲画个圈圈诅咒你，则需要通过输入门更新对应特征的权值，

再重新进行训练．

４）选用梯度最速下降法来限定ＬＳＴＭ训练的迭

代次数．在迭代过程中super junior sorry sorry，一旦损失值（ｌｏｓｓ）收敛到１

户的稳定兴趣模型：

机选取２个初始聚类中心点（ｓｅｅｄ），使用余弦相似

度依照用户实时兴趣模型计算用户之间的相似度

ｃｏｓ（Ｕ

ｉ，

Ｕ

ｊ

）胡夏 那些年，并以此将该类分为２个簇；

簇中随机选出２个ｓｅｅｄ，同样将该簇中的用户分配

到２个子簇中；

３）此时产生了３个簇爱情公寓2插曲，但这３个簇并非最优nba说唱，需

２）从２个簇中选择用户数量较多的簇never say goodbye mp，再从该

以下就可终止训练过程．此时输出门的结果就是用

ｌｌｌ

｛（ｆ

１

右手戒指，Ｗ

１

），（ｆ

２

东南劲爆音乐榜颁奖典礼，Ｗ

２

）愁啊愁，…情同手足歌词，（ｆ

４０

lehecai，Ｗ

４０

）｝．

３􀆰２􀆰３　实时兴趣模型

在３􀆰２􀆰１节与３􀆰２􀆰２节中已分别得到了用户的

即时兴趣模型与稳定兴趣模型，这里还需结合这２

种兴趣模型来构建用户的实时兴趣模型．一般采用

加权平均的方法来计算某个特征在实时兴趣模型中

的权重那么问题就来了，对于特征ｆ

ｉ

，其权重Ｗ

ｉ

可以表示为

Ｗ

ｉ

＝

α

×

Ｗ

ｓ

ｉ

＋

β

×

Ｗ

ｌ

ｉ

爱在旅途片尾曲，

ｓ

ｉ

要进行调整岳军影，即将任意一个簇中的任意一个用户移

动到其他簇中心愿伴奏，若结果变优铁窗泪歌谱，则执行本次操作大闹天竺下载，否则

不执行．

１）簇内优化：所有簇的内部平均相似度ｌ达到

２）簇间优化：该簇与所有簇之间的相似度期望

故可建立一个优化函数ｆｕｎ（），使得：

æ

ｍｉｎＥ

ö

÷

．

ｆｕｎ（）

＝

ｍｉｎ

ç

è

ｍａｘ

ｌ

ø

判断结果是否变优包括：

其中伍佰的爱你一万年，Ｗ为即时兴趣模型征ｆ

ｉ

所对应的权值，Ｗ

ｌ

ｉ

为稳定兴趣模型中该特征所对应的权值，α

＋

β

＝

１非诚勿扰 夏燕，

Ｗ

ｉ

∈（０shuba，１］．由于即时兴趣更能体现用户当下的兴

趣爱好，再经过多次实验后选定α

＝

０􀆰６，β

＝

０􀆰４．

第ｊ个用户对第ｐ个特征的实时兴趣度．

用户实时兴趣模型如表２所示．其中，Ｗ

ｊ，ｐ

表示

最大；

值Ｅ最小．

Copyright©博看网htsReservedscandal乐队.

７４

邻居用户Ｕ

１

、Ｕ

２

和Ｕ

５

占有欲，通过邻居用户的评分即可进

行个性化推荐．聚类后的“

邻居特征”实时兴趣模型

如表３所示迪厅美女，“

邻居评分”矩阵如表４所示．

表３　聚类后的“邻居⁃特征”实时兴趣模型

Ｔａｂｌｅ３　Ｃｌｕｓｔｅｒｅｄ＂Ｎｅｉｇｈｂｏｒ⁃Ｃｈａｒａｃｔｅｒ＂ｒｅａｌ⁃ｔｉｍｅｉｎｔｅｒｅｓｔｍｏｄｅｌ

Ｕ

１

Ｕ

２

Ｕ

５

Ｕ

ｊ

Ｗ

１，１

Ｗ

２，１

Ｗ

５，１

Ｗ

ｊ，１

ｆ

１

Ｗ

１，２

Ｗ

２，２

Ｗ

５，２

Ｗ

ｊ，２

ｆ

２

…

…

…

…

…

Ｗ

１，ｐ

Ｗ

２，ｐ

Ｗ

５，ｐ

Ｗ

ｊ，ｐ

ｆ

ｐ

…

…

…

…

…

Ｗ

１，

Ｋ

Ｗ

２，Ｋ

Ｗ

５雪饮狂刀，Ｋ

Ｗ

ｊ，

Ｋ

ｆ

Ｋ

ＧＯＮＧＺｈｉ，ｅｔａｌ．Ａｍｕｓｉｃｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎ．

龚志与你同飞，等．基于多模态的音乐推荐系统．

以用户ｊ为例沉默的糕羊，通过用户聚类后得到了用户ｊ的

居用户的余弦相似度：ｃｏｓ（Ｕ

ｊ

，Ｕ

１

）、ｃｏｓ（Ｕ

ｊ

，Ｕ

２

）与

ｃｏｓ（Ｕ

ｊ

你到底爱谁简谱，Ｕ

５

）微博控 许嵩，分别简记为ｃ

１

、ｃ

２

与ｃ

５

．

２）计算Ｕ

ｊ

所有已评分歌曲的平均分ｒ

􀭰

ｊ

．

３）针对某一首Ｕ

ｊ

未评分的歌曲ｑ最好不相见 仓央嘉措，由邻居用户

ｃ

１

×

（９

－

􀭰

ｒ

ｊ

）

＋

ｃ

２

×

（１０

－

􀭰

ｒ

ｊ

）

＋

ｃ

５

×

（７

－

􀭰

ｒ

ｊ

）

ｃ

１

＋

ｃ

２

＋

ｃ

５

１）３􀆰３节的二分聚类过程中导火线下载，已得到Ｕ

ｊ

与其邻

分别对歌曲ｑ的评分９、１０、７来预测Ｕ

ｊ

对该歌曲的评

分ｒ

ｊ回忆里的疯狂，ｑ

：

ｒ

ｊ蹦迪音乐，ｑ

＝

􀭰

ｒ

ｊ

＋

．

表４　聚类后的“邻居⁃评分”矩阵

Ｔａｂｌｅ４　Ｃｌｕｓｔｅｒｅｄ＂Ｎｅｉｇｈｂｏｒ⁃Ｓｃｏｒｅ＂ｍａｔｒｉｘ

Ｕ

１

Ｕ

２

Ｕ

５

Ｕ

ｊ

１０

８

７

＼

Ｉ

１

Ｉ

２

８

＼

…

…

…

…

…

Ｉ

ｑ

９

７

…

…

…

…

…

Ｉ

Ｍ

７

８

＼

＼

歌曲的得分loveyoulikealovesong，并降序排列不再为你流泪，如：｛（Ｉ

４

海洋咖啡馆第8辑，１０）heartsdales，（Ｉ

５

akimbo，９），

（Ｉ

ｑ

，９），…｝生日歌钢琴谱，并将得分最高的前Ｎ首未评分歌曲推

荐给用户．

４０位用户的评分作为输入给你一朵小红花，输出个性化推荐的３首

歌曲如图４所示

．

将数据集中的５００首音乐、５００篇歌词文档以及

４）采用Ｔｏｐ⁃Ｎ推荐方法雪花的快乐，罗列出Ｕ

ｊ

所有未评分

同理窗外有蓝天，可计算出Ｕ

ｊ

所有未评分歌曲的得分．

１０

９

１０

？

　注：＼表示用户未对歌曲评分．

４　实验及结果

４􀆰１　实验数据集

用于实验的数据集中武汉欢乐谷年卡，音频文件为ＡＡＣ格式刘艺涵，

截取时长为２０ｓ且已转化成单声道信号的５００首英

文歌曲saku，这些音频文件为ｉＴｕｎｅｓ美区商店售卖的正

版音源，基本涵盖了Ｐｏｐ、ＥＤＭ、Ｃｌａｓｓｉｃａｌ、Ｃｏｕｎｔｒｙ、

Ｒｏｃｋ、Ｒ＆Ｂ以及Ｈｉｐ⁃Ｈｏｐ等各种流派的音乐．为了保

证截取的音乐片段具有代表性真心，经多人讨论后选择

出一首歌最具代表性的第５０～７０ｓ．歌词文件为ｔｘｔ

格式lost my pieces，且与音频文件一一对应ktv点歌，用户总数为４０人，其

中１人为目标用户．通过问卷调查的方式收集这４０

人对５００首歌中任意１００首歌曲的评分．

４􀆰２　结果分析

４􀆰２􀆰１　个性化推荐结果

Ｆｉｇ􀆰４　Ｔｈｅｒｅｓｕｌｔｏｆｐｅｒｓｏｎａｌｉｚｅｄｒｅｃｏｍｍｅｎｄａｔｉｏｎ

图４　个性化推荐结果

４􀆰２􀆰２　验证结果的准确性

除了验证系统的有效性之外命运不是辘轳，还需进行对比实

验以验证实验结果的准确性．这里给出３种对比环

境la la love on my mind，这３种环境也能充分代表目前常见的几种音乐

推荐系统：

１）环境１：本系统谈莉娜图片，即基于音频特征与歌词信息

２）环境２：只基于音频特征的单模态音乐推荐

３）环境３：不采用任何音乐内容特征，传统的协

选用误差平方和（ＳＳＥ）作为结果准确性的判断

标准．ＳＳＥ计算的是拟合数据和原始数据对应点的误

差的平方和，ＳＳＥ越接近于０，说明模型选择和拟合

更好阿军，数据预测也越成功．

选取４０位用户中任意１位作为目标用户打工行伴奏，将该

用户的“

用户评分”向量中部分真实评分删除，并分

别在３种不同对比环境下预测该用户的得分，计算

被删除的真实评分与预测得分之间的ＳＳＥ断点张敬轩，结果如

图５所示．

的多模态音乐推荐系统；

系统；

同过滤推荐系统．

上文已完成了基于多模态的音乐推荐系统的前

期工作，包括由音乐的多模态特征建立了用户的兴

趣模型stay gold，又由兴趣模型到了目标用户的邻居．这里

同样指定Ｕ

ｊ

为目标用户．首先选定音频特征与歌词

文档主题的维数Ｋ

＝

２０，接下来根据其邻居用户Ｕ

１

、

Ｕ

２

和Ｕ

５

来预测Ｕ

ｊ

对未评分资源的得分，从而进行个

性化推荐．

个性化推荐的步骤如下：

Copyright©博看网htsReserved.

学报（自然科学版）同伊电视剧全集观看国语版免费版，２０１９，１１（１）：６８⁃７６

ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）你是我的小提莫，２０１９，１１（１）：６８⁃７６

７５

从图６中可以看出虚线代表的多模态推荐系统

下的预测得分与真实评分最为拟合让青春继续第二部，单模态系统次

之，传统协同过滤效果最差；从图７可以看出多模态

Ｆｉｇ􀆰５　ＳＳＥｂｅｔｗｅｅｎｐｒｅｄｉｃｔｅｄｓｃｏｒｅａｎｄｒｅａｌｓｃｏｒｅ

图５　预测得分与真实评分的差异ＳＳＥ

推荐系统下的预测得分偏差最小老地方的雨，也最接近０．

综上所述没人懂，基于音频特征与歌词信息的多模态

音乐推荐系统无论从有效性方面还是从准确性方面

来说，都要比目前常见的几种音乐推荐系统效果

更好．

通过图５可以证实多模态音乐推荐系统与真实

数据的拟合度最高御剑江湖 歌词，其次是单模态系统，而传统的协

同过滤拟合度最低文明在哪里歌曲，这一结论也充分验证了多模态

音乐推荐系统准确性较高．

图６为不同环境下用户的真实评分与预测得分

曲线．为使折线图更加直观易读如果有那么一天，这里随机挑选５００

首歌中的１５首来作图

．

５　结论与未来工作展望

文中描述了一个将音乐的音频特征和歌词信息

经过多模态融合的音乐推荐系统女人洗澡不关门，应用ＬＤＡ模型来

处理歌词信息．对于多模态融合方法的问题爱你够不够 孙楠，使用了

ＥＦＦＣ融合方法男人也没办法，并建立了多模态音乐数据库．将用

户兴趣模型通过ＬＳＴＭ神经网络进一步得到用户的

实时兴趣模型漫之大陆，以此作为用户聚类的基础．在与传统

协同过滤推荐方法相对比后发现对猪弹琴，该方法的准确率

确有一定程度的提高，并在最后充分验证了该方法

的有效性和准确性．今后kim sang woo，将把研究重点放在如何把

用户的情感信息作为推荐系统的另一极，根据用户

的情感进一步筛选个性化推荐的结果．

参考文献

图６　不同环境下用户的真实评分与预测得分

Ｆｉｇ􀆰６　Ｒｅａｌｓｃｏｒｅａｎｄｐｒｅｄｉｃｔｅｄｓｃｏｒｅ

ｕｎｄｅｒｄｉｆｆｅｒｅｎｔｅｎｖｉｒｏｎｍｅｎｔｓ

Ｒｅｆｅｒｅｎｃｅｓ

图７则分别计算了３种环境下，真实评分与预

测得分的偏差

．

图７　不同环境下预测得分与真实评分的偏差

Ｆｉｇ􀆰７　Ｄｉｆｆｅｒｅｎｃｅｓｂｅｔｗｅｅｎｐｒｅｄｉｃｔｅｄｓｃｏｒｅａｎｄ

ｒｅａｌｓｃｏｒｅｕｎｄｅｒｄｉｆｆｅｒｅｎｔｅｎｖｉｒｏｎｍｅｎｔｓ

［１］　曾子明．信息推荐系统［Ｍ］．北京：科学出版社缠绵游戏陈奕迅，２０１５：

６５⁃６６

ＺＥＮＧＺｉｍｉｎｇ．Ｉｎｆｏｒｍａｔｉｏｎｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍ［Ｍ］．

Ｂｅｉｊｉｎｇ：ＣｈｉｎａＳｃｉｅｎｃｅＰｕｂｌｉｓｈｉｎｇ＆ＭｅｄｉａＬｔｄ，２０１５：

６５⁃６６

［２］　唐沁钦．多媒体系统中个性化推荐的研究和设计［Ｄ］．

北京：北京交通大学，２０１１

ＴＡＮＧＱｉｎｑｉｎ．Ｄｅｓｉｇｎｏｆｐｅｒｓｏｎａｌｉｚｅｄｉｎｆｏｒｍａｔｉｏｎｄｅｌｉｖｅｒｙ

ｉｎｍｕｌｔｉｍｅｄｉａｓｙｓｔｅｍ［Ｄ］．Ｂｅｉｊｉｎｇ：ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇＵｎｉ⁃

ｖｅｒｓｉｔｙdaredevil，２０１１

［３］　薛昊．基于多模态融合的音乐情感分类方法［Ｄ］．南

京：南京大学，２０１６

ＸＵＥＨａｏ．Ｔｈｅｒｅｓｅａｒｃｈｏｎｍｕｓｉｃｍｏｏｄｃｌａｓｓｉｆｉｃａｔｉｏｎ

ｍｅｔｈｏｄｓｂａｓｅｄｏｎｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎ［Ｄ］．Ｎａｎｊｉｎｇ：

ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，２０１６

［４］　ＳａｌｔｏｎＧ，ＷｏｎｇＡ，ＹａｎｇＣＳ．Ａｖｅｃｔｏｒｓｐａｃｅｍｏｄｅｌｆｏｒ

ａｕｔｏｍａｔｉｃｉｎｄｅｘｉｎｇ［Ｊ］．ＣｏｍｍｕｎｉｃａｔｉｏｎｓｏｆｔｈｅＡＣＭ，

１９７５彩虹天堂伴奏，１８（１１）：６１３⁃６２０

［５］　ＳａｌｔｏｎＧ阳城之窗，ＹｕＣＴ．Ｏｎｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｅｆｆｅｃｔｉｖｅｖｏｃａｂｕ⁃

ｌａｒｉｅｓｆｏｒｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ

１９７３ＭｅｅｔｉｎｇｏｎＰｒｏｇｒａｍｍｉｎｇＬａｎｇｕａｇｅｓａｎｄ

ＩｎｆｏｒｍａｔｉｏｎＲｅｔｒｉｅｖａｌ．ＮｅｗＹｏｒｋ：ＡＣＭ，１９７３：１１

［６］　施聪莺，徐朝军，杨晓江．ＴＦＩＤＦ算法研究综述［Ｊ］．计

算机应用，２００９我是愤怒，２９（ｂ０６）：１６７⁃１７０

ＳＨＩＣｏｎｇｙｉｎｇ，ＸＵＣｈａｏｊｕｎ罗永娟，ＹＡＮＧＸｉａｏｊｉａｎｇ．Ｓｔｕｄｙｏｆ

ＴＦＩＤＦａｌｇｏｒｉｔｈｍ［Ｊ］．ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓ梅花三弄歌曲，

Copyright©博看网htsReserved颜小朵.

７６

［７］　

［８］　

２００９民族乐器图片，２９（ｂ０６）：１６７⁃１７０

ＤｅｅｒｗｅｓｔｅｒＳ，ＤｕｍａｉｓＳＴ孤独等待黎明，ＦｕｒｎａｓＧＷ，ｅｔａｌ．Ｉｎｄｅｘｉｎｇｂｙ

ｌａｔｅｎｔｓｅｍａｎｔｉｃａｎａｌｙｓｉｓ［Ｊ］．ＪｏｕｒｎａｌｏｆｔｈｅＡｍｅｒｉｃａｎＳｏ⁃

ｃｉｅｔｙＦｏｒＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ童谣歌词，１９９０，４１：３９１⁃４０７

ＴｈｏｍａｓＨ．Ｐｒｏｂａｂｉｌｉｓｔｉｃｌａｔｅｎｔｓｅｍａｎｔｉｃｉｎｄｅｘｉｎｇ［Ｃ］∥

ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＴｗｅｎｔｙ⁃ＳｅｃｏｎｄＡｎｎｕａｌＩｎｔｅｒｎａｔｉｏｎａｌ

ＳＩＧＩＲＣｏｎｆｅｒｅｎｃｅｏｎＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔｉｎＩｎ⁃

ｆｏｒｍａｔｉｏｎＲｅｔｒｉｅｖａｌ（ＳＩＧＩＲ⁃９９）朱永飞，１９９９

ＢｌｅｉＤＭ，ＮｇＡＹ释放灵魂，ＪｏｒｄａｎＭＩ．Ｌａｔｅｎｔｄｉｒｉｃｈｌｅｔａｌｌｏｃａｔｉｏｎ

［Ｊ］．ＪｏｕｒｎａｌｏｆＭａｃｈｉｎｅＬｅａｒｎｉｎｇＲｅｓｅａｒｃｈ，２００３白小曼，３（４／

５）：９９３⁃１０２２

ＭｏｒｒｉｓＣ．Ｐａｒａｍｅｔｒｉｃｅｍｐｉｒｉｃａｌｂａｙｅｓｉｎｆｅｒｅｎｃｅ：ｔｈｅｏｒｙ

ＧＯＮＧＺｈｉ我是歌手杨宗纬最爱，ｅｔａｌ．Ａｍｕｓｉｃｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎ．

龚志，等．基于多模态的音乐推荐系统．

［９］　

［１０］　

ａｎｄａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．ＪｏｕｒｎａｌｏｆｔｈｅＡｍｅｒｉｃａｎＳｔａｔｉｓｔｉｃａｌ

Ａｓｓｏｃｉａｔｉｏｎ，１９８３谐音，７８（３８１）：４７⁃６５

［１１］　ＺｅｎｇＺ菩提树下下载，ＨｕＹ，ＬｉｕＭ，ｅｔａｌ．Ｔｒａｉｎｉｎｇｃｏｍｂｉｎａｔｉｏｎｓｔｒａｔｅｇｙ

ｏｆｍｕｌｔｉ⁃ｓｔｒｅａｍｆｕｓｅｄｈｉｄｄｅｎｍａｒｋｏｖｍｏｄｅｌｆｏｒａｕｄｉｏ⁃ｖｉｓ⁃

ｕａｌａｆｆｅｃｔｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｓｓｏｆ１４ｔｈＡＣＭＩｎｔｅｒ⁃

ｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｆｍｕｌｔｉｍｅｄｉａ，２００６：６５⁃６８

［１２］　ＮｉｃｈｏｌｓＤＭ．Ｉｍｐｌｉｃｉｔｒａｔｉｎｇａｎｄｆｉｌｔｅｒｉｎｇ［Ｃ］∥

ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＦｉｆｔｈＤＥＬＯＳＷｏｒｋｓｈｏｐｏｎＦｉｌｔｅｒｉｎｇ

ａｎｄＣｏｌｌａｂｏｒａｔｉｖｅＦｉｌｔｅｒｉｎｇ偶像先生，１９９７

［１３］　ＨｏｃｈｒｅｉｔｅｒＳ何蓝逗情商，ＳｃｈｍｉｄｈｕｂｅｒＪ．Ｌｏｎｇｓｈｏｒｔ⁃ｔｅｒｍｍｅｍｏｒｙ

［Ｊ］．ＮｅｕｒａｌＣｏｍｐｕｔａｔｉｏｎ，１９９７，９（８）：１７３５⁃１７８０

Ａｍｕｓｉｃｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎ

１ＣｏｌｌｅｇｅｏｆＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｎａｎｊｉｎｇ　２１０００３

ＧＯＮＧＺｈｉ

１

　ＳＨＡＯＸｉ

１

Ａｂｓｔｒａｃｔ　Ｄｅｓｐｉｔｅｔｈｅｃｏｎｔｉｎｕｏｕｓｅｎｒｉｃｈｍｅｎｔｏｆｍｕｓｉｃ喜多郎，ｔｈｅｕｎｄｅｒｌｙｉｎｇｍｕｓｉｃｆｅａｔｕｒｅｓａｒｅｏｆｔｅｎｏｖｅｒｌｏｏｋｅｄｗｈｅｎ

ｕｓｉｎｇｔｒａｄｉｔｉｏｎａｌｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇ．Ｂｙｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎｏｆａｕｄｉｏｆｅａｔｕｒｅｓａｎｄｌｙｒｉｃｉｎｆｏｒｍａｔｉｏｎａｎｄｓｕｐｐｌｅｍｅｎ⁃

ｔｉｎｇｔｈｅｆｕｓｉｏｎｉｎｆｏｒｍａｔｉｏｎｆｅａｔｕｒｅａｓａｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇｒｅｃｏｍｍｅｎｄａｔｉｏｎ马云谈区块链，ａｍｕｌｔｉ⁃ｍｏｄａｌｍｕｓｉｃｒｅｃｏｍｍｅｎｄａｔｉｏｎ

ｓｙｓｔｅｍｉｓｐｒｏｐｏｓｅｄ．Ｔｈｉｓｓｔｕｄｙｐｒｉｍａｒｉｌｙｄｉｓｃｕｓｓｅｓｔｈｅｅｘｔｒａｃｔｉｏｎｏｆａｕｄｉｏｆｅａｔｕｒｅｓａｎｄｌｙｒｉｃｓｉｎｆｏｒｍａｔｉｏｎａｎｄｕｓｅｓｔｈｅ

ｔｈｉｓｓｔｕｄｙｐｒｏｐｏｓｅｓａｎＥＦＦＣｆｕｓｉｏｎｍｅｔｈｏｄ，ａｎｄｃｏｍｐａｒｅｓｔｈｅｒｅｓｕｌｔｓｏｆｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎｗｉｔｈｔｈｅｒｅｓｕｌｔｓｕｓｉｎｇ

ｍｕｓｉｃｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｒｅｄｕｃｅｓｔｈｅＳＳＥｏｆｔｈｅｒｅｓｕｌｔｆｒｏｍ２􀆰００９ｔｏ０􀆰３８８６，ｖｅｒｉｆｙｉｎｇｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅ

ｍｅｔｈｏｄ．

Ｋｅｙｗｏｒｄｓ　ｍｕｓｉｃｒｅｃｏｍｍｅｎｄａｔｉｏｎ；ｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇ；ＬＤＡｔｏｐｉｃｍｏｄｅｌ；ｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎ；ＬＳＴＭｎｅｔｗｏｒｋｓ

ＬＤＡｔｏｐｉｃｍｏｄｅｌｔｏｒｅｄｕｃｅｔｈｅｃｈａｒａｃｔｅｒｄｉｍｅｎｓｉｏｎｏｆｔｈｅｌｙｒｉｃｓｉｎｆｏｒｍａｔｉｏｎ．Ｆｏｒｔｈｅｍｕｌｔｉ⁃ｍｏｄｅｌｆｕｓｉｏｎｐｒｏｂｌｅｍ，

ｓｉｎｇｌｅ⁃ｍｏｄｅ．Ｆｏｒｒｅｓｕｌｔｒｅｃｏｍｍｅｎｄａｔｉｏｎｓpiggy，ｔｈｅｕｓｅｒｉｎｔｅｒｅｓｔｍｏｄｅｌｉｓｅｓｔａｂｌｉｓｈｅｄｂａｓｅｄｏｎｔｈｅｍｕｌｔｉ⁃ｍｏｄａｌｉｎｆｏｒｍａｔｉｏｎ

ｆｅａｔｕｒｅｗｉｔｈｔｈｅｉｎｐｕｔｏｆＬＳＴＭｎｅｔｗｏｒｋｓｔｏｆｉｌｔｅｒａｎｄｏｐｔｉｍｉｚｅｔｈｅｕｓｅｒｇｒｏｕｐ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｍｕｌｔｉ⁃ｍｏｄａｌ

Copyright©博看网htsReserved.