在过去的几十年里，计算机科学家开发了可以生成特定类型数据的计算工具，例如图像、文字或录音。这些系统可以有各种有价值的应用，特别是在需要制作新的和独特的艺术品的创意领域。
在滑铁卢的大学的研究人员最近开发LyricJam，能够产生歌词现场仪器的先进的计算系统的音乐。该系统在一篇将在国际计算创造力会议上发表并在 arXiv 上预发表的论文中提出，可以帮助艺术家创作与他们创作的音乐非常匹配的新歌词。
“我一直对音乐有着深深的热爱，并且有兴趣了解我最喜欢的一些歌曲背后的创作过程，”进行这项研究的研究人员之一奥尔加·维希托莫娃告诉 TechXplore。“这促使我研究音乐和歌词，以及如何使用机器学习来设计能够激发音乐艺术家灵感的工具。”
几年来，Vechtomova 和她的同事一直在进行专注于歌词生成的研究。最初，他们开发了一个系统，可以通过分析他们过去创作的歌曲和歌词的录音来了解艺术家抒情风格的特定特征或方面。然后，该系统使用在其分析中收集的信息来生成符合特定艺术家风格的歌词。
最近，研究人员还开始研究为录制的器乐的音频剪辑生成歌词的可能性。在他们的新研究中，他们试图通过开发一个可以为现场音乐生成合适歌词的系统向前迈进一步。
“这项研究的目标是设计一个系统，该系统可以生成反映通过音乐的各个方面(例如和弦、乐器、节奏等)表达的情绪和情感的歌词，”Vechtomova 说。“我们着手创建一种工具，音乐家可以用它来为自己的歌曲创作获取灵感。”
从本质上讲，Vechtomova 和她的同事着手创建一个系统，该系统可以处理单个音乐家或乐队演奏的原始现场音乐，并生成与音乐表达的情感相匹配的歌词。然后，艺术家将能够查看这些生成的歌词并从中汲取灵感或改编它们，从而发现他们以前从未考虑过的新的有趣主题或歌词创意。
“我们设想的场景是一个人工智能系统，它充当与音乐家的共同创造伙伴，”Vechtomova 解释说。“从用户的角度来看，LyricJam 应用程序非常简单：音乐家播放现场音乐，系统显示它根据听到的音乐实时生成的歌词。生成的歌词会在会话期间保存，以便艺术家在演奏完后可以查看它们。”
LyricJam 为不同类型的器乐生成的歌词示例。音频剪辑表示为捕获各种音乐特征的频谱图。在训练期间，模型学习将抒情主题、词语和表达与音乐的各个方面(例如节奏、乐器和和声)相关联。一旦经过训练，研究人员设计的系统可以生成新的歌词，以反映艺术家通过他们的音乐所传达的情感。图片来源：Vechtomova、Sahu 和 Kumar
研究人员创建的系统通过将原始音频文件转换为频谱图，然后使用深度学习模型来生成与他们实时处理的音乐相匹配的歌词。该模型的架构由两个变分自动编码器组成，一个用于学习音乐音频的表示，另一个用于学习歌词。
Vechtomova 和她的同事随后设计了两种新机制，将两个自动编码器处理的音乐和歌词表示对齐。最终，这些机制允许他们的系统了解哪种类型的歌词适合特定的器乐。
“我们让机器以无监督的方式从数据中学习这些关联，”Vechtomova 说。“因此，机器学习了与不同类型音乐相关的抒情主题、词语和表达方式。例如，我们观察到为平静和环境音乐生成的歌词与为更具侵略性的音乐生成的歌词大不相同。”
LyricJam 与过去开发的其他歌词生成系统不同的主要特点是，它可以实时创建合适的歌词，就像艺术家在演奏现场音乐一样。有兴趣尝试该系统的音乐家和其他用户可以在https://lyricjam.ai访问实时版本。
“我想强调，这项研究的核心动机不是为艺术家写一首歌，而是通过提出系统通过聆听他们的音乐产生的新想法和表达方式来激发艺术家自己的创造力，”Vechtomova 说。“我们不想让歌词创作过程变得更容易或更快。相反，我们想让它更充实，通过与系统合作帮助艺术家进入创作流程并实现自己的创造力。”
为了评估他们开发的系统，Vechtomova 和她的同事进行了一项用户研究，他们要求音乐家演奏现场音乐并分享他们对系统创作的歌词的反馈。有趣的是，参与这项研究的大多数音乐家表示，他们认为 LyricJam 是一个非批判性的即兴演奏伙伴，鼓励他们即兴创作并尝试不同寻常的音乐表达方式。
“例如，通过改变他们的音乐风格或尝试新的和弦进行，参与我们用户研究的艺术家观察到抒情主题的实时变化，他们发现这令人鼓舞，”Vechtomova 说。“这表明该系统不仅可用于抒情写作，还可用于即兴创作和作曲。”
未来，LyricJam 可以证明是全球音乐家和艺术家的一个非常有价值的工具，帮助他们为他们的歌曲创作独特而有趣的歌词。Vechtomova 和她的同事目前正在研究该系统的最终版本，全世界的艺术家都可以轻松访问该系统，同时还试图设计其他可以改进歌词写作过程的工具。
“设计帮助音乐艺术家释放创造力的工具是我的核心研究兴趣之一，”Vechtomova 说。“我的实验室有许多正在进行的研究项目，我们在那里研究歌词和音乐的其他方面，例如歌词的语音特征和歌曲的音乐结构，以便我们可以将这些方面纳入歌词生成模型中。 ”