主页 > W逸生活 >人工智慧与音乐科技:分析、理解、与创作 >

人工智慧与音乐科技:分析、理解、与创作


人工智慧與音樂科技:分析、理解、與創作

人工智慧眼中的音乐世界呈现什幺样貌?演讲中,杨奕轩老师向我们介绍Music AI Lab目前的四大研究主题,带领我们认识音乐科技的不同面向以及AI扮演之角色。

AI Listener:音乐赏析
属于音乐资讯检索的範畴。AI聆听乐曲时,具备「理解音乐」的能力,能标记资料库中乐曲的情绪与曲风属性,让使用者更有效率找到他们想听的音乐。此外,AI也能从音乐中辨识出弦律、乐器、音调,将声音转换为乐谱的形式。

AI Composer:音乐创作
除了让AI自由发挥创意之外,也可输入个人的「灵感」(例如:洗澡时哼出的一段弦律、喜欢的和弦)作为条件,AI将根据给定的条件产生音乐,以乐谱形式呈现。

AI Performer:音乐演奏
AI读着乐谱,以特定的表演风格演奏谱上的乐器,展现其对音乐的诠释。

AI DJ:音乐再造
AI如同DJ(Disc Jockeys),重新混合既有的音乐,藉由包装与改编赋予乐曲新的价值。

人工智慧与音乐科技:分析、理解、与创作

人工智慧于音乐科技扮演之角色(图片来源:杨奕轩)

抽丝剥茧──探讨音乐组成成分

AI对音乐的理解(AI Listener),包含曲风分类、音乐转谱(audio to music score)、声源分离(source separation)等。演讲中杨老师以声源分离进行展示,亦即将一首歌中的人声与其他音乐(例如:鼓声、bass)分成独立的音轨。从 [Demo] 歌曲清单中选择一首歌曲,以滑鼠右键关闭/开启任一条音轨,可观察音讯分离软体在英文、中文、台语、日文歌上,皆有不错的表现。

有了独立的音轨,我们能进一步拼凑不同首歌曲,以A曲的人声搭配B曲的背景乐,也可以将摇滚乐团中不同乐手的声音分离,找出每个人的特色。喜欢唱卡拉OK的人,更能方便地产生伴唱带。

音乐生成──创作「好听」的音乐

深度学习技术的进步,让创作「好听」的音乐成为可能的任务。从IBM Watson Beats、Google Magenta,到阿里音乐、AI Lab钢琴师雅婷,音乐生成无疑是各家争豔的舞台。

目前音乐生成主要有两种应用情景:作曲辅助与配乐创作。作曲辅助是AI藉由对乐理规则的理解,协助作曲家处理重複性的工作,就像画动画时自动补满两个图形中间转换的影格,提升作品细緻度。而生成配乐的好处,则是利用较低的成本,为广告或电影产生没有版权问题的音乐。在此情景下,AI着重的是有条件(conditioned)的生成,例如:给定主旋律、曲风或情感标籤、歌词、影片……等,产生符合需求的乐曲。

杨老师展示了lead sheet谱生成与混合(Lead Sheet Generation and Interpolation)[Demo] 之研究成果。这是个互动式生成的範例,「生成」根据现有的歌曲进行改编,产生具有不同和弦的变奏版本。「混合」结合了两首歌曲,让改编的歌曲从其中一首出发,逐渐偏向另一首的曲风或类型,重点在于理解两首歌曲的曲调,渐进式变化,而不是将两首的音讯直接加起来除以二。

多音轨生成(Multi-track Generation) [Demo] 的特色则是具备统合多个声道的能力,可产生包含五种乐器和弦的音乐。

AI 音乐路之挑战与契机

那幺如何评估AI创作出来的音乐「好不好」呢?抑或是怎幺样才是「好」的音乐?现阶段採用的是「感觉指标」,包括弦律和弦、乐曲行进感、惊喜与创新感等定性分析,辅以量化的和弦变化程度、和弦是否使用弦律中的音符等,作为参考标準。

AI与音乐产业,究竟呈现何种互动关係?以科技的角度来看,AI工具辅助人类创作,可以协助处理比较繁琐的任务,由人类进行较需要创意的环节。我们预期未来几年相关领域的研究会着重透过「人机互动」来创作音乐,人与AI紧密合作,而非由AI或人类独力完成谱曲。类似的改变可能逐渐影响音乐产业创作音乐、发布音乐、乃至培养音乐人的方式。

从音乐检索到生成,AI的角色由被动化为主动,立足于对音乐规则的理解,朝着产生新作品的方向迈进。期待AI能编出複杂度、完整度愈来愈高的曲子,陪伴人类探索更高深的音乐殿堂。

(本文为教育部「人工智慧技术及应用人才培育计画」成果内容)



上一篇: 下一篇: