环球速读:中央音乐学院电子音乐博士探索AI与脑科学在音乐领域的应用
2023-05-09 00:45:05来源:搜狐音乐

5月4日晚,中央音乐学院2020级电子音乐作曲专业博士毕业音乐会在中央音乐学院演奏厅举行。此次音乐会由中央音乐学院音乐人工智能系主任李小兵教授的三位博士生栾家、张渊、孙宇明多首独具匠心的音乐作品组成,共同探讨人工智能(AI)技术与脑科学技术在音乐创作与表达上的无限可能。


【资料图】

“音乐人工智能与音乐信息科技系创建于2019年,这是我们系成立以来,第一次公开演出的博士毕业音乐会。”中央音乐学院音乐人工智能与音乐信息科技系主任、教授李小兵介绍说,“三位电子音乐作曲专业的博士毕业生,通过三年的学习,掌握了很多人工智能的技术,运用在了电子音乐的创作当中。这场音乐会也用人工智能的技术,展示出了我们年轻作曲家的新风貌。”

本场2020级电子音乐作曲专业博士毕业生音乐会上,三位博士分别展示了自己的四部创新性的作品,将人工智能技术与脑科学技术融入音乐创作,探索了情感反馈、共情算法、机器视觉、红外体感控制等技术在音乐领域的应用,音乐会包含了一系列富有创新性的作品。

栾家博士在作品《五蕴(Five Skandhas)》中,将电子音乐与AI机器视觉、红外体感控制相结合,形成体态、影像、音乐间的三重交互,构建出一个沉浸式的视听空间,表现了人在对物质、感受、意念、行为和意识颠覆与超越后,达到的内心平静与解放。作品《连续体(Continuum)》借用物理学中“时空连续体”这一概念,将声音采样参数通过洛伦兹方程进行计算与转换,结合3D化的声音呈现方式,从物理与心理两个角度探讨音乐的时间、空间与人的感知预期之间的关系,展现音乐的多重维度。

作品《之二 ——司岗(Er No.2—Si Mgang)》采用佤族民间乐器的现场演奏,结合人工智能乐器识别技术,使用手势控制器对现场声音进行实时变形与重塑,并实时控制声音的现场位置移动。试图将原始的民间音乐与科技化的音乐呈现相结合,在原始苍茫,大地混沌的意境中镶入数字世界的符号。《全是爱(All is AI)》是一首借助ChatGPT进行声音与视觉编码的作品,通过AI辅助声音检索、音乐合成和可视化设计,探索人机协作的电子音乐创作方式,呈现人类的共同情感表达。

张渊博士的作品突出了脑科学、人工智能与电子音乐的交叉融合,探索了未来音乐创作与表达中新的可能性。中国古人讲,诚意正心、修身齐家治国平天下。在作品《观己(Self in the mirror)》中,交互反馈式的脑电音乐将实时捕捉欣赏者的情绪变化,并反馈生成为有助于欣赏者注意力提升的声音内容,以此来安静其心神,进入沉思和反省的状态,之后,伴随着作品对七罪宗的多媒体艺术化表现,引导欣赏者审视这七样人性之弱点,思考何为善、何为美、何为心。《观己》中的实时情感反馈机制使得音乐创作过程变得更加个性化和多样化,让我们重新审视音乐与情感之间的关系,同时也拓宽了音乐表达的边界。

区别于传统音乐会按照既定乐谱演奏曲目,本场音乐会上的演奏很多是即兴的。“我的作品是把脑电科技和人工智能相结合,融入到创作与欣赏的全流程当中。”2020级电子音乐作曲专业的博士研究生张渊带来了四部作品,其中,《观己》和《云间虹霓》都用到了脑科学的相关研究成果。尤其是《云间虹霓》,随机选出一名观众与演奏者一同戴上脑电波采集设备,“他们两位的脑电波会传输到电脑当中去,根据脑电波的计算结果,会知道听众和演奏者的一个共情的趋势,这个趋势就会生成下一段音乐,演奏者再根据生成的音乐,配合进行现场的即兴演奏。”张渊说。作品《云间虹霓Over the Rainbow》将认知科学与AI计算相结合,与演奏家一起通过二胡和吉他中西两种乐器,对灭世洪水的故事进行表现。其通过实时捕捉的脑电信号实现了演奏者与听众之间的共情互动,挑战了音乐创作与表达的边界。

在演奏过程中,演奏者与听众的脑电信号会被传输至计算机进行分析与计算,进而驱动音乐段落的发展模式。通过使用AI算法,作品实现了对演奏者与听众情绪变化的实时捕捉与响应,创造出一种全新的共情音乐体验。这对于演奏者来讲是一个巨大的挑战,为了保证演出质量,张渊特别邀请了民乐系的博士王楚婷助阵。演出过程中,王楚婷头戴脑电帽,与即兴选出的观众的脑电波生成的音乐一起,完成了演出。这对于习惯了传统演奏的王楚婷来说非常特别,“每一次的演出都不一样,甚至排练都会不同。”王楚婷表示,“演奏者和观众产生一种碰撞,这种感受能即时反馈给演奏者,我基于这种碰撞的结果做出一些调整。演奏的过程完全是实时性甚至是唯一性的,演奏者的状态不同,演出的音乐都不一样,这种参与感是前所未有的。”

孙宇明博士的作品涵盖了3D音频技术、AI旋律衍生算法等多种创作技术。当晚音乐会呈现了他为古筝、舞蹈与AI旋律衍生算法而作的《青蛇》。作品《时光河》由复杂网络的声音映射与可视化技术构建而成,这些复杂网络由自研三维 GPU 图可视化引擎驱动——这项技术可以实时模拟、渲染包括微信社交网络、邮件网络、大型网站站点网络在内的多个图数据。作品的创作初衷是在视觉与听觉的交互呈现中追溯时光流淌的痕迹,通过艺术手段刻画对于宇宙时空多维认知的哲学性思考。

作品《繁星散落的夜晚》是在3D音频回放系统中创作的沉浸式多媒体音乐作品。作品的创作元素融合真实器乐创作语汇、电子音乐创作语汇,并在作品中进行了听觉与视觉影像的交互呈现——孙宇明利用“星空”这一借以抒怀的意像载体,隐喻化地借“星”写“心”,为现场的观众呈现了一场别开生面的3D视听盛宴。

中央音乐学院音乐人工智能系主任、本场音乐会指导教师/艺术总监李小兵教授表示:“我们和世界顶级人工智能专家跟一起研究新的技术,并将其运用到音乐的创作上来,是真正意义上的交叉。这场音乐会不是传统电子音乐的交互手段,而是应用我们自己最新的研究成果,这些技术未来一定会更广泛地运用到音乐创作的多个层面。可以说,这场音乐会标志着电子音乐作曲已经步入人工智能的时代,与最前沿的科技结合,是未来音乐创作的方向,未来的音乐有无限可能性。”

标签:

最后一页
当前热文:4399造梦西游3凌霄宝殿掉什么_造梦西游3凌霄宝殿下一关是什么

精彩推荐

资讯News

  • 聚焦Policy