AI 复活的那些“失落艺术”

阅读数:319 2019 年 12 月 19 日 08:10

AI复活的那些“失落艺术”

这世上总是避免不了遗憾,但终归有些美好会在“不经意间”补全。AI 技术的存在,为这种补全,提供了新的选项。

喜欢古典音乐的朋友,想必对贝多芬都有着一些了解,然而令人遗憾的是,这位扼住命运喉咙的男人,终归是在其完成《第十交响曲》的前夕,溘然长逝。不过,近期的一则消息或许让这一遗憾出现新的转机:《第十交响曲》将由人工智能完成,而这项实验的结果也将由一支完整的交响乐团在 2020 年 4 月 28 日在德国贝多芬的出生地波恩公开奏演。

AI复活的那些“失落艺术”

你会去听 AI 续写的《第十交响曲》吗?

时值贝多芬诞辰 250 周年之际,为纪念这位伟大作曲家为人类音乐艺术留下的宝贵财富,一个国际化的团队将利用 AI 技术续写贝多芬生前未完成的《第十交响曲》。

为了还原或者说是创作经典,一群音乐学家和程序员聚在一起,通过贝多芬未完成的《第十交响曲》和《英雄》等作品的片段来训练人工智能,然后由 AI 即兴创造出《第十交响曲》剩余的部分。

Herbert von Karajan 研究所所长、项目负责人 Matthias Roeder 对《法兰克福周日新闻》说:长久以来,机器从来没完成过这样的任务,这是史无前例的一次尝试。

Roeder 还表示,该 AI 算法正在取得积极进展,它无时无刻不在变化,就像一个懵懂的小孩子在探索贝多芬的世界。但令人遗憾的是,我们并没有找到该算法的具体细节。

贝多芬谱写了著名的《第九交响曲》,家喻户晓的《欢乐颂》就是《第九交响曲》其中的一部分。有证据表明,他生前仍然还在创作《第十交响曲》。但遗憾的是,当这位德国作曲家于 1827 年去世时只留下了部分草稿和笔记。

技术角度的 AI 作曲

所谓 AI 编曲和作曲,本质上是运行一个复杂的 AI 模型,来对不同的音乐、乐器、节奏、乐理等规则进行学习和反向输出。而且 AI 作曲也并非独一无二的技术,在今年 2 月份,华为就凭借迁移到 Mate20Pro 上的 AI 模型,续写了舒伯特的《 d 小调第 8 号交响曲》,并在伦敦的一场音乐会上进行了公演。

华为工作人员阿尔内·赫克尔曼表示,利用 AI 作曲,就像教孩子学习一门语言,开始的时候,他们会犯错误,纠正后还会犯新的错误,所以需要不断地纠正、不断地重复。

OpenAI 的 MuseNet 模型

今年 4 月,OpenAI 也对外发布了一款新型深度神经网络模型 MuseNet ,该模型不但可调用 10 种不同乐器生成时长约 4 分钟的音乐作品,而且能够融合从乡村到莫扎特再到披头士等各种音乐风格。

据悉,MuseNet 并非基于人们对音乐的理解进行编曲,而是通过学习预测数十万 MIDI 文件中下一个音符,来找到和声、节奏和曲风的模式。与 GPT-2 相似,MuseNet 同样采用多功能无监督技术。GPT-2 是一种大规模 transformer 模型,经过训练即可预测音频以及文本序列中的下一个音符。

相关 Github 地址: https://github.com/MrCheeze/musenet-midi

微软小冰

小冰的起步较早,在去年 KDD 2018 大会上,微软小冰团队的论文《 XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music 》(《小冰乐队:流行音乐的旋律与编曲框架》 )就获得了 Research Track 最佳学生论文。

论文中提到,微软团队设计了一种基于和弦的节奏和旋律交叉生成模型(CRMCG),可以生成带有和弦进行的旋律。而且还提出一种基于多任务学习的多乐器协同编曲模型(Multi-Instrument Co-Arrangement Model,MICA)。

另外,微软小冰的 AI 音乐才华出众,目前已发布数十首接近人类演唱水平的单曲,演唱模型迭代至第五个版本。全新的演唱模型,包括跨越多种演唱技巧的多个声音模型,并提升人工智能歌曲演绎的更高技巧和多风格化,实现了在不同的演唱技巧之间自然过渡。

相关 Github 地址: https://github.com/BennyThink/realXiaoice

AI 在行动

除了续写音乐残篇,AI 还可以从另一个方面发挥作用,比如修补名画、修复老旧照片等。

名画修补

AI复活的那些“失落艺术”

《根特祭坛画》

著名的艺术珍品《根特祭坛画》,自完成之后便历经磨难,但在 AI 技术的加成下,名画修补成为了一件轻松的事。

在根特祭坛画的修复中, 利用 X 射线图像扫描技术进行成像是常见的修复技术,但如何将混合了双面板的 X 射线图像,分离成相应单面 X 射线图像是一个巨大的挑战。为此,伦敦大学和杜克大学的研究者们,提出了一种基于卷积神经网络(CNN)的自监督框架,

这种自我监督的神经网络,可以学习如何将 RGB 图像转换为 X 射线图像,然后作为单面板的虚拟图像“重建”,然后通过最小化重建 X 射线图像的误差,比较与原始混合的 X 射线图像之间的差异,进而让模型实现这种分离。

具体细节上,他们构建了七层的 CNN ,每个卷积层之间含有批量归一化和整流线性单元(ReLU)激活层。网络的结构受到了 pix2pix 结构启发(pix2pix 使用条件对抗网络进行图像到图像转换)。

AI复活的那些“失落艺术”

将 RGB 图像转换为 X 射线图像的神经网络结构

增强与修复照片

日前,一组林青霞的照片引起了不小的讨论,而“AI 老照片修复”也逐渐进入到大众的视野。事实上,相对于名画修补,老旧照片的修复可能相对而言较为简单。

InfoQ 在《一键高清还原老照片:全方位解读美图影像实验室 MTlab 人像画质修复技术》一文中对相关技术进行了揭秘,总结来讲,美图的相关修复技术主要是借鉴了深度学习技术,如降噪、增强、超分、强化学习等,在自研生成网络结构 BeautyGAN 的基础上,结合对抗式生成网络的前沿技术,使 BeautyGAN 具备良好的人像修复能力。

另外,美图影像实验室 MTlab 已经对外正式发布了“美图 AI 开放平台”( ai.meitu.com ),而且据美图技术人员透露,目前的美图 AI 开放平台开放了人脸技术、人体技术、图像识别、图像处理、图像生成等几大类核心 AI 技术。这些技术可通过云端 API/ 移动端 SDK/ 定制解决方案等多种方式对外提供经过市场验证的专业 AI 算法服务。

AI复活的那些“失落艺术”

写在后面

AI 技术的快速发展是好事,对经典、艺术的再加工亦可以实现更多的美好。但是,AI 技术本身就是一把“双刃剑”,在一切美好背后也会隐藏着“作恶之心”, Deepfake 的滥用就是一个很显而易见的例子。至于如何让这把“剑”利已不伤人,在“弥补遗憾”的同时不去“作恶”,这将是未来很长一段时间我们需要思考和解决的问题。

评论

发布