AI复活的那些“失落艺术”

2019 年 12 月 19 日

AI复活的那些“失落艺术”

这世上总是避免不了遗憾,但终归有些美好会在“不经意间”补全。AI技术的存在,为这种补全,提供了新的选项。


喜欢古典音乐的朋友,想必对贝多芬都有着一些了解,然而令人遗憾的是,这位扼住命运喉咙的男人,终归是在其完成《第十交响曲》的前夕,溘然长逝。不过,近期的一则消息或许让这一遗憾出现新的转机:《第十交响曲》将由人工智能完成,而这项实验的结果也将由一支完整的交响乐团在 2020 年 4 月 28 日在德国贝多芬的出生地波恩公开奏演。



你会去听 AI 续写的《第十交响曲》吗?


时值贝多芬诞辰 250 周年之际,为纪念这位伟大作曲家为人类音乐艺术留下的宝贵财富,一个国际化的团队将利用 AI 技术续写贝多芬生前未完成的《第十交响曲》。


为了还原或者说是创作经典,一群音乐学家和程序员聚在一起,通过贝多芬未完成的《第十交响曲》和《英雄》等作品的片段来训练人工智能,然后由 AI 即兴创造出《第十交响曲》剩余的部分。


Herbert von Karajan 研究所所长、项目负责人 Matthias Roeder 对《法兰克福周日新闻》说:长久以来,机器从来没完成过这样的任务,这是史无前例的一次尝试。


Roeder 还表示,该 AI 算法正在取得积极进展,它无时无刻不在变化,就像一个懵懂的小孩子在探索贝多芬的世界。但令人遗憾的是,我们并没有找到该算法的具体细节。


贝多芬谱写了著名的《第九交响曲》,家喻户晓的《欢乐颂》就是《第九交响曲》其中的一部分。有证据表明,他生前仍然还在创作《第十交响曲》。但遗憾的是,当这位德国作曲家于1827年去世时只留下了部分草稿和笔记。


技术角度的 AI 作曲


所谓 AI 编曲和作曲,本质上是运行一个复杂的 AI 模型,来对不同的音乐、乐器、节奏、乐理等规则进行学习和反向输出。而且 AI 作曲也并非独一无二的技术,在今年 2 月份,华为就凭借迁移到 Mate20Pro 上的 AI 模型,续写了舒伯特的《d小调第8号交响曲》,并在伦敦的一场音乐会上进行了公演。


华为工作人员阿尔内·赫克尔曼表示,利用 AI 作曲,就像教孩子学习一门语言,开始的时候,他们会犯错误,纠正后还会犯新的错误,所以需要不断地纠正、不断地重复。


OpenAI 的 MuseNet 模型


今年 4 月,OpenAI 也对外发布了一款新型深度神经网络模型 MuseNet,该模型不但可调用 10 种不同乐器生成时长约 4 分钟的音乐作品,而且能够融合从乡村到莫扎特再到披头士等各种音乐风格。


据悉,MuseNet 并非基于人们对音乐的理解进行编曲,而是通过学习预测数十万 MIDI 文件中下一个音符,来找到和声、节奏和曲风的模式。与 GPT-2 相似,MuseNet 同样采用多功能无监督技术。GPT-2 是一种大规模 transformer 模型,经过训练即可预测音频以及文本序列中的下一个音符。


相关 Github 地址:https://github.com/MrCheeze/musenet-midi


微软小冰


小冰的起步较早,在去年 KDD 2018 大会上,微软小冰团队的论文《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》(《小冰乐队:流行音乐的旋律与编曲框架》 )就获得了 Research Track 最佳学生论文。


论文中提到,微软团队设计了一种基于和弦的节奏和旋律交叉生成模型(CRMCG),可以生成带有和弦进行的旋律。而且还提出一种基于多任务学习的多乐器协同编曲模型(Multi-Instrument Co-Arrangement Model,MICA)。


另外,微软小冰的 AI 音乐才华出众,目前已发布数十首接近人类演唱水平的单曲,演唱模型迭代至第五个版本。全新的演唱模型,包括跨越多种演唱技巧的多个声音模型,并提升人工智能歌曲演绎的更高技巧和多风格化,实现了在不同的演唱技巧之间自然过渡。


相关 Github 地址:https://github.com/BennyThink/realXiaoice


AI 在行动


除了续写音乐残篇,AI 还可以从另一个方面发挥作用,比如修补名画、修复老旧照片等。


名画修补



《根特祭坛画》


著名的艺术珍品《根特祭坛画》,自完成之后便历经磨难,但在 AI 技术的加成下,名画修补成为了一件轻松的事。


在根特祭坛画的修复中, 利用 X 射线图像扫描技术进行成像是常见的修复技术,但如何将混合了双面板的 X 射线图像,分离成相应单面 X 射线图像是一个巨大的挑战。为此,伦敦大学和杜克大学的研究者们,提出了一种基于卷积神经网络(CNN)的自监督框架,


这种自我监督的神经网络,可以学习如何将 RGB 图像转换为 X 射线图像,然后作为单面板的虚拟图像“重建”,然后通过最小化重建 X 射线图像的误差,比较与原始混合的 X 射线图像之间的差异,进而让模型实现这种分离。


具体细节上,他们构建了七层的 CNN ,每个卷积层之间含有批量归一化和整流线性单元(ReLU)激活层。网络的结构受到了 pix2pix 结构启发(pix2pix 使用条件对抗网络进行图像到图像转换)。



将 RGB 图像转换为 X 射线图像的神经网络结构


增强与修复照片


日前,一组林青霞的照片引起了不小的讨论,而“AI 老照片修复”也逐渐进入到大众的视野。事实上,相对于名画修补,老旧照片的修复可能相对而言较为简单。


InfoQ 在《一键高清还原老照片:全方位解读美图影像实验室 MTlab 人像画质修复技术》一文中对相关技术进行了揭秘,总结来讲,美图的相关修复技术主要是借鉴了深度学习技术,如降噪、增强、超分、强化学习等,在自研生成网络结构 BeautyGAN 的基础上,结合对抗式生成网络的前沿技术,使 BeautyGAN 具备良好的人像修复能力。


另外,美图影像实验室 MTlab 已经对外正式发布了“美图 AI 开放平台”( ai.meitu.com ),而且据美图技术人员透露,目前的美图 AI 开放平台开放了人脸技术、人体技术、图像识别、图像处理、图像生成等几大类核心 AI 技术。这些技术可通过云端 API/ 移动端 SDK/ 定制解决方案等多种方式对外提供经过市场验证的专业 AI 算法服务。



写在后面


AI 技术的快速发展是好事,对经典、艺术的再加工亦可以实现更多的美好。但是,AI 技术本身就是一把“双刃剑”,在一切美好背后也会隐藏着“作恶之心”,Deepfake的滥用就是一个很显而易见的例子。至于如何让这把“剑”利已不伤人,在“弥补遗憾”的同时不去“作恶”,这将是未来很长一段时间我们需要思考和解决的问题。


2019 年 12 月 19 日 08:10579
用户头像
张之栋 InfoQ编辑

发布了 91 篇内容, 共 32.4 次阅读, 收获喜欢 150 次。

关注

评论

发布
暂无评论
发现更多内容

因为 Django ORM update,我今天差点「从删库到跑路」

AlwaysBeta

数据库 django 编程 程序员

Mybatis执行流程浅析(附深度文章推荐&面试题集锦)

Kerwin

Java mybatis

没内鬼,来点干货!volatile和synchronized

Kerwin

Java volatile synchronized

图解SharePoint Server 2010安装

JackWangGeek

SharePoint

redis系列之——一致性hash算法

诸葛小猿

redis 一致性hash redis集群

Hello!GitHub 好用好玩值得收藏的开源项目集合~

Kerwin

开源

疫情年逆风翻盘

Kerwin

程序员

SharePoint 部署架构

JackWangGeek

架构 BI SharePoint

图解SQL Server 2008 R2安装

JackWangGeek

sql

Java8——方法引用

Java旅途

java8 方法引用

nginx在重定向时端口出错的问题

烫烫烫个喵啊

nginx

【计算机网络】你需要知道的链路层知识

烫烫烫个喵啊

计算机网络 链路层 交换机

关于如何判断一个list是否为空的思考

Leetao

Python Python基础知识 列表

Elasticsearch从入门到放弃:再聊搜索

Jackey

elasticsearch

程序员的时间管理

Kerwin

程序员

当我们在谈架构时,我们谈的是什么?

Winfield

架构 企业架构 系统架构

设计模式总篇:从为什么需要原则到实际落地(附知识图谱)

Kerwin

Java 设计模式

数据加工

阡陌r

有朋自远方来 不亦说乎,请多关照哈

InfoQ_353bc6b96230

如何搭建个人博客:新方案 blogdown + hugo + netlify + github

lmymirror

R 博客 blogdown

week6 总结

不在调上

纯CSS实现自定义单选框和复选框

爱嘤嘤嘤斯坦

CSS Java 编程语言 标签

开发框架文档体系化的思考

vivo互联网技术

框架开发

一张PDF了解JDK10 GC调优秘籍-附PDF下载

程序那些事

Java jdk JVM GC JDK10

SpringBoot代码生成器

Kerwin

Java JavaScript 开源

图解Windows Server 2008 R2安装

JackWangGeek

windows-server

Docker网络学习第一篇:Linux虚拟网络

Lazy

Docker Linux 网络

没内鬼,来点干货!SQL优化和诊断

Kerwin

MySQL

6 个珍藏已久 IDEA 小技巧,这一波全部分享给你!

楼下小黑哥

Java IDEA

日记一则

progyoung

简述 CAP 原理

不在调上

AI复活的那些“失落艺术”-InfoQ