本文摘要：铜灵 编译整理量子位 出品 | 民众号 QbitAI克日，MIT（麻省理工学院）的盘算机科学与人工智能实验室（CSAIL）里，多了个懂音乐的AI PixelPlayer。

铜灵 编译整理量子位 出品 | 民众号 QbitAI克日，MIT（麻省理工学院）的盘算机科学与人工智能实验室（CSAIL）里，多了个懂音乐的AI PixelPlayer。有它助力，音乐小白也能一键轻松将器乐大合奏视频中的每种乐器单独提取出来，享受器乐独奏。甚至，你也能将每种乐器的声音增大或减小，就像下面这样——AI在手，DJ我有。

有了这种操作，那岂不是人人都可以成为音乐后期制作人？勤学DJPixelPlayer是只勤学的AI，从音乐小白到调音大师的进阶之路上，研究人员没有提供人类标注过的乐器和音色的对应关系。这只AI学习的素材也很简朴，用60多个小时无标签器乐演奏的视频喂食，成熟的PixelPlayer就会具备自动识别并分散差别乐器声部的技术。而且能够在视频的每个像素上定位声源，团结剖析声音和图像。

现在，PixelPlayer已经能够识别20种音色了。对于之前没有听到过的乐器，PixelPlayer也能“揪个现行”出来。之后，你就能凭据自己的喜好自由调治各个声部的声音了。

当你听交响乐时，迷恋小提琴的声音？那就一键把它调大点嘛。如何调教一个DJ AI?PixelPlayer是如何降生的？在论文The Sound of Pixels中，Hang Zhao、Chuang Gan等研究人员解密了整个历程。

接受了大量视频的训练后，PixelPlayer将举行视听源举行分散和定位时，会把输入的声音信号分成N个声道，每个声道对应差别的乐器种别。此外，PixelPlayer对声音定位时，并为输入视频中的每个像素分配差别的声波。在将两个视频的音频信号混淆时，MIT研究人员提出了一种Mix-and-Spparate的训练模型，可将差别泉源的音频混在一起，而无需传统方法中的监视历程。

现在，这篇论文已经被今年的ECCV（欧洲盘算机视觉集会）组委会吸收。与这项研究类似的另有两个兄弟研究，均探索了图像和音频联合后对分散声音的资助。一是论文Looking to listen at the cocktail party: A speaker-independent audio-visual model for speech separation，借助人类外貌解决鸡尾酒问题。

论文地址：https://arxiv.org/abs/1804.03619二是论文Audio-visual scene analysis with self-supervised multisensory features，这个声音-图像系统可分散屏幕中可见的物体的声音和不行见物体的声音。论文地址：https://arxiv.org/abs/1804.03641相关资料项目地址：http://sound-of-pixels.csail.mit.edu/论文下载地址：https://arxiv.org/pdf/1804.03160.pdf作者系网易新闻·网易号“各有态度”签约作者— 完 —实习生招聘量子位正在招募运动运营实习生，筹谋执行AI明星公司CEO、高管等到场的线上/线下运动，有时机与AI行业大牛直接交流。事情所在在北京中关村。

简历接待投递到quxin@qbitai.com详细细节，请在量子位民众号(QbitAI)对话界面，回复“实习生”三个字。量子位 QbitAI · 头条号签约作者վ'ᴗ' ի 追踪AI技术和产物新动态。

本文来源：半岛官网入口app-mypinnock.com