网易科技讯 1月21日消息，时间过得比我们预想的要快，并且摩尔定律依然在发挥着作用。但是，仍然有很多事情要做。在接下来的文章中，我希望能够列出2019年（部分发生在2018年）机器学习（ML）和深度学习(DL)领域的重大事件。这些大部分都是基于神经网络的模型，给我留下了深刻的印象。

图1：BigGAN生成的时钟图像

伊恩·古德费罗（Ian Goodfellow）曾发布推文，完美地展示了深度学习领域取得的成就：在短短4年半时间里，生成性对抗网络（GAN）技术在面部生成领域取得的重大进展。即使这与特定的主题有关，GAN取得的进步也很好地表明了已经发生的事情，以及即将发生的事情。一幅画胜过千言万语。我有一种感觉，2019年的进步比几年前迅猛得多。 

1 BigGan

BigGan扩展了生成性对抗性网络（GAN），允许用户在巨大的可视数据库上进行训练，并生成新的可视图像。该系统的核心是两个神经网络，即生成器和鉴别器。生成器创建新的视觉效果，并试图说服鉴别器它是真实的图像。而鉴别器将生成的图像与其“经验”对照，并将其作为“未通过”发送回生成器。这种反复的相互作用会始终持续下去，直到双方达成某种“共识”。尝试使用这款BigGAN功能，用户可以使用分类条件采样并创建例如山谷之类的图像：

图2：BigGAN生成的山谷图像

如你所见，BigGan仍然属于弱人工智能（Weak AI）。该网络不知道时钟是什么，它们只是知道，这个东西会是什么样子：“圆形”，“有字符和箭头”。我认为AI解释世界的尝试与柏拉图的形式与思维理论有明显的相似之处：在柏拉图看来，思维或形式是物质事物的元物理本质。物质的东西不是原作，而只是思维或形式的仿制品。

2 BigGAN蜕变

我们可以更进一步，BigGAN不仅仅能生成带标签的图像，我们还可以使用它和插值函数来合并和变形东西。在BigGAN的情况下，生成的图像A转换为生成图像B是可能的，尽管它们在语义上是不同的。使用这些设置，你可以把约克夏犬变成航天飞机，这种方法开启了前所未有的可能性，甚至超越了人类的想象。你甚至可以制作出渐变性更强的画面，并将它们组合成动画素材。

图3：狗狗变成了航天飞机

3风格转换

StyleGAN允许另一种类型的图像修改——风格转换，即图像A的风格被转移到图像B中。目前有各种各样基于深度学习的免费和付费应用程序，可以把你的图像转换成世界艺术大师的艺术作品。我用各种艺术家的风格转换了我的用户图片，得到了令人信服的结果。

有人可能很熟悉风格转换功能，因为Towards Data Science提供了许多关于这个主题的很棒的文章。艺术家基尼·科根（Gene Cogan）将风格转移运用到迪斯尼的《爱丽丝梦游仙境》(茶会场景)中，并将17个著名的艺术作品的风格转移到动画中。最近，StyleGAN2进入人们的视线，其图像质量得到了提高。此外，新的图像修改方式也成为可能。例如，StyleGAN投影，与任何可能的图像中的目标图像对齐。

4风格转换的创意运用：绘画的深度协调性

有些艺术家和开发者使用风格转换功能来进行创造性的图像处理。这个想法非常简单：1）以目标图像B为例；2）将其风格转换为要构建到B中元素；3）结合与享受。该方法允许的艺术用途，例如用于数字图像拼贴中的风格转移。基尼·科根（Gene Cogan）在自拍照中使用风格转换功能，将自己植入到世界艺术史中。

5Comixify，将视频转换为故事板

华沙科技大学的研究人员都对人工智能和漫画艺术着迷，为此他们把自己的热情结合到一个惊人的项目中。1）该模型利用智能视频摘要对视频进行分析；2）视频片段中的场景由深度学习定义的、最具美学影响的帧分隔；3）对图像的特定风格化进行了风格转换；4）选定的帧被放入故事板或漫画布局中。

我是塔尔科夫斯基（Tarkovsky）电影的超级粉丝，所以我很想看看这部超级版《潜行者》会发生什么。结果令人震惊，特别是如果你知道并且喜欢这部电影，你会发现画面的选择是多么令人惊讶。它实际上描绘了《潜行者》的核心思想，却没有破坏电影。

6 CycleGAN，无输入输出对的图像到图像转换

当BigGAN在预先训练的基础上生成新图像，StyleGAN在两个图像之间传输样式时，CycleGAN使用单个图像将其样式或特征转换成不同的东西。实际上，这是一个不配对的图像到图像转换，使用的是周期一致的对抗网络。1） 图像由GAN进行分析(包括模式和目标检测)；2）应用预先训练好的特征修改；3）与“1”中的图像相同，“2”实现了新的视觉效果。

CycleGAN在不引用其他图像的情况下更改图像的样式和视觉特征。它不仅可以把一个预先训练好的艺术家风格转化成一张照片，也可以将一幅画修改成逼真的照片，使用预先训练的分割特征知识。你甚至可以在“马与斑马”之间进行转换。对我来说最重要的是，深度学习使图像的可修改性达到了一个新的高度，适合艺术用途。但危险同样存在，比如滥用情况。

7StyleGAN训练绘画

_C0D32_在reddit上训练StyleGAN使用kaggle提供的24k艺术数据集。通过他修改的代码，产生了各种风格的新艺术作品。也就是说，StyleGAN用预先训练过的艺术风格尝试创作原创艺术品。有趣的是：即使你用这个模型得到了无数独特的艺术品，但只要有一些艺术史的知识，你就可以猜到，哪些风格、艺术运动甚至艺术家在新的图像中闪耀着光芒。

8 pic2pix：图像到图像转换

Pix2pix是由菲利普·伊索拉（Phillip Isola）等人开发的，并在2017年迅速走红。由条件对抗网络完成的图像转换，允许将人造涂鸦呈现为照片级的图像。

这肯定不只是有趣的草图转换：通过预定义的设置，用户可以将航拍照片转换为地图，将日光照片转换为夜景照片等。条件对抗网络检测模式并将其转换为所需的主题(你必须定义目标图像任务)。网络针对特定的标记图像数据集进行训练。

英伟达通过GauGan将这种方法提高到了另一个水平，这是他们在AI Playground进行的实验之一。你可以使用分段驱动草图：每种颜色都应用于特定的对象或材质。转换后生成新图像具有类似CycleGAN的功能，可在各种视觉功能之间切换。

9 pix2pix、face2face、DeepFake以及Ctrl+Shift+Face

深度学习的世界充满了实验。人们跳出思维束缚，这是深度学习最鼓舞人心的地方，也是通用人工智能最鼓舞人心的地方。吉恩·科根(Gene Cogan)用动态的Pix2pix进行了实验：在这种情况下，来源不是草图，而是网络摄像头(他的脸)，目标是根据特朗普的照片进行训练。

这些实验启发了研究人员，开发face2face程序。face2face是个模仿德国总理面部表情的Pix2Pix演示程序。1）face2face模型了解面部特征/地标；2）扫描面部特征的摄像头输入；3）它最终把这些输入变成了另一张脸。

后真相时代的另一个前沿已经到来，现在我们不仅可以修改图像，还可以修改移动的图像。就像流行即时通讯应用上的AR应用程序一样，人工智能以完美的方式解释视频片段并对其进行修改。像Ctrl+Shift+Face这样的艺术家将这种方法完善到了令人难以置信的水平：他在face2face帮助下转换了邪教电影中演员的顽皮面孔。

这种实现在以下方面具有多种可能性：电影制作人可以在试镜前与演员进行实验。他们还可以本地化电影，以便更好地同步各种语言，就像Synthesia对大卫·贝克汉姆(David Beckham)所做的那样。

现在想象一下使用AI驱动的语言翻译和语音合成进行国际视频会议的这些可能性。艺术家们可以创作出颠覆性和超现实主义的“Being John Malkovich”之类的杰作。

逝去的人也可以复活。最好的例子是歌手Hibari Misora，他在一年一度的日本新年电视活动NHK Kōhaku Uta Gassen上表演了新歌，即使她30年前就去世了。在AI的帮助下重建视觉，用Voaloid模拟语音。

但深度换脸（DeepFake）的新途径是开放的。还记得ZAO吗，这是一款深度换脸搞笑应用程序：可以将普通人的脸换到名人身上，比如莱昂纳多·迪卡普里奥（Leonardo DiCaprio）。 

10三维肯·伯恩斯效应

这款由西蒙·尼古拉斯（Simon Nikolaus）开发的模型可以将单幅图像转换为跟踪镜头。该模型识别背景，模拟深度，用内容敏感的修复来填充缺失的区域，添加新的角度。简而言之，只需一张图像，你就可以生成空间3D视频片段。

11ArtBreeder：不限量生成艺术品

乔尔·西蒙（Joel Simon）将BigGAN和其他模型应用到用户友好的Web应用程序ArtBreeder中。你有许多不同的可能性来创建和修改面孔、风景、通用图像等。Artbreder同时在一个生动的社区中成长和发展，在这个社区中，用户和开发者正在进行持续的对话。

12DeOldify，黑白照片的脱旧彩色化

DeOldify是由詹森·安蒂科（Jason Antic）创建并发布的。这个项目的任务是对旧图像和胶片进行彩色化和修复。DeOldify使用通过两个神经网络生成器和鉴别器之间的迭代交互作用(就像ArtBreeder中的那样)，生成性对抗性网络。

但与上个模型不同的是，DeOldify中的图像不会以其形式修改或生成。GAN的力量带来了颜色，生成器将颜料应用到它训练过的识别对象上，而鉴别器则试图批评颜色的选择。当然，这些颜色不会重复原来的调色板。但它使历史照片充满活力，使它们与我们的时代格格不入。

13由AI提供动力的VR

AI驱动的VR是可能的。实际上，这是英伟达一年前发布的新闻，而且非常有前景。在这里，城市和视觉都是在谷歌街景上训练的，所以VR城市体验是通过深度学习模型重建的。

为了进行培训，研究团队在装有cuDNN加速PyTorch深度学习框架的DGX-1上使用了NVIDIA Tesla V100 GPU，以及来自Cityscapes和Apolloscapes数据集的数千个视频。你可以想象这种方法的所有潜力：“从头开始”逼真的城市模拟，帮助城市发展，交通管理和物流，重塑视频游戏前景。

14Runway ML

Runway是个终极应用程序，它使用各种ML/DL模型来满足不同的需求。它可以翻译Image2Text，在图像之后生成文本(使用GPT-2)，检测照片和视频片段中的对象，还可以将各种模型组合成连锁反应，而且是免费的。