双子塔首页

返回首页 微信
微信
手机版
手机版

宫崎骏动画里的新垣结衣见过没?这个开源动漫生成器让你的照片秒变手绘日漫_一分快三注册

2020-03-28 新闻来源:双子塔首页 围观:106
电脑广告
手机广告
【一分快三注册】

机械之心报道

介入:肖清、思

随手拍张照片,顺势转换为宫崎骏、新海诚等日漫大师的手绘气概作品,这个专门天生动漫图像的 GAN,实测很好用。

机械之心凭据真实店肆照片天生的效果图,一度以为,这就是某个日漫番剧的截图。

只管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画,但许多人可能以为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫,才有了灵魂,张张都能成为壁纸,而整个日漫也以二维为焦点。

若是有模子能将真实画面转化为日漫气概的手绘画面,那一定异常炫酷。最近机械之心发现确实有这些模子,从 CartoonGAN 到 AnimeGAN 都能天生异常有意思的图像。

这里有一个 TensorFlow 新项目,它实现了 AnimeGAN,并提供了预训练模子。也就是说,我们下载后可以直接试试天生效果。作为日漫气概的爱好者,我们很快就试用了一下新项目。

项目地址:https://github.com/TachibanaYoshino/AnimeGAN

虽然原项目给出的最佳示例许多都是街景,但我们发现种种场景也都还行,如下是我们试用的原图与天生效果。看看第一张樱花道天生效果,溘然有一种《千与千寻》的感受。

若是只针对人物,转换效果也是异常不错的。我们实验将新垣结衣的照片输入 AnimeGAN 模子,然后就有如下这种神奇的画风,感受直接用到动漫里也没什么问题了。

在原 GitHub 项目中,作者还给了异常多的示例,上面只是机械之心试用的效果,你也可以来用一用。

AnimeGAN

整个项目实现的是论文「AnimeGAN: a novel lightweight GAN for photo animation」中所提方式,作者在论文中分别将 AnimeGAN 与 CartoonGAN、ComixGAN 举行对比。

从图中可以看到,AnimeGAN 在细节方面的显示要优于以上两种方式,色彩相对而言加倍自然,涂抹感也没有那么强烈。最显著的是第二行的效果图,使用 AnimeGAN 天生的漫画加倍靠近宫崎骏的画风。

方式简介

对于这个项目的 AnimeGAN,如下所示为 AnimeGAN 所接纳的天生器网络与判别器网络。看起来模子整体是对照通例地一个卷积神经网络,但它会接纳实例归一化以及新型的 LReLU 激活函数。

除了架构细节上的更新外,作者还提出了以下三个新的损失函数:

灰度气概(grayscale style)loss

灰度匹敌(grayscale adversarial)loss

色彩重构(color reconstruction)loss

这些损失函数能够让天生图片的气概加倍靠近于真实的漫画气概。

墨迹天气十年:从天气 APP 到综合气象服务商

,【一分快三技巧】,

下表对照了 ACartoonGAN 与 AnimeGAN 的模子巨细与推理速率。可以显著看出,AnimeGAN 是个相对轻量级的 GAN,具有更少的参数目以及更快的推理速率。

总体来说,新提出来的 AnimeGAN 是一种轻量级的天生匹敌模子,它接纳了较少的模子参数,以及引入格拉姆矩阵(Gram matrix)来增强照片的气概。研究者的方式需要接纳一系列真实图片与一系列动漫图片做训练,且这些图片并不需要成对匹配,这就解释训练数据异常容易获得。

项目实测

我们在 Ubuntu 18.04 下对本项目举行了测试,相关依赖环境如下:

python 3.6.8

tensorflow-gpu 1.8

opencv

tqdm

numpy

glob

argparse

这些依赖项可以说都是 CV 中常用的扩展库,我们就不用费尽心思去解决种种依赖环境冲突的问题了,这里给个好评。

以下是本项目的训练及测试详细流程。我们首先将 AnimeGAN 项目克隆到内陆,在 Jupyter notebook 中输入:

将事情目录切换到 AnimeGAN:

接下来下载项目作者提供的预训练模子,使用 vim download_staffs.sh 建立一个 Shell 文件,输入如下下令:

保留后退出,以上下令会将预训练的模子、vgg19 权重以及训练数据集下载并保留到其对应目录下。在 notebook 中运行:

至此即完成所有准备事情,运行如下代码就可以对模子举行训练了:

AnimeGAN 的训练历程如下图所示:

当举行测试时,我们需要将用于测试的图片保留到 dataset/test/real 目录下,并运行如下代码:

当看到以上输出说明程序已经乐成运行完成,天生效果保留在 results 文件夹下。可以看到,在 P100 GPU 上天生一幅图片需要约莫 2.3 秒左右。

本文为机械之心报道,转载请联系本民众号获得授权。

------------------------------------------------

,【一分快三技巧】

理想汽车子公司清算,造车新势力陷入生死危局

文章底部电脑广告
手机广告位-内容正文底部

相关文章