风格迁移一直是很多读者感兴趣嘚内容之一近日，网友Reiichiro Nakano公开了自己的一个实现：用.js在浏览器中部署可进行任意图像风格迁移的模型让我们一起去看看吧！

所谓风格迁迻，指的是通过迁移算法用另一种风格（通常是画）重新“绘制”一张图像中的内容（通常是照片）。现如今能在浏览器中实时进行風格迁移的项目有很多，但它们中的大多数都需要针对每种风格训练独立的神经网络所以用户的选择大大受限。

Reiichiro Nakano提供的模型突破了以往模型的局限它能将任何风格图像分解为表示其风格的100维向量，然后把这些向量结合照片信息一起馈送到另一个神经网络以产生最终的風格化图像。

首先我们来看看这个风格迁移模型的具体效果：

上图是小编在作者开发的演示网站里测试的结果，感兴趣的读者可以前去┅试可以发现，虽然谈不上特别令人惊艳但迁移的整体效果还是非常不错的，更可贵的是它支持任意图像、任意风格的迁移，允许掱动上传图片

如果硬要说有什么不足，那就是网站的延迟有点高（选取图像/风格后无法及时跳转也许是水管不行）。此外在对构图涳旷的图像（如加州金门大桥）进行风格迁移时，我们发现粗粝线条风格（如bricks）容易弱化主体线条使迁移后的图像几乎没有内容。

这篇論文结合灵活的风格迁移技术和快速网络传输提出了一种允许使用任何内容/风格图像对进行实时风格化的网络。在包含约80,000幅画作的语料庫上经过训练后论文模型不仅在训练过的风格上表现出色，还能够推广到从未见过的风格和照片也就是说，这是一个能以完全无监督嘚方式学习平滑的、结构丰富的嵌入空间以及与风格绘画相关联的语义信息的模型。

一般来说风格迁移模型的输入有两个，一是包含圖像内容的照片c二是包含图像风格的绘画s。这类算法假定图像的内容和风格可以定义如下：

如果模型从两幅图像中提取到的高级特征欧氏距离接近则两个图像的内容相似。

如果模型从两幅图像中提取到的低级特征有相同的空间统计则两个图像的风格相似。

根据这两个萣义风格迁移的优化目标可以表示为：

其中Lc(x, c)和Ls(x, s)分别是内容和风格的损失函数，λs是风格损失函数经拉格朗日乘数加权后表示的相对权重

论文作者改进了这一做法。他们在风格迁移网络前添加了一个预测网络P(·)它以任意风格的图像作为输入，并预测归一化常数的嵌入向量→S这样做的优势是模型能把学到的迁移方法推广到其他图像上。

从本质上来说这个模型直接学习的是从风格图像到风格参数的映射。在Kaggle Pnr By Numbe（内容）和Describable Textures Dataset（风格）两个数据集上进行了训练后模型输出的风格迁移效果如下图（左）所示：

网络是联合训练的，但它只用少量训練图像就模拟了多种风格这意味着我们没有必要为每种风格单独设定拉格朗日乘数λs。 也就是说同一个损失加权就足以在所有绘画风格和纹理上产生合理的结果。上图（右）则证明该模型能够预测以前从未见到的风格和纹理样式，它们在质量上与训练集样本的风格和紋理几乎一致

在GitHub上，开源项目的Reiichiro Nakano向开发者重点提了一些注意事项

问：我的数据安全吗？你会看到我提交的图片吗

当你在演示网站里測试风格迁移时，你的数据和图片只会在你自己的计算机上留下痕迹事实上，这也是在浏览器中运行神经网络的主要优势之一我只是紦模型和代码发给你，由你在自己的浏览器上运行模型

问：如果我想下载，模型一共多大

风格神经网络的大小是9.6MB，迁移网络大概有7.9MB咜们在任何风格上都有效，所以你只用下一次就可以了

问：你的模型和论文模型一模一样吗？

不完全一样论文的风格网络用的是Inception-v3（大約96.2MB），太大了所以在把模型移植到浏览器上之前，我用MobileNet-v2从预训练的Inception-v3网络中提取了知识把大小缩小到了论文的1/10。

问：风格组合的具体方法是什么

由于风格网络可以把每种风格映射成100维的风格向量，所以我们只需对内容和风格图像的风格向量进行加权平均把计算结果作為迁移网络的输入，即可获得新风格向量

原文标题：【实现】在浏览器中快速进行任意风格迁移

文章出处：【微信号：jqr_AI，微信公众号：論智】欢迎添加关注！文章转载请注明出处

对于下图应该怎么理解图像，从什么位置开取像素前面28 ＤＵＭＭＹ　ＰＩＳＥＬＳ　作用昰什么，用啥用     ...

当测试语音时长充足时单一特征的信息量和区分性足够完成说话人识别任务，但是在测试语音很短的情况下语....

针对传統的聚类算法存在隐私泄露的风险，提出一种基于差分隐私保护的谱聚类算法该算法基于差分隐私模型，....

为了克服差分进化算法寻优精喥低、收敛速度慢、稳定性差等不足提出一种基于多变异策略的自适应差分进化算....

为了更加快速准确地描述带有记忆效应的射频功率放夶器，基于传统的X参数模型结合负载牵引和功放的记忆效....

一知识要点 1.用户代码不允许调用任务函数，任务一旦创建只能由UCOS-III调用 2.每个任务....

從上面的定义来看atomic_t实际上就是一个int类型的counter，不过定义这样特殊的类型a....

针对证据推理方法框架下属性权重难以获取的问题提出一种基于妀进模糊熵和证据推理的多属性决策方法。首先....

针对传统K-means型算法的“均匀效应”问题提出一种基于概率模型的聚类算法。首先提出一個描述非....

随着网络时代的到来及发展，游戏产业方兴未艾出现了前所未有的繁荣。“贪吃蛇”、“俄罗斯方块”这些简单....

针对现有单节點模型识别准确度较低以及低阶多元广义线性模型（ LRMGLM）计算时间过长和使用局限性问....

针对传统的主动学习算法只能处理中小型数据集的问題提出一种基于MapReduce的大数据主动学习算法....

针对相似度碰撞引发证据融合结果错误的问题，提出一种新的证据融合方法首先，提取证据的焦元序列特征并将....

本文档的主要内容详细介绍的是C语言程序设计教程之如何进行函数与编译预处理资料概述主要内容包括了：1 ....

本文档的主偠内容详细介绍的是UCOS-III-OSTaskCreate的函数详细资料说明免费下载

安卓最近两年的发展现在的用户界面和交互都比较人性化了，但是很多安卓的新用户還是不怎么了解安卓系统手....

awk是一个强大的文本分析工具相对于grep的查找，sed的编辑awk在其对数据分析并生成报告时....

这个阶段主要作用是障碍粅集群做XY平面下的凸包多边形计算，最终得到这个多边形的一些角点第一部分相对....

大部分基于图论的视频分割方法往往先通过分析运动囷外观信息获得先验显著性区域，然后用最小化能量模型来进....

这个宏定义的作用就是检查参数PERIPH判断参数PERIPH是否为GPIOX（A.。.G）基址中的....

目前很多搞软件开发的网友在使用LabVIEW软件在使用波形图、波形图表或者XY图的时候遇到一些问题....

不理解这些是什么函数，能给出数学表达式吗

研究树形态仿真问题为解决大自然中树木不同形态的逼真模拟，针对开关不规则的传统方法难以描述用迭代函....

为了克服这一挑战，在神经音頻处理上得到更好的结果我们也许需要考虑下为什么基于CNN的风格迁移在光谱....

《代码整洁之道》是2010年1月由人民邮电出版社出版的图书，作鍺是马丁本书主要讲述了代码质量与其整....

使用的是STM32L0系列，发现HAL_UART_RxCpltCallback这类中断中的回调函数和普通函数没什么区别呢回调函数定义是...

针对输叺人脸特征的不准确性导致识别系统识别率不高的问题，提出了一种有效的基于极端学习机（ELM）的人....

电阻焊接是一种热电过程在待连接嘚部件的界面上，通过将电流通过部件精确地控制一段时间并在受控的压力....

本文档的主要内容详细介绍的是拉普拉斯变换电路理论练习題来做作看吧。

此外上图中，我们的一个指令buffer不再是一个stub函数而真的就是一块分配的内存，所以我们需....

这一改进版本帮助Pytorch改进了论文《所有姿态范围内的面部替换：3D解决方案》中提到的方法该论....

通过学习这本实用的参考书，你将理解有关线程的坚实基础并学会如何將这一强大的编程模型应用到实际工作中....

我们对视频进行前处理和编码优化，但如何评价优化效果的好坏是否达到预期，就涉及对画质評定规则的约定....

替换一个已经在内存中的函数，使得执行流流入我们自己的逻辑然后再调用原始的函数，这是一个很古老的话题....

支持姠量机结合了感知机和logistic回归分类思想假设训练样本点(xi,yi)到超平面H的几何间....

传统脉冲耦合神经网络模型描述神经元之间的内在联系时，仅仅栲虑神经元之间的空间位置信息忽略了神经元之....

针对A° 算法在数宇高程模型（DEM）路径规划中的低效问题，提出一种基于距离与坡度的改進A”寻路算法....

任何训练在开始之前需要一组图像来向网络传授您想要识别的新类别。本文后半部分会介绍该如何准备自己的图....

将模型移植到浏览器上的最大问题是模型大小风格网络基于Inception-v3，它的权重> 97MB....

本文档的主要内容详细介绍的是LINUX应用编程函数自学手册详细资料免费下载

本文档的主要内容详细介绍的是自动控制系统的数学模型详细资料说明。

本文档的主要内容详细介绍的是控制系统的稳态特性稳态误差汾析详细课件免费下载

本文档的主要内容详细介绍的是自动化控制系统控制工程教程之根轨迹法的详细课件第一部分。系统动态响应的基....

本文档的主要内容详细介绍的是线性系统的频域分析频率特性法的详细资料免费下载

了解有关设备树的背景信息，各种类型的u-boot映像及其功能以及有关使用的内容 除了dumpim....

这么做有几个好处，首先如果手头任务 C 的训练集合数据量较少的话，现阶段的好用的 CNN 比如 R....

本文档LabView部分機器视觉函数中文解说资料免费下载 在匹配阶段创建您要搜索的图案匹配的模板图....

针对当前皮肤病识别分类面临的两个主要问题：一是由於皮肤病种类繁多病灶外观的类间相似度高和类内差异化....

请教： 函数的调用 和 回调 有何区别 ？ 谢谢！...

我是直接记住这个函数的功能呢還是去看这个函数的代码(即实现过程呢)，小白在这里请求大家指点...

你好，先生 现在我有一个问题，如何跳转到函数使用它的地址 在峩的项目中，我找到了映射文件中一个函数的地址例如， 空...

ccs5.5在定义函数的时候函数名会加粗，但是在使用函数的时候怎么设置成加粗呢谢谢...