用深度学习技术FCN自动生成口红

2023-10-18 11:59

本文主要是介绍用深度学习技术FCN自动生成口红,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1 这个是什么?

       基于全卷积神经网络(FCN)的自动生成口红Python程序。

1180694-20190907093739352-1030044718.jpg
图1 FCN生成口红的效果(注:此两张人脸图来自人脸公开数据库LFW)

2 怎么使用了?

       首先能从这个Github (https://github.com/Kalafinaian/ai_lips_makeup) 中下载这个python项目。下载解压后你得到这样一个程序。

1180694-20190907093800381-1199517162.jpg
图2 口红Python程序

       本项目的运行环境为Python3.6,需要的深度学习包tensorflow , 脸部图形处理包dlib,通用计算机视觉处理包cv2,以上三个python软件包都可以通过如下pip命令按照

       pip install opencv-python
       pip instll dlib=19.16.0
       pip install tensorflow=1.12.0

       安装好必要的python包后,就直奔主题说如何给一张人脸图加上口红,用pycharm打开项目运行main_predict.py。按照提示选择口红效果,再输入人脸图片的地址,最后加上口红的照片会在test_out文件夹中存储。

1180694-20190907093818599-1512370747.jpg
图3 FCN口红运行演示

       同理类似处理test_in文件夹下的002.jpg,那么在test_out文件夹下可以获得加上亮面口红的人脸照片了。

1180694-20190907093835142-1210689993.jpg
图4 FCN口红的预测输出

3 程序的原理

       这个基于全卷积神经网络的FCN口红的工作原理如下 (釉面口红为例)
       (1) 训练集输入为没有口红的人脸,训练集输出为有釉面口红人脸,共170
个训练集。(因版权原因本程序不提供完整人脸,只提供口红照片)

1180694-20190907093856372-755682918.jpg
图5 没有口红的人脸
1180694-20190907093911351-1758318314.jpg
图6 有釉面口红的人脸(诚如所见,训练集口红都是人工PS的?)

       (2)使用dlib自带的模型提取出人脸嘴唇,将所有嘴唇图片resize到90×30的大小那么训练的输入和输出

1180694-20190907093935462-871547840.jpg
图7 训练集原始嘴唇
1180694-20190907093951851-1681911056.jpg
图8 训练集对应釉面口红输出

       (3)构建一个三层全卷积神经网络
       (3.1)第一层输入为30×90×3 (RGB三通道)的多维数组,所以第一层卷积输入通道为3个,另定义输出通道为24个,采用elu激活函数,没有下采样
       (3.2)根据第一层输出通道可知第二层输入为30×90×24的多维数组,另定义第二层输出通道为45个,同样采用elu激活函数,没有下采样
       (3.3)根据第二层输出通道可知第三层输入为30×90×45的多维数组,另定义第二层输出通道为3个,同样采用elu激活函数,没有下采样
       (3.4)定义损失函数为均方差损失,即loss等于第三次输出和训练输出每个像素点差的平方求平均数。

       (4) 迭代训练100词,将模型参数保持为model文件夹中model_brightening
(详细过程可见代码)

       (5) 高兴的使用模型参数进行口红生成

4 延伸阅读(全卷积神经网络和ELU激活函数)

       简单来说FCN将传统CNN中的全连接层转化成一个个的卷积层(本文中程序连pooling也省略了)。在传统的CNN结构中,前N层是卷积层,倒数第二层是一个长度为4096的一维向量,倒数第一层是长度为1000的一维向量,对应1000个类别的概率。FCN将这3层表示为卷积层,卷积核的大小(通道数,宽,高)分别为(4096,1,1)、(4096,1,1)、(1000,1,1)。所有的层都是卷积层,故称为全卷积网络。简单来说FCN与CNN的区别在于FCN把CNN最后的全连接层换成卷积层,输出一张已经label好的图。

1180694-20190907094012350-80119309.jpg
图9 FCN演示图

       关于FCN具体只是可参见UC Berkeley的Jonathan Long等人提出了Fully Convolutional Networks (FCN)[1]。

       然后再介绍一下ELU激活函数[2],这个函数长这样的

\[f\left( x \right) = \left\{ \begin{array}{l} x\;\;\;\;\;\;\;\;\;\;\;\;\;\;x > 0 \\ \alpha \left( {{e^x} - 1} \right)\;\;\;x \le 0 \\ \end{array} \right.,\;f'\left( x \right) = \left\{ \begin{array}{l} 1\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;x > 0 \\ f\left( x \right) + \alpha \;\;\;x \le 0 \\ \end{array} \right.\]

       在tensorflow中alpha默认取1(https://www.tensorflow.org/api_docs/
python/tf/nn/elu)。

1180694-20190907094035359-621039891.jpg
图10 ELU函数和其他几个激活函数的图像

       Elu函数可以加速训练并且可以提高分类的准确率。它有以下特征:
       (1) elu由于其正值特性,可以像relu,lrelu,prelu一样缓解梯度消失
       (2相比relu,elu存在负值,可以将激输出均值往0推近,输出均值接近0可以减少偏移效应进而使梯 度接近于自然梯度。
       (3) Lrelu和prelu虽然有负值存在,但是不能确保是一个噪声稳定的去激活状态。Elu在负值时是一个指数函数,对于输入特征只定性不定量

5 总结

       详细过程看代码,具体原理读论文。

推荐论文:

[1] Fully Convolutional Networks for Semantic Segmentation
(https://arxiv.org/abs/1411.4038)

[2] Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)
(https://arxiv.org/abs/1511.07289v5)

推荐资源

http://vis-www.cs.umass.edu/lfw/
https://github.com/shelhamer/fcn.berkeleyvision.org

转载于:https://www.cnblogs.com/Kalafinaian/p/11479275.html

这篇关于用深度学习技术FCN自动生成口红的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/232439

相关文章

SpringBoot+Docker+Graylog 如何让错误自动报警

《SpringBoot+Docker+Graylog如何让错误自动报警》SpringBoot默认使用SLF4J与Logback,支持多日志级别和配置方式,可输出到控制台、文件及远程服务器,集成ELK... 目录01 Spring Boot 默认日志框架解析02 Spring Boot 日志级别详解03 Sp

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1

浏览器插件cursor实现自动注册、续杯的详细过程

《浏览器插件cursor实现自动注册、续杯的详细过程》Cursor简易注册助手脚本通过自动化邮箱填写和验证码获取流程,大大简化了Cursor的注册过程,它不仅提高了注册效率,还通过友好的用户界面和详细... 目录前言功能概述使用方法安装脚本使用流程邮箱输入页面验证码页面实战演示技术实现核心功能实现1. 随机

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器(Decorator)是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧

深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

《深度解析SpringBoot拦截器Interceptor与过滤器Filter的区别与实战指南》本文深度解析SpringBoot中拦截器与过滤器的区别,涵盖执行顺序、依赖关系、异常处理等核心差异,并... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实

SpringBoot开发中十大常见陷阱深度解析与避坑指南

《SpringBoot开发中十大常见陷阱深度解析与避坑指南》在SpringBoot的开发过程中,即使是经验丰富的开发者也难免会遇到各种棘手的问题,本文将针对SpringBoot开发中十大常见的“坑... 目录引言一、配置总出错?是不是同时用了.properties和.yml?二、换个位置配置就失效?搞清楚加

Qt如何实现文本编辑器光标高亮技术

《Qt如何实现文本编辑器光标高亮技术》这篇文章主要为大家详细介绍了Qt如何实现文本编辑器光标高亮技术,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录实现代码函数作用概述代码详解 + 注释使用 QTextEdit 的高亮技术(重点)总结用到的关键技术点应用场景举例示例优化建议

HTML5实现的移动端购物车自动结算功能示例代码

《HTML5实现的移动端购物车自动结算功能示例代码》本文介绍HTML5实现移动端购物车自动结算,通过WebStorage、事件监听、DOM操作等技术,确保实时更新与数据同步,优化性能及无障碍性,提升用... 目录1. 移动端购物车自动结算概述2. 数据存储与状态保存机制2.1 浏览器端的数据存储方式2.1.