[Keras] 使用Keras编写自定义网络层(layer)

2024-08-28 13:08

本文主要是介绍[Keras] 使用Keras编写自定义网络层(layer),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Keras提供众多常见的已编写好的层对象,例如常见的卷积层、池化层等,我们可以直接通过以下代码调用:

# 调用一个Conv2D层
from keras import layers
conv2D = keras.layers.convolutional.Conv2D(filters,\
kernel_size, \
strides=(1, 1), \
padding='valid', \
...)

但是在实际应用中,我们经常需要自己构建一些层对象,已满足某些自定义网络的特殊需求。
幸运的是,Keras对自定义层提供了良好的支持。

下面对常用方法进行总结。

方法1:keras.core.lambda()

如果我们的自定义层中不包含可训练的权重,而只是对上一层输出做一些函数变换,那么我们可以直接使用keras.core模块(该模块包含常见的基础层,如Dense、Activation等)下的lambda函数:

keras.layers.core.Lambda(function, output_shape=None, mask=None, arguments=None)

参数说明:
function:要实现的函数,该函数仅接受一个变量,即上一层的输出
output_shape:函数应该返回的值的shape,可以是一个tuple,也可以是一个根据输入shape计算输出shape的函数
mask: 掩膜
arguments:可选,字典,用来记录向函数中传递的其他关键字参数

但是多数情况下,我们需要定义的是一个全新的、拥有可训练权重的层,这个时候我们就需要使用下面的方法。

方法2: 编写Layer继承类

keras.engine.topology中包含了Layer的父类,我们可以通过继承来实现自己的层。
要定制自己的层,需要实现下面三个方法

build(input_shape):这是定义权重的方法,可训练的权应该在这里被加入列表self.trainable_weights中。其他的属性还包括self.non_trainabe_weights(列表)和self.updates(需要更新的形如(tensor,new_tensor)的tuple的列表)。这个方法必须设置self.built = True,可通过调用super([layer],self).build()实现。

call(x):这是定义层功能的方法,除非你希望你写的层支持masking,否则你只需要关心call的第一个参数:输入张量。

compute_output_shape(input_shape):如果你的层修改了输入数据的shape,你应该在这里指定shape变化的方法,这个函数使得Keras可以做自动shape推断。

一个比较好的学习方法是阅读Keras已编写好的类的源代码,尝试理解其中的逻辑。

下面,我们将通过一个实际的例子,编写一个自定义层。
出于学习的目的,在该例子中,会添加一些的注释文字,用以解释一些函数功能。

该层结构来源自DenseNet,代码参考Github。

from keras.layers.core import Layer
from keras.engine import InputSpec
from keras import backend as K
try:from keras import initializations
except ImportError:from keras import initializers as initializations
# 继承父类Layer
class Scale(Layer):'''该层功能:通过向量元素依次相乘(Element wise multiplication)调整上层输出的形状。out = in * gamma + beta,gamma代表权重weights,beta代表偏置bias参数列表:axis: int型,代表需要做scale的轴方向,axis=-1 代表选取默认方向(横行)。momentum: 对数据方差和标准差做指数平均时的动量.weights: 初始权重,是一个包含两个numpy array的list, shapes:[(input_shape,), (input_shape,)]beta_init: 偏置量的初始化方法名。(参考Keras.initializers.只有weights未传参时才会使用.gamma_init: 权重量的初始化方法名。(参考Keras.initializers.只有weights未传参时才会使用.'''def __init__(self, weights=None, axis=-1, beta_init = 'zero', gamma_init = 'one', momentum = 0.9, **kwargs):# 参数**kwargs代表按字典方式继承父类self.momentum = momentumself.axis = axisself.beta_init = initializers.Zeros()self.gamma_init = initializers.Ones()self.initial_weights = weightssuper(Scale, self).__init__(**kwargs)def build(self, input_shape):self.input_spec = [InputSpec(shape=input_shape)]# 1:InputSpec(dtype=None, shape=None, ndim=None, max_ndim=None, min_ndim=None, axes=None)#Docstring:     #Specifies the ndim, dtype and shape of every input to a layer.#Every layer should expose (if appropriate) an `input_spec` attribute:a list of instances of InputSpec (one per input tensor).#A None entry in a shape is compatible with any dimension#A None shape is compatible with any shape.# 2:self.input_spec: List of InputSpec class instances# each entry describes one required input:#     - ndim#     - dtype# A layer with `n` input tensors must have# an `input_spec` of length `n`.shape = (int(input_shape[self.axis]),)# Compatibility with TensorFlow >= 1.0.0self.gamma = K.variable(self.gamma_init(shape), name='{}_gamma'.format(self.name))self.beta = K.variable(self.beta_init(shape), name='{}_beta'.format(self.name))self.trainable_weights = [self.gamma, self.beta]if self.initial_weights is not None:self.set_weights(self.initial_weights)del self.initial_weightsdef call(self, x, mask=None):input_shape = self.input_spec[0].shapebroadcast_shape = [1] * len(input_shape)broadcast_shape[self.axis] = input_shape[self.axis]out = K.reshape(self.gamma, broadcast_shape) * x + K.reshape(self.beta, broadcast_shape)return outdef get_config(self):config = {"momentum": self.momentum, "axis": self.axis}base_config = super(Scale, self).get_config()return dict(list(base_config.items()) + list(config.items()))

以上就是编写自定义层的实例,可以直接添加到自己的model中。
编写好的layer自动存放在custom_layers中,通过import调用。

from custom_layers import Scaledef myNet(growth_rate=32, \
nb_filter=64, \
reduction=0.0, \
dropout_rate=0.0, weight_decay=1e-4,...)...
x = "last_layer_name"
x = Scale(axis=concat_axis, name='scale')(x)
...model = Model(input, x, name='myNet')
return model

这篇关于[Keras] 使用Keras编写自定义网络层(layer)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1114846

相关文章

go rate 原生标准限速库的使用

《gorate原生标准限速库的使用》本文主要介绍了Go标准库golang.org/x/time/rate实现限流,采用令牌桶算法控制请求速率,提供Allow/Reserve/Wait方法,具有一定... 目录介绍安装API介绍rate.NewLimiter:创建限流器limiter.Allow():请求是否

Python使用Turtle实现精确计时工具

《Python使用Turtle实现精确计时工具》这篇文章主要为大家详细介绍了Python如何使用Turtle实现精确计时工具,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以参考一下... 目录功能特点使用方法程序架构设计代码详解窗口和画笔创建时间和状态显示更新计时器控制逻辑计时器重置功能事件

Swagger2与Springdoc集成与使用详解

《Swagger2与Springdoc集成与使用详解》:本文主要介绍Swagger2与Springdoc集成与使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录1. 依赖配置2. 基础配置2.1 启用 Springdoc2.2 自定义 OpenAPI 信息3.

Golang interface{}的具体使用

《Golanginterface{}的具体使用》interface{}是Go中可以表示任意类型的空接口,本文主要介绍了Golanginterface{}的具体使用,具有一定的参考价值,感兴趣的可以了... 目录一、什么是 interface{}?定义形China编程式:二、interface{} 有什么特别的?✅

使用Python实现调用API获取图片存储到本地的方法

《使用Python实现调用API获取图片存储到本地的方法》开发一个自动化工具,用于从JSON数据源中提取图像ID,通过调用指定API获取未经压缩的原始图像文件,并确保下载结果与Postman等工具直接... 目录使用python实现调用API获取图片存储到本地1、项目概述2、核心功能3、环境准备4、代码实现

windows和Linux安装Jmeter与简单使用方式

《windows和Linux安装Jmeter与简单使用方式》:本文主要介绍windows和Linux安装Jmeter与简单使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录Windows和linux安装Jmeter与简单使用一、下载安装包二、JDK安装1.windows设

Spring 缓存在项目中的使用详解

《Spring缓存在项目中的使用详解》Spring缓存机制,Cache接口为缓存的组件规范定义,包扩缓存的各种操作(添加缓存、删除缓存、修改缓存等),本文给大家介绍Spring缓存在项目中的使用... 目录1.Spring 缓存机制介绍2.Spring 缓存用到的概念Ⅰ.两个接口Ⅱ.三个注解(方法层次)Ⅲ.

PyTorch中cdist和sum函数使用示例详解

《PyTorch中cdist和sum函数使用示例详解》torch.cdist是PyTorch中用于计算**两个张量之间的成对距离(pairwisedistance)**的函数,常用于点云处理、图神经网... 目录基本语法输出示例1. 简单的 2D 欧几里得距离2. 批量形式(3D Tensor)3. 使用不

C#使用MQTTnet实现服务端与客户端的通讯的示例

《C#使用MQTTnet实现服务端与客户端的通讯的示例》本文主要介绍了C#使用MQTTnet实现服务端与客户端的通讯的示例,包括协议特性、连接管理、QoS机制和安全策略,具有一定的参考价值,感兴趣的可... 目录一、MQTT 协议简介二、MQTT 协议核心特性三、MQTTNET 库的核心功能四、服务端(BR

使用@Cacheable注解Redis时Redis宕机或其他原因连不上继续调用原方法的解决方案

《使用@Cacheable注解Redis时Redis宕机或其他原因连不上继续调用原方法的解决方案》在SpringBoot应用中,我们经常使用​​@Cacheable​​注解来缓存数据,以提高应用的性能... 目录@Cacheable注解Redis时,Redis宕机或其他原因连不上,继续调用原方法的解决方案1