caffe&study(3)&关于激活函数以及loss&function
loss 是估计值和真实值之映射到某一空间的误差，而loss function就是这种误差的描述形式，loss
function反映出了对于问题的定义。在caffe中，包含了常用的loss
function，主要有以下几种：
MULTINOMIAL_LOGISTIC_LOSS
SIGMOID_CROSS_ENTROPY_LOSS
SOFTMAX_LOSS
EUCLIDEAN_LOSS
HINGE_LOSS
INFOGAIN_LOSS
下面来看一下他们的具体形式（公式和世界的代码有些出入，下面材料的绝大部分来自于wiki）
1.&EUCLIDEAN_LOSS
这个loss的具体含义就是所有样本估计值和预测值的欧式距离平方的均值，也就是均方根误差(MSE)。
假设模型结果与测量值 误差满足，均值为0的高斯分布，即正态分布。这个假设是靠谱的，符合一般客观统计规律。
数据x与y的条件概率：
模型与测量数据最接近，那么其概率积就最大。概率积，就是概率密度函数的连续积，这样，就形成了一个最大似然函数估计。对最大似然函数估计进行推导，就得出了求导后结果：
平方和最小公式
MSE误差的优点是执行简单，较容易理解，缺点就是强制预测和标注要exactly的匹配，也就是一个非0即1的概念，本节点和其他节点是独立的，这样带来的问题是会导致最后的train出来的model有可能并不是那么准确。
2.&MULTINOMIAL_LOGISTIC_LOSS
如果一个事件发生的概率为：
那么事件几率的概念是指的发生的概率与不发生的概率的比值，取对数则称为对数几率(log odds)。
the logit&
对于对元的分布，采用base-line
logit，如下所示。(从某种意义上二元的logit是多元的一个特例)
通过概率和为1这样一个约束，可以得到Pr(Y=K)的表示，从而推导出K-1个分布的公式，如下所示：
所有样本的概率和就是最后使用到的MULTINOMIAL_LOGISTIC_LOSS
3.&SOFTMAX_LOSS
下面看一下基本的softmax的推导过程
&在概率论中，一个归一化常数的的作用让所有的密度函数满足和为1这样一个条件
此处采用log的形式描述，其中Z为归一化的常数
根据和为1这样的约束可以得到
则采用了连续函数来进行函数的逼近，最后采用概率的形式进行输出，这样就弱化了EUCLIDEAN_LOSS中带来的问题。
softmax中，各个节点的输出是一个归一化后的概率值，这个值随着每次迭代是动态变化的。
4. softmax和multinomial logistic的统一性
最后得到softmax的形式，在所有的beta参数中，只有K-1个是独立的，对于所有添加一个常量C不改变softmax的值，证明如下：
如果这个把最后一个第K个样本的beta设置为常数，得到如下的变换
带入原来的公式，可以得到：
这个输出就是multinomial logistic.
5. INFOGAIN_LOSS
信息熵是对于信息的一种量化，是对于某种系统信息的一种量度，熵就是系统的平均信息量，也可以理解为某种信息出现的概率。
信息增益是在加入一个条件后，所得到的熵和原来的熵的差，具体形式如下：
6. SIGMOID_CROSS_ENTROPY_LOSS
7.&HINGE_LOSS
求和后便成了Hinge loss
这个loss就是SVM用到的loss。Hinge loss就是0-1 loss的改良版，这个改良主要在两个方面，一个是在t.y在【0
1】之间不再是采用hard的方式，而是一个soft的方式。另外一个就是在【-inf，0】之间不再采用固定的1来定义能量的损失，而是采用一个线性函数对于错误分类的情况进行惩罚。
下面是两个常用的激活函数
relu是rectified linear unit的简写
对于ReLU函数的近soft-plus函数
他们的函数曲线如下图所示
和其他的函数比较起来，ReLU函数更符合生物学的激活模型。
a.ReLU是单方向的
b.在激活方面，这个函数强制阈值下的值为0，因此可以不使用l1正则就可以达到稀疏的目的。
c.可以有效的缓解vanishing gradient problem，原来的vanishing gradient
problem主要因为在backward过程中gradient随着深度的增加不断的连乘，如果每部分都小于1的话，随着层数的增加这个值会越来越小，从而导致vanishing
gradient的问题。而ReLU函数由于没有上限，因此其导数在很大层度上缓解了这个问题。而sigmod以及tanh函数都没有这样的一个性质。
d.计算速度快。
因此ReLU是现在DNN模型中比较常用的激活函数。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。Error_404_资源不存在
404. 抱歉! 您访问的资源不存在!
请确认您输入的网址是否正确，如果问题持续存在，请发邮件至contact&#与我们联系。Caffe基础介绍_Linux教程_Linux公社-Linux系统门户网站
你好，游客
Caffe基础介绍
来源：Linux社区&
作者：fengbingchun
Caffe的全称应该是Convolutional Architecture for Fast Feature Embedding，它是一个清晰、高效的深度学习框架，它是开源的，核心语言是C++，它支持命令行、Python和Matlab接口，它既可以在CPU上运行也可以在GPU上运行。它的license是BSD 2-Clause。
Deep Learning比较流行的一个原因，主要是因为它能够自主地从数据上学到有用的feature。特别是对于一些不知道如何设计feature的场合，比如说图像和speech。
Caffe的设计：基本上，Caffe follow了神经网络的一个简单假设----所有的计算都是以layer的形式表示的，layer做的事情就是take一些数据，然后输出一些计算以后的结果，比如说卷积，就是输入一个图像，然后和这一层的参数（filter）做卷积，然后输出卷积的结果。每一个layer需要做两个计算：forward是从输入计算输出，然后backward是从上面给的gradient来计算相对于输入的gradient，只要这两个函数实现了以后，我们就可以把很多层连接成一个网络，这个网络做的事情就是输入我们的数据（图像或者语音或者whatever），然后来计算我们需要的输出（比如说识别的label），在training的时候，我们可以根据已有的label来计算loss和gradient，然后用gradient来update网络的参数，这个就是Caffe的一个基本流程。
基本上，最简单地用Caffe上手的方法就是先把数据写成Caffe的格式，然后设计一个网络，然后用Caffe提供的solver来做优化看效果如何，如果你的数据是图像的话，可以从现有的网络，比如说alexnet或者googlenet开始，然后做fine tuning，如果你的数据稍有不同，比如说是直接的float vector，你可能需要做一些custom的configuration，Caffe的logistic regression example兴许会很有帮助。
Fine tune方法：fine tuning的想法就是说，在imagenet那么大的数据集上train好一个很牛的网络了，那别的task上肯定也不错，所以我们可以把pretrain的网络拿过来，然后只重新train最后几层，重新train的意思是说，比如我以前需要classify imagenet的一千类，现在我只想识别是狗还是猫，或者是不是车牌，于是我就可以把最后一层softmax从一个的分类器变成一个4096*2的分类器，这个strategy在应用中非常好使，所以我们经常会先在imagenet上pretrain一个网络，因为我们知道imagenet上training的大概过程会怎么样。
Caffe可以应用在视觉、语音识别、机器人、神经科学和天文学。
Caffe提供了一个完整的工具包，用来训练、测试、微调和部署模型。
Caffe的亮点：
(1)、模块化：Caffe从一开始就设计得尽可能模块化，允许对新数据格式、网络层和损失函数进行扩展。
(2)、表示和实现分离：Caffe的模型(model)定义是用Protocol Buffer语言写进配置文件的。以任意有向无环图的形式，Caffe支持网络架构。Caffe会根据网络的需要来正确占用内存。通过一个函数调用，实现CPU和GPU之间的切换。
(3)、测试覆盖：在Caffe中，每一个单一的模块都对应一个测试。
(4)、Python和Matlab接口：同时提供Python和Matlab接口。
(5)、预训练参考模型：针对视觉项目，Caffe提供了一些参考模型，这些模型仅应用在学术和非商业领域，它们的license不是BSD。
Caffe架构：
(1)、数据存储：Caffe通过&blobs&即以4维数组的方式存储和传递数据。Blobs提供了一个统一的内存接口，用于批量图像（或其它数据）的操作，参数或参数更新。Models是以Google Protocol Buffers的方式存储在磁盘上。大型数据存储在LevelDB数据库中。
(2)、层：一个Caffe层(Layer)是一个神经网络层的本质，它采用一个或多个blobs作为输入，并产生一个或多个blobs作为输出。网络作为一个整体的操作，层有两个关键职责：前向传播，需要输入并产生输出；反向传播，取梯度作为输出，通过参数和输入计算梯度。Caffe提供了一套完整的层类型。
(3)、网络和运行方式：Caffe保留所有的有向无环层图，确保正确的进行前向传播和反向传播。Caffe模型是终端到终端的机器学习系统。一个典型的网络开始于数据层，结束于loss层。通过一个单一的开关，使其网络运行在CPU或GPU上。在CPU或GPU上，层会产生相同的结果。
(4)、训练一个网络：Caffe训练一个模型(Model)靠快速、标准的随机梯度下降算法。
在Caffe中，微调(Fine tuning)，是一个标准的方法，它适应于存在的模型、新的架构或数据。对于新任务，Caffe 微调旧的模型权重并按照需要初始化新的权重。
Blobs,Layers,and Nets：深度网络的组成模式表示为数据块工作的内部连接层的集合。以它自己的model模式，Caffe定义了层层(layer-by-layer)网络。Caffe网络定义了从低端到顶层整个model，从输入数据到loss层。随着数据通过网络的前向传播和反向传播，Caffe存储、通信、信息操作作为Blobs。Blob是标准阵列和统一内存接口框架。Blob用来存储数据、参数以及loss。随之而来的layer作为model和计算的基础，它是网络的基本单元。net作为layer的连接和集合，网络的搭建。blob详细描述了layer与layer或net是怎样进行信息存储和通信的。Solver是Net的求解。
Blob 存储和传输：一个blob是对要处理的实际数据的封装，它通过Caffe传递。在CPU和GPU之间，blob也提供同步能力。在数学上，blob是存储连续的N维数组阵列。
Caffe通过blobs存储和传输数据。blobs提供统一的内存接口保存数据，例如，批量图像，model参数，导数的优化。
Blobs隐藏了计算和混合CPU/GPU的操作根据需要从主机CPU到设备GPU进行同步的开销。主机和设备的内存是按需分配。
对于批量图像数据，blob常规容量是图像数N*通道数K*图像高H*图像宽W。在布局上，Blob存储以行为主，因此最后/最右边的维度改变最快。例如，在一个4D blob中，索引(n, k, h, w)的值物理位置索引是((n * K + k) * H + h) * W + w。对于非图像应用，用blobs也是有效的，如用2D blobs。
参数blob尺寸根据当前层的类型和配置而变化。
一个blob存储两块内存，data和diff，前者是前向传播的正常数据，后者是通过网络计算的梯度。
一个blob使用SyncedMem类同步CPU和GPU之间的值，为了隐藏同步的详细信息和尽量最小的数据传输。
Layer计算和连接：Layer是模型(model)的本质和计算的基本单元。Layer卷积滤波、pool、取内积、应用非线性、sigmoid和其它元素转换、归一化、载入数据，计算losses.
每一个layer类型定义了三个至关重要的计算：设置、前向和反向。（1）、设置：初始化这个layer及在model初始化时连接一次；（2）、前向：从底部对于给定的输入数据计算输出并传送到顶端；（3）、反向：对于给定的梯度，顶端输出计算这个梯度到输入并传送到低端。
有两个前向(forward)和反向(backward)函数执行，一个用于CPU，一个用于GPU。
Caffe layer的定义由两部分组成，层属性和层参数。
每个layer有输入一些&bottom&blobs，输出一些&top& blobs.
Net定义和操作：net由组成和分化共同定义了一个函数和它的梯度。每一层输出计算函数来完成给定的任务，每一层反向从学习任务中通过loss计算梯度.Caffe model是终端到终端的机器学习引擎。
Net是layers组成的有向无环图(DAG)。一个典型的net开始于数据层，此layer从磁盘加载数据，终止于loss层，此layer计算目标任务，如分类和重建。
Model初始化通过Net::Init()进行处理。初始化主要做了两件事：通过创建blobs和layers来构建整个DAG，调用layers的SetUp()函数。它也做了一系列的其它bookkeeping（簿记）的事情，比如验证整个网络架构的正确性。
Model格式：The models are defined in plaintext protocol buffer schema(prototxt) while the learned models are serialized as binary protocol buffer(binaryproto) .caffemodel files. The model format is defined by the protobufschema in caffe.proto.
Forward and Backward：Forward inference, Backward learning.
Solver优化一个model通过首先调用forward得到输出和loss，然后调用backward生成model的梯度，接着合并梯度到权值(weight)更新尽量减少loss.Solver, Net和Layer之间的分工，使Caffe保持模块化和开放式发展。
Loss:在Caffe中，作为大多数机器学习，学习(learning)是通过loss函数(error, cost, or objective函数)来驱动。一个loss函数指定了学习的目标通过映射参数设置（例如，当前的网络权值）到一个标量值。因此，学习的目标是找到最小化loss函数权值的设置。
在Caffe中，loss是由网络的forward计算。每一个layer采用一组输入blobs(bottom,表示输入)，并产生一组输出blobs(top，表示输出)。一些layer的输出可能会用在loss函数中。对于分类任务，一个典型的loss函数选择是SoftmaxWithLoss函数。
Loss weights：net通过许多个layers产生一个loss,loss weights能被用于指定它们的相对重要性。
按照惯例，带有&loss&后缀的Caffe layer类型应用于loss函数，但其它layers是被假定为纯碎用于中间计算。然而，任一个layer都能被用于loss，通过添加一个&loss_weight&字段到一个layer定义。
在Caffe中，最后的loss是被计算通过所有的weighted loss加和通过网络。
Solver：Solver通过协调网络的前向推理和后向梯度形成参数更新试图改善loss达到model优化。Learning的职责是被划分为Solver监督优化和产生参数更新，Net产生loss和梯度。
Caffe solver方法：随机梯度下降(Stochastic Gradient Descent, type:&SGD&)；AdaDelta(type:&AdaDelta&)；自适应梯度(Adaptive Gradient,type:&AdaGrad&)；Adam(type:&Adam&)；Nesterov&s Accelerated Gradient(type:&Nesterov&)；RMSprop(type:&RMSProp&).
Solver作用：Solver是Net的求解.(1)、优化bookkeeping、创建learning训练网络、对网络进行评估；(2)、调用forward/backward迭代优化和更新参数；(3)、定期评估测试网络；(4)、整个优化快照model和solver状态。
Solver的每一次迭代执行：(1)、调用网络forward计算输出和loss；(2)、调用网络backward计算梯度；(3)、按照solver方法，采用渐变进行参数更新；(4)、按照学习率、历史和方法更新solver状态。通过以上执行来获得所有的weights从初始化到learned model.
像Caffe models，Caffe solvers也可以在CPU或GPU模式下运行。
solver方法处理??小化loss的总体优化问题。
实际的weight更新是由solver产生，然后应用到net参数。
Layer Catalogue：为了创建一个Caffe model，你需要定义model架构在一个prototxt文件(protocol buffer definition file)中。Caffe layers和它们的参数是被定义在protocol buffer definitions文件中，对于Caffe工程是caffe.proto.
Vision Layers：Vision layers通常以图像作为输入，并产生其它图像作为输出:
(1)、Convolution(Convolution)：卷积层通过将输入图像与一系列可学习的滤波进行卷积，在输出图像中，每一个产生一个特征图；(2)、Pooling(Pooling)；(3)、Local Response Normalization(LRN)；(4)、im2col。
Loss Layers：Loss驱动学习通过比较一个输出对应一个目标和分配成本到最小化。Loss本身是被计算通过前向传输，梯度到loss是被计算通过后向传输:
(1)、Softmax(SoftmaxWithLoss)；(2)、Sum-of-Squares/Euclidean(EuclideanLoss)；(3)、Hinge/Margin(HingeLoss)；(4)、SigmoidCross-Entropy(SigmoidCrossEntropyLoss)；(5)、Infogain(InfogainLoss)；(6)、Accuracy andTop-k。
Activation/NeuronLayers：一般Activation/Neuron Layers是逐元素操作，输入一个bottom blob，产生一个同样大小的top blob：
(1)、ReLU/Rectified-Linearand Leaky-ReLU(ReLU)；(2)、Sigmoid(Sigmoid)；(3)、TanH/Hyperbolic Tangent(TanH)；(4)、Absolute Value(AbsVal)；(5)、Power(Power)；(6)、BNLL(BNLL)。
Data Layers：数据输入Caffe通过Data Layers，它们在网络的低端。数据可以来自于：高效的数据库(LevelDB或LMDB)、直接来自内存、在不注重效率的情况下，也可以来自文件，磁盘上HDF5数据格式或普通的图像格式：
(1)、Database(Data)；(2)、In-Memory(MemoryData)；(3)、HDF5Input(HDF5Data)；(4)、HDF5 Output(HDF5Output)；(5)、Images(ImageData)；(6)、Windows(WindowData)；(7)、Dummy(DummyData).
Common Layers：(1)、InnerProduct(InnerProduct)；(2)、Splitting(Split)；(3)、Flattening(Flatten)；(4)、Reshape(Reshape)；(5)、Concatenation(Concat)；(6)、Slicing(Slice)；(7)、Elementwise Operations(Eltwise)；(8)、Argmax(ArgMax)；(9)、Softmax(Softmax)；(10)、Mean-VarianceNormalization(MVN)。
Data：在Caffe中，数据存储在Blobs中。Data Layers加载输入和保存输出通过转换从blob到其它格式。普通的转换像mean-subtraction和feature-scaling是通过配置data layer来完成。新的输入类型需要开发一个新的data layer来支持。
本文永久更新链接地址：
相关资讯 & & &
& (07月23日)
& (09月28日)
& (04月19日)
图片资讯 & & &
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款Caffe的solver参数设置
solver是通过协调前向-反向传播的参数更新来控制参数优化的。一个模型的学习是通过Solver来监督优化和参数更新，以及通过Net来产生loss和梯度完成的。
Caffe提供的优化方法有：
Stochastic Gradient Descent (type: “SGD”),
AdaDelta (type: “AdaDelta”),
Adaptive Gradient (type: “AdaGrad”),
Adam (type: “Adam”),
Nesterov’s Accelerated Gradient (type: “Nesterov”),
RMSprop (type: “RMSProp”)
The solver
scaffolds the optimization bookkeeping and creates the training network for learning and test network(s) for evaluation.
iteratively optimizes by calling forward / backward and updating parameters
(periodically) evaluates the test networks
snapshots the model and solver state throughout the optimization
where each iteration
calls network forward to compute the output and loss
calls network backward to compute the gradients
incorporates the gradients into parameter updates according to the solver method
updates the solver state according to learning rate, history, and method
to take the weights all the way from initialization to learned model.
Like Caffe models, Caffe solvers run in CPU / GPU modes.
Stochastic gradient descent (type: “SGD”) updates the weights W by a linear combination of the negative gradient ?L(W) and the previous weight update Vt. The learning rate α is the weight of the negative gradient. The momentum μ is the weight of the previous update.
Formally, we have the following formulas to compute the update value Vt+1 and the updated weights Wt+1 at iteration t+1, given the previous weight update Vt and current weights Wt:
Vt+1=μVt-α?L(Wt)
Wt+1=Wt+Vt+1
The learning “hyperparameters” (α and μ) might require a bit of tuning for best results. If you’re not sure where to start, take a look at the “Rules of thumb” below, and for further information you might refer to Leon Bottou’s Stochastic Gradient Descent Tricks [1].
[1] L. Bottou. Stochastic Gradient Descent Tricks. Neural Networks: Tricks of the Trade: Springer, 2012.
总结solver文件个参数的意义
iteration： 数据进行一次前向-后向的训练
batchsize：每次迭代训练图片的数量
epoch：1个epoch就是将所有的训练图像全部通过网络训练一次
例如：假如有1280000张图片，batchsize=256，则1个epoch需要=5000次iteration
它的max-iteration=450000，则共有0=90个epoch
而lr什么时候衰减与stepsize有关，减少多少与gamma有关，即:若stepsize=500, base_lr=0.01, gamma=0.1,则当迭代到第一个500次时，lr第一次衰减，衰减后的lr=lr*gamma=0.01*0.1=0.001,以后重复该过程，所以
stepsize是lr的衰减步长，gamma是lr的衰减系数。
在训练过程中，每到一定的迭代次数都会测试，迭代次数是由test-interval决定的，如test_interval=1000，则训练集每迭代1000次测试一遍网络，而
test_size, test_iter, 和test图片的数量决定了怎样test, test-size决定了test时每次迭代输入图片的数量，test_iter就是test所有的图片的迭代次数，如：500张test图片，test_iter=100，则test_size=5, 而solver文档里只需要根据test图片总数量来设置test_iter，以及根据需要设置test_interval即可。
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：306次
排名：千里之外
(3)(1)(1)(2)}