前馈神经网络
前馈神经网络（全连接神经网络）
1、 概念及组成
前馈神经网络：每层神经元与下层神经元相互连接，神经元之间不存在同层连接，也不存在跨层连接。
组成：输入层、隐藏层、输出层
常用神经元：M-P神经元
图中f函数为激活函数，
θ
\theta
θ为阈值，
w
T
x
w^Tx
wTx的值超过阈值，激活函数被激活，通过激活函数处理产生神经元的输出。
2、 常见的激活函数
Sigmoid函数、tanh函数、ReLu函数
激活函数常有的性质：
- 非线性
- 可微性
- 单调性
- f ( x ) ≈ x f(x)\approx x f(x)≈x
- 输出值范围
- 计算简单
- 归一化 ：要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内
sigmoid函数
双曲正切函数（tanh函数）
ReLU函数
3、训练
没有隐藏层的神经网络，称为感知机。感知机的训练过程见下：
给定训练数据集，权重
w
i
(
i
=
1
,
2
,
3
,
.
.
.
n
)
w_i(i=1,2,3,...n)
wi(i=1,2,3,...n)、阈值
θ
\theta
θ可以通过学习得到。通常情况下阈值作为一个固定的输入 归并到权重中，所以对应的连接权重为
w
n
+
1
w_{n+1}
wn+1。则，问题转化为通过训练数据集得到权重的过程。对于训练样例
(
x
,
y
)
(x,y)
(x,y)，假定模型的输出值为
y
^
\hat{y}
y^,那么在学习的过程中权重则这样调整：
w
i
=
w
i
+
△
w
i
w_i=w_i+\triangle w_i
wi=wi+△wi
△
w
i
=
η
(
y
−
y
^
)
x
i
\triangle w_i=\eta(y-\hat y)x_i
△wi=η(y−y^)xi
η
\eta
η称为学习率，取值范围为(0,1)。
对于包含隐藏层的神经网络，通常使用BP算法（误差逆传播算法）进行训练：
BP算法基于梯度下降的策略，以目标的负梯度方向对参数进行调整。BP算法的目标是：最下化训练集D的累计误差：
E
=
1
m
∑
k
=
1
m
E
k
E=\frac{1}{m}\sum\limits_{k=1}^{m}E_k
E=m1k=1∑mEk
假定隐藏层和输出层的激活函数为sigmoid函数。各项参数设定如下：
其中
g
i
g_i
gi为：输出层神经元的梯度项。同理，由链式法则可以推出：
上式
e
h
e_h
eh称为隐层神经元的梯度项,每个参数的更新公式为：
v
=
v
+
△
v
v=v+\triangle v
v=v+△v
BP算法的执行过程见下：
4、总结
BP神经网络易导致过拟合，可使用两种策略：**
1、早停： 将数据分为训练集和验证集，训练集用来训练参数（计算梯度、更新连接权、阈值），验证集用来估计误差。训练集误差降低，验证集误差升高停止训练。
2、正则化： 在误差目标函数中增加一个用于描述网络复杂度的部分，来防止过拟合。例如：
E
=
λ
1
m
∑
k
=
1
m
E
k
+
(
1
−
λ
)
∑
i
w
i
2
E=\lambda\frac{1}{m}\sum\limits_{k=1}^{m}E_k+(1-\lambda)\sum\limits_{i}{w_i}^2
E=λm1k=1∑mEk+(1−λ)i∑wi2，此时训练偏好较小连接权和阈值，使网络更加光滑，从而对过拟合有所缓解。其中
λ
∈
(
0
,
1
)
\lambda\in(0,1)
λ∈(0,1)用于经验误差与网络复杂度的折中，常通过交叉验证法来估计。
关于局部最优和全局最优的解决办法：
1、使用多组不同的初始参数初始化网络，先当与从多个不同点进行搜索。从结果中，找出更接近全局最小的结果。
2、使用随机梯度下降。
来源：周志华《机器学习》