在loss中加入l2正则：https://www.zhihu.com/question/275811771多种正则方法添加：https://www.cnblogs.com/linyuanzhou/p/6923607.html
在神经网络
中
，
正
则化的作用是防止过拟合，本文将结合一个实例来讲解神经网络
中
的L2
正
则化，并手动（不使用框架）
实现
出来。先来看代码运行结果：
增加L2
正
则化之前
增加L2
正
则化之后：L2
正
则化为：λ2 m ||W|| 2 \frac {\lambda}{2 \text{ }m}||W||^2， 其
中
λ \lambda是超参数， m是一个batch
中
数据个数， 除以2的原因是在求导的时候抵消掉
5, input_dim=5,
kernel_initializer='ones',
kernel_regularizer=
tf
.keras.regularizers.L1(0.01),
activity_regularizer=
tf
.keras.regularizers.L2(0.01))
其他形式：
tf
.keras.regularizers.L1(0.3) # L1 Regularization Penalty
（1）增大数据集；
（2）减少变量个数，去掉不重要变量；
（3）
正
则化：保留所有变量，但减小特征变量的数量级。这种处理方法更合适，因为实际所有变量对结果都有一定贡献，只是有些变量对结果的影响很小。
正
规化背后的思路：这些参数的值越小，通常对应于越光滑的函数，也就是更加简单的函数。因此 就不易发生过拟合的问题。
给损失函数加
正
则化项
给损失函数加上
正
则化项可防止模型过拟合。
正
则化方法...
L2
正
则化，主要防止模型过拟合，在
loss
function
中
增加一项对模型参数WWW的平方之和约束，防止学习的参数权重WWW过大，以下是tensorflow
中
添加L2
loss
实现
方式：
def l2_
loss
(l2_lambda=0.0001):
loss
=
tf
.add_n([
tf
.nn.l2_
loss
(
tf
.cast(v,
tf
.float32)) for v in
tf
.trainable_variables() if 'bias' not in v.name], name="l2_
loss
"
最近在看深度模型处理nlp文本分类。一般在写模型的时候，L2
正
则化系数设为0了，没有去跑
正
则化。还有一个小trick，就是一些权重的初始化，比如CNN每层的权重，以及全连接层的权重等等。
一般这些权重可能选择随机初始化，符合某种
正
态分布。虽然结果影响不大，但是肯定会影响模型收敛以及准确率的。
先上两张图。
正
则作用的对象是目标函数，如图对均方误差使用 ℓ2\ell_2
正
则：
loss
=
tf
.reduce_mean(
tf
.square(y-y_) +
tf
.contrib.
layers
.l2_regularizer(lambda)(w))1. 基本工作原理weights =
tf
.constant([[1., -2.], [-3., 4.]])
with
tf
.Session() as sess:
Keras 具有针对常见用例做出优化的简单而一致的界面。它可针对用户错误提供切实可行的清晰反馈。
模块化和可组合
将可配置的构造块连接在一起就可以构建 Keras 模型，并且几乎不受限制。
可以编写自定义构造块以表达新的研究创意，并且可以创...
weight =
tf
.constant([[1.0, -2.0], [-3.0, 4.0]])
with
tf
.Session() as sess:
#
输出
为(|1|+|-2|+|-3|+|4|)*0.5=5
print(sess.run(con...
input2 =
tf
.keras.Input(shape=(50, 50, 50, 1)) x = base_model(input2, training = False) flat2 =
tf
.keras.
layers
.Flatten()(x)
dense
1 =
tf
.keras.
layers
.
Dense
(units=64, activation="relu", kernel_regularizer=
tf
.keras.regularizers.l2(l2=1e-3))(flat2)
dense
2 =
tf
.keras.
layers
.
Dense
(units=128, activation="relu", kernel_regularizer=
tf
.keras.regularizers.l2(l2=1e-3))(
dense
1)
dense
3 =
tf
.keras.
layers
.
Dense
(units=128, activation="relu", kernel_regularizer=
tf
.keras.regularizers.l2(l2=1e-3))(
dense
2)
dense
4 =
tf
.keras.
layers
.
Dense
(units=64, activation="relu", kernel_regularizer=
tf
.keras.regularizers.l2(l2=1e-3))(
dense
3) #
dense
5 =
tf
.keras.
layers
.
Dense
(units=64, activation="relu")(
dense
4) drop2 =
tf
.keras.
layers
.Dropout(0.1)(
dense
4) output2 =
tf
.keras.
layers
.
Dense
(units=1)(drop2) # Compile the model model =
tf
.keras.Model(input2, output2) model.compile(optimizer=
tf
.keras.optimizers.Adam(learning_rate=initial_learning_rate),
loss
='MAE', metrics=['MSE'])
