正则化是一种用于减少过拟合（overfitting）的技术，可以在神经网络的各个层次中应用，包括激活函数。激活函数的正则化主要目的是减少神经网络的复杂度，防止网络在训练集上过度学习，从而提高泛化能力。
L2 正则化（权重衰减）：在网络的损失函数中引入 L2 正则化项，通过惩罚权重的平方和来防止权重过大。L2 正则化可以使权重趋向于分布在较小的范围内，有助于减少模型的复杂性。
Dropout：虽然不是激活函数本身的正则化，但是 Dropout 是一种在训练过程中随机将一些神经元置零的技术，可以看作是对网络的激活函数进行正则化。Dropout 可以防止神经元之间的协同适应，减少过拟合。
激活函数的变种：一些激活函数的变种具有正则化的效果，例如 Leaky ReLU、Parametric ReLU（PReLU）、Exponential Linear Units（ELU）等。这些激活函数在负值区域引入一些非线性，可以有助于减少神经元的活性，从而起到正则化的作用。
Noise Injection：在激活函数的输入中添加噪声可以帮助模型更好地泛化。例如，可以在输入数据中添加随机噪声，或者在激活函数的输出中添加高斯噪声。
Batch Normalization：尽管 Batch Normalization 主要用于加速训练和稳定网络，但它也可以起到正则化的作用。通过规范化每个批次的输入，Batch Normalization 可以减少神经元的协同适应，从而有助于防止过拟合。
model = keras.models.Sequential([
#卷积层1
keras.layers.Conv2D(32,kernel_size=5,strides=1,padding=same,data_format=channels_last,activation=tf.nn.relu,kernel_regularizer=keras.regularizers.l2(0.01)),
#池化层1
keras.layers.MaxPool2D(pool_size=2,strides=2,padding=same),
Matlab实现BO
-
CNN贝叶斯优化卷积
神经网络
多输入单输出回归预测（完整源码和数据）
1.data为数据集，输入7个特征，输出1个变量。
2.MainBO_CNN.m为程序主文件，其他为
函数
文件无需运行。
3.命令窗口输出MAE、MSE、RMSEP、R^2、RPD和MAPE，可在下载区获取数据和程序内容。
4.贝叶斯优化算法优化参数为学习率、批处理样本大小和、正则化参数。
注意程序和数据放在一个文件夹，运行环境为Matlab2018及以上。
针对直接逆向建模方法精度低，稳定性差等缺点，提出一种采用规则化
函数
为L1/2范数的贝叶斯正则化
神经网络
逆向建模方法，L1/2 正则化使得
网络
结构具有稀疏性，能够缩小
网络
的规模、加快
网络
的训练速度，用贝叶斯正则化方法可以使
网络
的输出更加平滑，提高
网络
的稳定性和泛化能力。将此方法应用到Doherty 功率放大器的设计中，在已知Doherty 主功放效率、输出匹配端的S11和S21的情况下，分别仿真得出相对应的输出功率和 f ,可以简化设计过程。实验结果表明此逆向模型求得的输出功率、与S11相对的 f 、与S21相对的 f 比直接逆向建模方法的均方误差分别减少了8.83%、9.30%和9.00%，运行时间分别减少了99.34%、99.40%和99.23%，解决了设计中的多解问题，可用于设计射频微波器件。
self
-
attention与softmax的推导
语言模型（language model, LM）在自然语言处理中占有重要的地位，尤其在基于统计模型的语音识别、机器翻译、汉语自动分词和句法分析等相关研究中得到了广泛应用。
概率P：语言模型是计算一个句子是是句子的概率。
比如，对ni hao的判定
你好 P = 0.8
