🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎

📝个人主页－ Sonhhxg_柒的博客_CSDN博客 📃

🎁欢迎各位→点赞👍 + 收藏⭐️ + 留言📝​

📣系列专栏 - 机器学习【ML】 自然语言处理【NLP】 深度学习【DL】

🖍foreword

✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。

如果你对这个系列感兴趣的话，可以关注订阅哟👋

什么是深度学习？

定义神经网络

深度学习算法如何工作？

深度学习中使用的算法类型

1. 卷积神经网络 (CNN)

2. 长短期记忆网络 (LSTM)

3. 循环神经网络 (RNN)

4. 生成对抗网络 (GAN)

5. 径向基函数网络 (RBFN)

6. 多层感知器 (MLP)

7. 自组织图 (SOM)

8.深度信念网络（DBN）

9. 受限玻尔兹曼机 (RBM)

10.自动编码器（AutoEncoding）

Q1. 哪种算法在深度学习中最好？

Q2. 哪个是深度学习算法的示例？

Q3. CNN是深度学习算法吗？

Q4. 深度学习的三层是什么？

Q5. 深度学习模型如何工作？

Q6. 哪些是最好的深度学习算法？

深度学习在科学计算领域广受欢迎，其算法广泛应用于解决复杂问题的行业。所有深度学习算法都使用不同类型的神经网络来执行特定任务。

本文研究了基本的 人工神经网络 以及深度学习算法如何模拟人脑。

什么是深度学习？

深度学习 使用人工神经网络对大量数据执行复杂的计算。它是一种基于人脑结构和功能的 机器学习 。

深度学习算法通过从示例中学习来训练机器。医疗保健、电子商务、娱乐和广告等行业普遍使用深度学习。

定义神经网络

神经网络 的结构类似于人脑，由人工神经元（也称为节点）组成。这些节点在三层中彼此相邻堆叠：

• 输入层
• 隐藏层
• 输出层

数据以输入的形式为每个节点提供信息。该节点将输入与随机权重相乘，计算它们，并添加偏差。最后，应用非线性函数（也称为激活函数）来确定激活哪个神经元。

深度学习算法如何工作？

虽然深度学习算法具有自我学习表示的特点，但它们依赖于反映大脑计算信息方式的人工神经网络。在训练过程中，算法使用输入分布中的未知元素来提取特征、对对象进行分组并发现有用的数据模式。就像用于自学的训练机器一样，这发生在多个级别，使用算法来构建模型。

深度学习模型使用多种 算法 。虽然没有一个网络被认为是完美的，但一些算法更适合执行特定任务。要选择正确的算法，最好对所有主要算法都有深入的了解。

深度学习中使用的算法类型

以下是 10 大最受欢迎的深度学习算法的列表：

1. 卷积神经网络 (CNN)
2. 长短期记忆网络 (LSTM)
3. 循环神经网络 (RNN)
4. 生成对抗网络 (GAN)
5. 径向基函数网络 (RBFN)
6. 多层感知器 (MLP)
7. 自组织图 (SOM)
8. 深度信念网络 (DBN)
9. 受限玻尔兹曼机 (RBM)
10. 自编码器（AutoEncoding）

深度学习算法几乎可以处理任何类型的数据，并且需要大量的计算能力和信息来解决复杂的问题。现在，让我们深入探讨 10 大深度学习算法。

1. 卷积神经网络 (CNN)

CNN 也称为 ConvNets，由多层组成，主要用于图像处理和对象检测。Yann LeCun 在 1988 年开发了第一个 CNN，当时它被称为 LeNet。它用于识别邮政编码和数字等字符。

CNN 广泛用于识别卫星图像、处理医学图像、预测时间序列和检测异常。

CNN 如何工作？

CNN 有多层处理数据并从中提取特征：

• CNN 有一个卷积层，它有几个过滤器来执行卷积操作。

整流线性单元 (ReLU)

• CNN 有一个 ReLU 层来对元素执行操作。输出是修正后的特征图。

• 修正后的特征图接下来被送入池化层。池化是一种降低特征图维度的下采样操作。
• 然后，池化层通过展平将池化特征图生成的二维数组转换为单个长的、连续的线性向量。

• 当来自池化层的展平矩阵作为输入馈送时，形成一个完全连接的层，对图像进行分类和识别。

下面是通过 CNN 处理的图像示例。

2. 长短期记忆网络 (LSTM)

LSTM 是一种循环神经网络 (RNN)，可以学习和记忆长期依赖关系。长时间回忆过去的信息是默认行为。

LSTM 随着时间的推移保留信息。它们在时间序列预测中很有用，因为它们会记住以前的输入。LSTM 具有链状结构，其中四个交互层以独特的方式进行通信。除了时间序列预测，LSTM 通常用于语音识别、音乐创作和药物开发。

LSTM 如何工作？

• 首先，他们忘记了先前状态的不相关部分
• 接下来，他们有选择地更新细胞状态值
• 最后输出某些部分的cell state

下图展示了 LSTM 的运作方式：

3. 循环神经网络 (RNN)

RNN 具有形成定向循环的连接，这允许将 LSTM 的输出作为输入馈送到当前阶段。

LSTM 的输出成为当前阶段的输入，并且由于其内部存储器可以记住以前的输入。RNN 通常用于图像字幕、 时间序列分析 、 自然语言处理 、 手写识别和机器翻译。

展开的 RNN 如下所示：

RNN 是如何工作的？

• 时间 t-1 的输出馈入时间 t 的输入。
• 类似地，时间 t 的输出馈入时间 t+1 的输入。
• RNN 可以处理任何长度的输入。
• 计算考虑了历史信息，模型大小不会随着输入大小的增加而增加。

以下是 Google 自动完成功能工作原理的示例：

4. 生成对抗网络 (GAN)

GAN 是生成式深度学习算法，可创建类似于训练数据的新数据实例。GAN 有两个组成部分：一个生成器，它学习生成虚假数据；一个鉴别器，它从虚假信息中学习。

GAN 的使用在一段时间内有所增加。它们可用于改善天文图像和模拟暗物质研究的引力透镜。视频游戏开发人员使用 GAN 来升级旧视频游戏中的低分辨率 2D 纹理，方法是通过图像训练以 4K 或更高分辨率重新创建它们。

GAN 有助于生成逼真的图像和卡通人物、创建人脸照片以及渲染 3D 对象。

GAN 是如何工作的？

• 鉴别器学习区分生成器的假数据和真实样本数据。
• 在初始训练期间，生成器生成假数据，而鉴别器很快学会分辨它是假的。
• GAN 将结果发送给生成器和鉴别器以更新模型。

下图展示了 GAN 的运作方式：

5. 径向基函数网络 (RBFN)

RBFN 是特殊类型的前馈神经网络，它使用径向基函数作为激活函数。它们有一个输入层、一个隐藏层和一个输出层，主要用于分类、回归和时间序列预测。

RBFN 如何工作？

• RBFN 通过测量输入与训练集中示例的相似性来执行分类。
• RBFN 有一个馈送到输入层的输入向量。它们有一层 RBF 神经元。
• 该函数找到输入的加权和，输出层每个类别或数据类别有一个节点。
• 隐藏层中的神经元包含高斯传递函数，其输出与神经元中心的距离成反比。
• 网络的输出是输入的径向基函数和神经元参数的线性组合。

请参阅此 RBFN 示例：

6. 多层感知器 (MLP)

MLP 是开始学习深度学习技术的绝佳场所。

MLP 属于前馈神经网络类别，具有多层具有激活功能的感知器。MLP 由全连接的输入层和输出层组成。它们具有相同数量的输入和输出层，但可能有多个隐藏层，可用于构建语音识别、图像识别和机器翻译软件。

MLP 如何运作？

• MLP 将数据馈送到网络的输入层。神经元层以图形方式连接，以便信号沿一个方向传递。
• MLP 使用存在于输入层和隐藏层之间的权重计算输入。
• MLP 使用激活函数来确定触发哪些节点。激活函数包括 ReLU、S 型函数和 tanh。
• MLP 训练模型以了解相关性并从训练数据集中学习独立变量和目标变量之间的依赖关系。

下面是一个 MLP 的例子。该图计算权重和偏差，并应用合适的激活函数对猫和狗的图像进行分类。

7. 自组织图 (SOM)

Teuvo Kohonen 教授发明了 SOM，它通过自组织人工神经网络 实现 人工神经网络

数据可视化试图解决人类无法轻易将高维数据可视化的问题。创建 SOM 是为了帮助用户理解这种高维信息。

SOM 如何运作？

• SOM 为每个节点初始化权重，并从训练数据中随机选择一个向量。
• SOM 检查每个节点以找出哪些权重最有可能是输入向量。获胜的节点称为最佳匹配单元 (BMU)。
• SOM 会发现 BMU 的邻域，并且邻域的数量会随着时间的推移而减少。
• SOM 将获胜权重授予样本向量。节点离 BMU 越近，其权重变化越大。
• 邻居离 BMU 越远，它学到的越少。SOM 重复第二步进行 N 次迭代。

下面是不同颜色的输入向量图。此数据馈送到 SOM，然后将数据转换为 2D RGB 值。最后，它对不同的颜色进行分离和分类。

8.深度信念网络（DBN）

DBN 是由多层随机潜在变量组成的生成模型。潜在变量具有二进制值，通常称为隐藏单元。

DBN 是一堆玻尔兹曼机，层与层之间有连接，每个 RBM 层都与前一层和后一层进行通信。深度信念网络 (DBN) 用于图像识别、视频识别和动作捕捉数据。

DBN 是如何工作的？

• 贪婪学习算法训练 DBN。贪心学习算法使用逐层方法来学习自上而下的生成权重。
• DBN 在顶部两个隐藏层上运行 Gibbs 采样步骤。此阶段从顶部两个隐藏层定义的 RBM 中抽取样本。
• DBN 使用通过模型其余部分的单次祖先采样从可见单元中抽取样本。
• DBN 了解到每一层中的潜在变量的值都可以通过一次自下而上的传递来推断。

下面是一个 DBN 架构的例子：

9. 受限玻尔兹曼机 (RBM)

RBM 由 Geoffrey Hinton 开发，是一种随机神经网络，可以从一组输入的概率分布中学习。

这种深度学习算法用于降维、分类、回归、协同过滤、特征学习和主题建模。RBM 构成了 DBN 的构建块。

RBM 由两层组成：

• 可见单位
• 隐藏单位

每个可见单元都连接到所有隐藏单元。RBM 有一个连接到所有可见单元和隐藏单元的偏置单元，并且它们没有输出节点。

RBM 如何运作？

RBM 有两个阶段：正向传递和反向传递。

• RBM 接受输入并将它们转换为一组数字，这些数字在前向传递中对输入进行编码。
• RBM 将每个输入与单独的权重和一个整体偏差结合起来。该算法将输出传递给隐藏层。
• 在向后传递中，RBM ​​获取该组数字并将它们转换为重构输入。
• RBM 将每个激活与个体权重和整体偏差结合起来，并将输出传递给可见层进行重建。
• 在可见层，RBM ​​将重建与原始输入进行比较，以分析结果的质量。

下图是 RBM 如何运作的图表：

10.自动编码器 （AutoEncoding）

自动编码器是一种特定类型的前馈神经网络，其中输入和输出相同。Geoffrey Hinton 在 1980 年代设计了自动编码器来解决无监督学习问题。它们是训练有素的神经网络，可将数据从输入层复制到输出层。自动编码器用于药物发现、流行度预测和图像处理等目的。

自动编码器如何工作？

自动编码器由三个主要组件组成：编码器、代码和解码器。

• 自动编码器的结构是接收输入并将其转换为不同的表示形式。然后他们尝试尽可能准确地重建原始输入。
• 当数字图像不清晰可见时，它会馈送到自动编码器神经网络。
• 自动编码器首先对图像进行编码，然后将输入的大小缩小为更小的表示。
• 最后，自动编码器对图像进行解码以生成重建图像。

下图演示了自动编码器的操作方式：

深度学习在过去五年中得到了发展，深度学习算法已在许多行业中广泛流行。

Q1. 哪种算法在深度学习中最好？

多层感知器 (MLP) 是最好的深度学习算法。它是几个社交媒体网站（包括 Instagram 和 Meta）使用的最古老的深度学习技术之一。这有助于在弱网络中加载图像，辅助数据压缩，并且通常用于速度和图像识别应用程序。

Q2. 哪个是深度学习算法的示例？

许多深度学习算法中的一些包括径向函数网络、多层感知器、自组织映射、卷积神经网络等等。这些算法包括受人脑神经元功能启发的架构。

Q3. CNN是深度学习算法吗？

是的，CNN 是一种深度学习算法，负责以网格模式的形式处理受动物视觉皮层启发的图像。这些旨在自动检测和分割特定对象，并学习从低级到高级模式的空间层次结构。

Q4. 深度学习的三层是什么？

三层神经网络由三层组成——输入层、隐藏层和输出层。当输入数据应用于输入层时，得到输出层的输出数据。隐藏层负责执行所有计算和“隐藏”任务。

Q5. 深度学习模型如何工作？

深度学习模型使用神经网络架构或一组包含多层的标记数据进行训练。它们有时会超过人类水平的表现。这些架构直接从数据中学习特征，而不会妨碍手动特征提取。

Q6. 哪些是最好的深度学习算法？

无论您是初学者还是专业人士，这三大深度学习算法都将帮助您解决与深度学习相关的复杂问题：CNN 或卷积神经网络、LSTM 或长短期记忆网络和 RNN 或递归神经网络 (RNN)。

这些课程专为已有一定基础（基本的编程知识，熟悉Python、对机器学习有基本了解）， 想要尝试进入 人工智能 领域的计算机专业人士准备。介绍显示：“ 深度学习 是科技业最热门 的技能之一，本课程将帮你掌握 深度学习 。” 在这5堂课中，学生将可以学习到 深度学习 的基础，学会构建神经网络，并用在包括吴 恩达本人在内的多位业界顶尖专家指导下创建自己的机器学习项目。Deep Learning Specialization对卷积神经网络 (CNN)、递归神经网络 (RNN)、长短期记忆 (LSTM) 等深度学 习常用的网络结构、工具和知识都有涉及。 课程中也会有很多实操项目，帮助学生更好地应用自己学到的 深度学习 技术，解决真实 世界问题。这些项目将涵盖医疗、自动驾驶、和自然语言处理等时髦领域，以及音乐生成等 等。Coursera上有一些特定方向和知识的资料，但一直没有比较全面、深入浅出的 深度学习 课程——《 深度学习 专业》的推出补上了这一空缺。 课程的语言是Python，使用的框架是Google开源的TensorFlow。最吸引人之处在于， 课程导师就是吴恩达本人，两名助教均来自斯坦福计算机系。完成课程所需时间根据不同的 学习进度，大约需要3-4个月左右。学生结课后，Coursera将授予他们Deep Learning Specialization结业证书。 “我们将帮助你掌握 深度学习 ，理解如何应用 深度学习 ，在 人工智能 业界开启你的职业 生涯。”吴恩达在课程页面中提到。 本人黄海广博士，以前写过吴恩达老师的机器学习个人笔记。有朋友报名了课程，下载 了这次课程的视频给大家分享。Coursera的字幕不全，同学们在学习上感觉非常不方便，因 此我找志同道合的朋友翻译和整理字幕，中英文字幕来自于由我和曹骁威同学组织爱好者翻 译，希望对大家有所帮助。（备注：自网易公开课翻译 深度学习 课程后，我们不再翻译） 目前我正在组织团队整理中文笔记，由热心的朋友无偿帮忙制作整理，并持续更新。我 们的团队的劳动致力于AI在国内的推广，不会损害Coursera以及吴恩达老师的商业利益。 本人水平有限，如有公式、 算法 错误，请及时指出，发邮件给我，也可以加我qq。 其中包含了线性代数、微积分、概率论、机器学习概述KNN 算法 、回归 算法 、逻辑回归、朴素贝叶斯、推荐系统、 深度学习 和tensorflow入门、tensorflow的应用、Hadoop生态圈、ETL工具、数据仓库、Hive等小知识点。以上就是Python学习的4大阶段，希望上面的路线可以对不管是自学还是正在培训的小伙伴有帮助，喜欢的话点个关注！）其中包含了Python语言概述和环境安装、变量、数据类型和进制、运算符和分支结构、循环结构入门、循环结构的应用、字符串、列表的应用、元组和集合等等小知识点。 这是一个用数据说话的时代，也是一个依靠数据竞争的时代，数据的分析和处理能力正在成为日益倚重的技术手段。2. 其次是类库生态丰富，一个较为形象的例子就是同样的功能C需要 10 00行，Java需要 10 0行，而Python只需要 10 行，本质就是调包顺畅；Python 简洁、灵活、通用，几乎可以在各种场景与各种平台、设备、语言进行连接，因此被称为胶水语言，有人把它比作小巧而又多功能的瑞士军刀。对于想要从业python的朋友来说，实战是非常重要的，有了实战的经验才能更好的了解python的运用。 这两个概念实际上是互相交叉的，例如，卷积神经网络（Convolutionalneuralnetworks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（DeepBeliefNets，简称DBNs）就是一种无监督学习下的机器学习模型。权重共享和稀疏连接一样，减少了卷积神经网络的参数总量，并具有正则化的效果。卷积神经网络的稀疏连接具有正则化的效果，提高了网络结构的稳定性和泛化能力，避免过度拟合，同时，稀疏连接减少了权重参数的总量，有利于神经网络的快速学习，和在计算时减少内存开销。... 【CSDN 编者按】经过数十 年 的演进， 人工智能 走出了从推理，到知识，再到学习的发展路径。尤其近十 年 由 深度学习 开启神经网络的黄金新时代，机器学习成为解决 人工智能 面临诸多难题的重要途径。然而，这一涉及概率论、统计学、逼近论、凸分析、 算法 复杂度等理论的交叉学科让很多开发者犯难，尤其是纷繁复杂的各类 算法 。本文作者结合自身多 年 的工作经验和日常学习，汇编了一份 2023 年 度的机器学习 算法 大全。希望在新的一 年 ，这... 在国内，豆瓣一开始就使用Python作为web开发基础语言，知乎的整个架构也是基于Python语言，这使得web开发这块在国内发展的很不错。youtube 世界最大的视频网站也是Python开发的哦.还有非常出名的instagram 也是用python开发的爬虫是属于运营的比较多的一个场景吧,比如谷歌的爬虫早期就是用跑Python写的. 其中有一个库叫 Requests ,这个库是一个模拟HTTP请求的一个库,非常的出名! 十分抱歉，由于项目太忙（我会说自己懒吗？）柳猫一直没有更新自己的手记，现在，就让柳猫来讲讲十个常用的 深度学习 算法 。 过去十 年 里，人们对机器学习的兴趣经历了爆炸式的整长。我们几乎每天都可以在计算机程序、行业会议和媒体上看到机器学习的身影。很多关于机器学习的讨论都混淆了“机器学习能做什么”和“人类希望机器学习能做什么”。从根本上讲，机器学习是运用 算法 从原始数据中提取信息，并用某种类型... 深度学习 在求解偏微分方程(PDE)中有三种主要方法: Deep Ritz, Galerkin 和 PINN. Deep Ritz 方法是通过使用深度神经网络来逼近解析解来求解 PDE 的. 它使用了 Ritz 方法中的估计量来训练网络, 从而得到逼近解. Galerkin 方法是通过在网络中使用 Galerkin 方法中的基函数来求解 PDE 的. 它使用了 Galerkin 方法中的线性组合... 预测未来不是魔法，而是 人工智能 。毋庸置疑， 人工智能 的风头正劲，每个人都在谈论它，无论他们是否理解这个术语。 据研究人员和分析师称，到 2024 年 ，数字助理的使用率预计有望达到 84 亿。超个性化、聊天机器人、预测性行为分析等是 人工智能 应用中最为常见的用例。 人工智能 正在彻底改变整个地球，引领我们走向一个不可预测的未来。其中，最重要的两个概念是机器学习和 深度学习 。 在每天发送的 3000 亿封电子邮件中，机器学习的效率足以检测出垃圾邮件。但是，近 年 来， 深度学习 以其高准确率、有效性、高效率和 1. 线性回归 在统计学和机器学习领域，线性回归可能是最广为人知也最易理解的 算法 之一。 预测建模主要关注的是在牺牲可解释性的情况下，尽可能最小化模型误差或做出最准确的预测。我们将借鉴、重用来自许多其它领域的 算法 （包括统计学）来实现这些目标。 线性回归模型被表示为一个方程式，它为输入变量找到特定的权重（即系数 B），进而描述一条最佳拟合了输入变量（x）和输出变量（y）之间关系的直线。 线性回...