AI常见部署方式_ai部署_HJZ11的博客

2.具体部署

客户端 ----> web服务(flask或者tornado) --grpc或者rest--> tensorflow serving
深度学习Tensorflow生产环境部署（下·模型部署篇）
Tensorflow 2.x模型-部署与实践
如何部署tensorflow训练的模型
将tensorflow模型部署到服务器上
Tensorflow如何进行工业部署？ 
确定好输入和输出节点，把模型导出成SavedModel格式，
然后用TF-Serving启动服务，
调用方发http请求或者grpc请求就可以拿到预测结果
 使用 Docker 部署 TensorFlow 环境
 
 
 
 已经训练好的tensorflow模型如何部署到web上？
  
可以做成一个http服务,提供一个web接口,模型只在服务器上就可以了.
使用时候客户端通过http请求上传要识别的图片等数据到服务端接口,服务端计算后返回给客户端.
部署PyTorch模型到终端
如何将pytorch模型通过docker部署到服务器 
在服务端训练出特定的算法模型——再将这个模型部署到服务端或者终端（以后大多数场景下是部署到终端）——需要服务端AI框架到终端AI推理框架的转换工具。
Tensorflowserving: 
模型部署 TensorFlowServing
tensorflow2.0基础（10）——使用tensorflow-serving部署模型
Tensorflow-serving部署模型到服务器
tensorflow serving部署keras或tf2.0模型
docker部署tensorflowserving以及模型替换
Tensorflow-serving+Docker安装+模型部署
用Docker容器自带的tensorflowserving部署模型对外服务（成功率100%）
TensorFlow Serving + Docker +Tornado机器学习模型生产级快速部署 
常用的做法如使用flask、Django、tornado等web框架创建一个服务器app，这个app在启动后就会一直挂在后台，然后等待用户使用客户端POST一个请求上来（例如上传了一张图片的url），app检测到有请求，就会下载这个url的图片，接着调用你的模型，得到推理结果后以json的格式把结果返回给用户。
这个做法对于简单部署来说代码量不多，对于不熟悉web框架的朋友来说随便套用一个模板就能写出来，但是也会有一些明显的缺点：
1. 需要在服务器上重新安装项目所需的所有依赖。
2. 当接收到并发请求的时候，服务器可能要后台启动多个进程进行推理，造成资源紧缺。
3. 不同的模型需要启动不同的服务。
而为了解决第一个问题，Docker是最好的方案。
                    文章目录1.AI部署简介2.具体部署1.AI部署简介没人告诉你的大规模部署AI高效流程！2.具体部署使用ONNX部署深度学习和传统机器学习模型自动部署深度神经网络模型TensorFlow（Keras）到生产环境中深度学习Tensorflow生产环境部署（上·环境准备篇）深度学习Tensorflow生产环境部署（下·模型部署篇）Tensorflow 2.x模型-部署与实践如何部署tensorflow训练的模型将tensorflow模型部署到服务器上Tensorflow如何进行工业部
				人工智能技术现状全文共4页，当前为第1页。人工智能技术现状全文共4页，当前为第1页。人工智能技术现状 人工智能技术现状全文共4页，当前为第1页。 人工智能技术现状全文共4页，当前为第1页。 最近十年兴起的新一波的人工智能热潮，已经在工业，交通，教育，娱乐，生活甚至在军事等方面改变了人类社会。当前，人工智能的研究方兴未艾，这次人工智能的热潮主要得益于以下几个方面技术的发展，下面是店铺为你整理的人工智能技术现状，供大家阅览! 人工智能发展技术现状 1.深度学习：作为本次人工智能革命的发动机，深度学习已经在诸多领域取得突破性进展，例如图像识别，语音识别，自然语言处理，还有最近全球瞩目的AlphaGo围棋程序。与传统机器学习模型相比，深度学习能从海量数据中自动提取高度抽象的特征，在很多特定任务上能达到甚至超越人类的表现。 2.强化学习：与监督学习和无监督学习一样，强化学习是第三种机器学习框架。它适用于人工智能对自身所处环境或要求执行的任务未知的情况，强调如何基于目前的环境而进行决策，逐步根据环境给予的奖惩反馈，调整自身的参数和决策策略以取得最大化的预期利益。从另一个角度看，这相当于生物进化和优胜劣汰。例如，AlphaGo通过与自身的无数次博弈进行强化学习提高下棋水平。 3.人工智能专用芯片：除了算法和模型，近年来计算硬件的发展也推动了人工智能高速发展。使用英伟达图像处理器(GPU)进行矩阵运算大大加快了深度神经网络的训练速度。随后，各种基于可编程逻辑门阵列(FPGA)的人工智能专用芯片层出不穷，英伟达也推出了专为人工智能应用设计的加速卡。人工智能专用芯片能在很低的功耗下达到传统CPU集群的计算能力，同时保持很小的体积，使得人工智能广泛应用于移动设备。 4.大规模机器学习：数据是训练人工智能系统的必要条件，如何快速地收集，存储与处理海量数据是人工智能发展的一个重要问题。数据库系统和大规模机器学习算法的研究也是当前的一大研究热点。 5.云计算技术：云计算大大降低了大规模机器学习的硬件成本。用户可以按其所需灵活租用高性能硬件，而不需要付出时间和金钱成人工智能技术现状全文共4页，当前为第2页。人工智能技术现状全文共4页，当前为第2页。本去调研，采购以及维护管理机器学习任务所需的硬件设备。这极大地方便了中小企业和创业者快速搭建自己的机器学习系统。同时，云计算平台往往会部署主流机器学习工具，让非机器学习领域研究者也可以快速入门。 人工智能技术现状全文共4页，当前为第2页。 人工智能技术现状全文共4页，当前为第2页。 当前，基于机器学习的人工智能取得了很多令人瞩目的成果。但目前机器学习的一个很多局限是需要大量标注好的数据来进行学习。展望人工智能的未来，我们该如何从技术方面更好的发展人工智能呢? 1.开源代码和共享数据：目前，人工智能之所以能在全球范围内快速发展，得益于高质量的开源代码，其中不乏有谷歌微软等知名公司的作品。有了开源代码，小型企业和研究机构可以在短时间内重现最先进的技术为己所用，并在此基础上做进一步提升，推进人工智能的发展。然而在当下，由于涉及到企业利益和用户隐私，企业共享数据并不常见，而高质量的标注数据恰恰是训练人工智能系统所必需的。 2.政府公开数据：过去数十年里，通过实现电子化政务，政府都累积了大量的数据，但大部分数据都只是沉淀起来却从没有被利用。这些数据对于分析特定领域乃至整个社会的运转，预测未来趋势都有极大的作用。因此，政府应该建立良好的开放数据机制，在保护居民隐私的前提下，将利于民生的数据公诸于众，并鼓励从中发掘有用的信息，利用人工智能技术促进社会发展。同时，政府也应该主动收集有用的数据以备未来所需，例如各地各行业的经济数据，交通和教育，医疗等数据。 3.特定领域的人工智能：人工智能技术在学术界取得重大进展的同时，也该走出实验室服务社会。一些传统领域，例如交通管理，医疗诊断和法律咨询，仍在使用传统的，基于固定策略结合人的经验的方法。如今，有了海量的历史数据和先进的人工智能技术，智能交通，智慧医疗和人工智能律师成为了可能。这将大大缓解由于医生和律师等专用人才缺乏所带来的压力，将人类从复杂繁琐的劳动中解放出来。 4.机器认知与推理：目前人工智能技术多数使用数值的方式来表示信息，而没有形成类似人类思维中的"概念"，更不能进行归纳，推理，知识迁移，因此只能在特定领域里完成特定任务。想要实现通人工智能技术现状全文共4页，当前为第3页。人工智能技术现状全文共4页，当前为第3页。用人工智能，必须赋予其综合多个领域的信息，进行认知与推理的能力。 人工智能技术现状全文共4页，当前为第3页。 人工智能技术现状全文共4页，当前为第3页。 5.无监督学习：互联网上有着取之不尽的海量数据，但绝大部分数据都是未标注的。相对于监督学习，无监督学习框架有希
				triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定**，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。
> 本系列讲解的版本也是基于22.06。