浅尝ncnn优化&&vulkan api的应用

Epimenides

0.117 2022-03-17 21:14 IP属地: 上海

vulkan 的显存管理

一个 VkBuffer 对象，多个 offset

使用同一块 VkBuffer 存储中间层的特征数据，不同的 blob 使用不同的 offset 进行区分。

原因：有些驱动需要对 GLSL 或者 SPIR-V 的源代码进行特殊的处理，所以只能采用运行时编译

好处：不需要在离线时编译多个 SPIR-V 的二进制文件，减少二进制文件的体积。

Swiftshader
swiftshader项目地址：google在cpu上实现 vulkan驱动 的项目，可以实现在cpu上执行vulkan的代码，可以保证每次代码运行结果都是一致的。
复用 VkPipeline 和相关的 vulkan object
模型加载的时候，特别是第一次加载模型的时候，由于没有离线的cache和优化的手段， pipeline的编译是一个十分耗时的操作。

有些模型层的参数( kernal size , stride )是一样的。 ncnn 在运行时就将 层的参数 和 vulkan对象 的关系记录下来，当遇到具有相同参数层的时候，就可以直接复用之前创建好的 vulkan对象 ，这样可以显著降低第一次加载模型的耗时。

推荐文章

怕老婆的海龟 · maverickpig-CSDN博客

1 年前

跑龙套的牛肉面 · 使用kubectl在AWS EKS集群中尝试创建命名空间时出现错误：从服务器获取错误（禁止）：禁止创建命名空间。

2 年前

要出家的毛豆 · Opera浏览器的扩展&密码文件位置_batterisebear的博客-CSDN博客

2 年前

忧郁的感冒药 · 聊聊Python ctypes 模块 - 知乎

2 年前

性感的小熊猫 · MATLAB批量将单通道图片转换为三通道图片_matlab三通道图像乘单通道_ 路人的博客-CSDN博客

2 年前