浅尝ncnn优化&&vulkan api的应用

Epimenides

0.117 2022-03-17 21:14 IP属地: 上海

vulkan 的显存管理

一个 VkBuffer 对象，多个 offset

使用同一块 VkBuffer 存储中间层的特征数据，不同的 blob 使用不同的 offset 进行区分。

原因：有些驱动需要对 GLSL 或者 SPIR-V 的源代码进行特殊的处理，所以只能采用运行时编译

好处：不需要在离线时编译多个 SPIR-V 的二进制文件，减少二进制文件的体积。

Swiftshader
swiftshader项目地址：google在cpu上实现 vulkan驱动 的项目，可以实现在cpu上执行vulkan的代码，可以保证每次代码运行结果都是一致的。
复用 VkPipeline 和相关的 vulkan object
模型加载的时候，特别是第一次加载模型的时候，由于没有离线的cache和优化的手段， pipeline的编译是一个十分耗时的操作。

有些模型层的参数( kernal size , stride )是一样的。 ncnn 在运行时就将 层的参数 和 vulkan对象 的关系记录下来，当遇到具有相同参数层的时候，就可以直接复用之前创建好的 vulkan对象 ，这样可以显著降低第一次加载模型的耗时。

推荐文章

冷静的楼房 · VBA：发送多封带有.jpg图片在正文中，并附带表格的电子邮件

2 年前

好帅的排球 · python执行命令、该命令执行时间长_python – 通过paramiko执行一个长时间运行的命令...-CSDN博客

2 年前

可爱的黑框眼镜 · java 中的 list 如何聚合并转换类型为Map包Map里面在处理为其他类型, 如何使用 Collectors.groupingBy Collectors.collectingAndThen_hank009的博客-CSDN博客

3 年前

犯傻的韭菜 · eclipse怎么添加jar包依赖-掘金

3 年前

飘逸的四季豆 · python数据分析之pandas数据预处理（数据合并与数据提取、loc、iloc、ix函数详解）_51CTO博客_数据预处理python的pandas

3 年前