TPU-MLIR快速入门手册

法律声明

版权所有 © 算能 2025. 保留一切权利。

非经本公司书面许可, 任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部, 并不得以任何形式传播。

注意

您购买的产品、服务或特性等应受 算能 商业合同和条款的约束, 本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。 除非合同另有约定, 算能 对本文档内容不做任何明示或默示的声明或保证。 由于产品版本升级或其他原因, 本文档内容会不定期进行更新。 除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

技术支持

地址:

北京市海淀区丰豪东路9号院中关村集成电路设计园(ICPARK)1号楼

邮编:

100094

网址:

https://www.sophgo.com/

邮箱:

sales@sophgo.com

电话:

010-57590723

发布记录

版本	发布日期	说明
v1.18.0	2025.05.01	yolo系列增加自动混精设置; run_calibration增加SmoothQuant选择; 新增llm一键编译脚本
v1.17.0	2025.04.03	LLM模型编译速度大幅提升; TPULang支持PPL算子接入; 修复Trilu bf16在Mars3上随机出错问题
v1.16.0	2025.03.03	TPULang ROI_Extractor支持; Einsum支持 abcde,abfge->abcdfg模式; LLMC支持Vila模型
v1.15.0	2025.02.05	支持LLMC量化; codegen地址越界判断; 修复若干对比问题
v1.14.0	2025.01.02	yolov8/v11后处理融合支持; Conv3D stride大于15支持; FAttention精度提升
v1.13.0	2024.12.02	精简Release发布包; MaxPoolWithMask训练算子性能优化; RoPE大算子支持;
v1.12.0	2024.11.06	tpuv7-runtime cmodel接入; BM1690多核LayerGroup优化; 支持PPL编写后端算子
v1.11.0	2024.09.27	BM1688 tdb增加soc模式; bmodel支持细粒度合并; 修复若干性能下降问题
v1.10.0	2024.08.15	支持yolov10; 增加量化调优章节; 优化tpu-perf日志打印
v1.9.0	2024.07.16	BM1690新增40个模型回归测试; 量化算法新增octav,aciq_guas和aciq_laplace
v1.8.0	2024.05.30	BM1690支持多核MatMul算子; TPULang支持输入输出顺序指定; tpuperf移除patchelf依赖
v1.7.0	2024.05.15	CV186X双核修改为单核; BM1690测试流程与BM1684X一致; 支持gemma/llama/qwen等模型
v1.6.0	2024.02.23	添加了Pypi发布形式; 支持用户自定义Global算子; 支持了CV186X处理器平台
v1.5.0	2023.11.03	更多Global Layer支持多核并行;
v1.4.0	2023.09.27	系统依赖升级到Ubuntu22.04; 支持了BM1684 Winograd
v1.3.0	2023.07.27	增加手动指定浮点运算区域功能; 添加支持的前端框架算子列表; 添加NNTC与TPU-MLIR量化方式比较
v1.2.0	2023.06.14	调整了混合量化示例
v1.1.0	2023.05.26	添加使用智能深度学习处理器做后处理
v1.0.0	2023.04.10	支持PyTorch, 增加章节介绍转PyTorch模型
v0.8.0	2023.02.28	添加使用智能深度学习处理器做前处理
v0.6.0	2022.11.05	增加章节介绍混精度操作过程
v0.5.0	2022.10.20	增加指定model-zoo, 测试其中的所有模型
v0.4.0	2022.09.20	支持Caffe, 增加章节介绍转Caffe模型
v0.3.0	2022.08.24	支持TFLite, 增加章节介绍转TFLite模型。
v0.2.0	2022.08.02	增加了运行SDK中的测试样例章节。
v0.1.0	2022.07.29	初版发布, 支持 resnet/mobilenet/vgg/ssd/yolov5s , 并用yolov5s作为用例。

目录

• 1. TPU-MLIR简介
• 2. 开发环境配置
  • 2.1. 基础环境配置
  • 2.2. 安装TPU-MLIR
  • 2.3. 安装TPU-MLIR依赖
• 3. 编译ONNX模型
  • 3.1. 安装TPU-MLIR
  • 3.2. 准备工作目录
  • 3.3. ONNX转MLIR
  • 3.4. MLIR转F16模型
  • 3.5. MLIR转INT8模型
    • 3.5.1. 生成校准表
    • 3.5.2. 编译为INT8对称量化模型
  • 3.6. 效果对比
  • 3.7. 模型性能测试
    • 3.7.1. 安装 libsophon 环境
    • 3.7.2. 检查 BModel 的性能
• 4. 编译TORCH模型
  • 4.1. 安装TPU-MLIR
  • 4.2. 准备工作目录
  • 4.3. TORCH转MLIR
  • 4.4. MLIR转F16模型
  • 4.5. MLIR转INT8模型
    • 4.5.1. 生成校准表
    • 4.5.2. 编译为INT8对称量化模型
  • 4.6. 效果对比
• 5. 编译Caffe模型
  • 5.1. 安装TPU-MLIR
  • 5.2. 准备工作目录
  • 5.3. Caffe转MLIR
  • 5.4. MLIR转F32模型
  • 5.5. MLIR转INT8模型
    • 5.5.1. 生成校准表
    • 5.5.2. 编译为INT8对称量化模型
• 6. 编译TFLite模型
  • 6.1. 安装TPU-MLIR
  • 6.2. 准备工作目录
  • 6.3. TFLite转MLIR
  • 6.4. MLIR转INT8模型
• 7. 量化与量化调优
  • 7.1. TPU-MLIR全int8对称量化
    • 7.1.1. run_calibration流程介绍
    • 7.1.2. run_calibration参数介绍
    • 7.1.3. run_calibration参数使用介绍
  • 7.2. TPU-MLIR混合精度量化概述
  • 7.3. pattern-match
    • 7.3.1. YOLO系列自动混精度方法
    • 7.3.2. transformer系列自动混精度方法
  • 7.4. search_qtable
    • 7.4.1. 安装TPU-MLIR
    • 7.4.2. 准备工作目录
    • 7.4.3. 测试Float和INT8对称量化模型分类效果
    • 7.4.4. 转成混精度量化模型
  • 7.5. run_sensitive_layer
    • 7.5.1. 安装TPU-MLIR
    • 7.5.2. 准备工作目录
    • 7.5.3. 测试Float和INT8对称量化模型分类效果
    • 7.5.4. 转成混精度量化模型
  • 7.6. fp_forward
    • 7.6.1. 使用方法
    • 7.6.2. 参数说明
• 8. 使用智能深度学习处理器做前处理
  • 8.1. 模型部署样例
    • 8.1.1. BM1684X部署
    • 8.1.2. CV18xx部署
• 9. 使用智能深度学习处理器做后处理
  • 9.1. 检测模型后处理添加（yolov5s）
    • 9.1.1. 准备工作目录
    • 9.1.2. ONNX转MLIR
    • 9.1.3. MLIR转换成BModel
    • 9.1.4. 模型验证
  • 9.2. 分割模型后处理添加（yolov8s_seg）
    • 9.2.1. 准备工作目录
    • 9.2.2. ONNX转MLIR
    • 9.2.3. MLIR转换成BModel
    • 9.2.4. 模型验证
• 10. 编译LLM模型
  • 10.1. 概述
  • 10.2. 命令行参数说明
  • 10.3. 示例用法
• 11. 附录01：各框架模型转ONNX参考
  • 11.1. PyTorch模型转ONNX
    • 11.1.1. 步骤0：创建工作目录
    • 11.1.2. 步骤1：搭建并保存模型
    • 11.1.3. 步骤2：导出ONNX模型
  • 11.2. TensorFlow模型转ONNX
    • 11.2.1. 步骤0：创建工作目录
    • 11.2.2. 步骤1：准备并转换模型
  • 11.3. PaddlePaddle模型转ONNX
    • 11.3.1. 步骤0：安装openssl-1.1.1o
    • 11.3.2. 步骤1：创建工作目录
    • 11.3.3. 步骤2：准备模型
    • 11.3.4. 步骤3：转换模型
• 12. 附录02: CV18xx使用指南
  • 12.1. 编译yolov5模型
    • 12.1.1. 安装tpu-mlir
    • 12.1.2. 准备工作目录
    • 12.1.3. ONNX转MLIR
    • 12.1.4. MLIR转BF16模型
    • 12.1.5. MLIR转INT8模型
    • 12.1.6. 效果对比
  • 12.2. 合并cvimodel模型文件
    • 12.2.1. 步骤0: 生成batch 1的cvimodel
    • 12.2.2. 步骤1: 生成batch 2的cvimodel
    • 12.2.3. 步骤2: 合并batch 1和batch 2的cvimodel
    • 12.2.4. 步骤3: runtime接口调用cvimodel
    • 12.2.5. 综述: 合并过程
  • 12.3. 编译和运行runtime sample
    • 12.3.1. 在EVB运行release提供的sample预编译程序
    • 12.3.2. 交叉编译samples程序
    • 12.3.3. docker环境仿真运行的samples程序
  • 12.4. 在开发板上进行模型测试及验证工作
  • 12.5. FAQ
    • 12.5.1. 模型转换常见问题
    • 12.5.2. 模型评估常见问题
    • 12.5.3. 模型部署常见问题
    • 12.5.4. 其他常见问题
• 13. 附录03: BM168x使用指南
  • 13.1. 合并bmodel模型文件
    • 13.1.1. 步骤0: 生成batch 1的bmodel
    • 13.1.2. 步骤1: 生成batch 2的bmodel
    • 13.1.3. 步骤2: 合并batch 1和batch 2的bmodel
    • 13.1.4. 综述: 合并过程
• 14. 附录04：Model-zoo测试
  • 14.1. 配置系统环境
  • 14.2. 获取 model-zoo 模型
  • 14.3. 准备运行环境
  • 14.4. 配置SOC设备
  • 14.5. 准备数据集
    • 14.5.1. ImageNet
    • 14.5.2. COCO (可选)
    • 14.5.3. Vid4 (可选)
  • 14.6. 准备工具链编译环境
  • 14.7. 模型性能和精度测试流程
    • 14.7.1. 模型编译
    • 14.7.2. 性能测试
    • 14.7.3. 精度测试
  • 14.8. FAQ
    • 14.8.1. invalid command ‘bdist_wheel’
    • 14.8.2. not a supported wheel
    • 14.8.3. no module named ‘xxx’
    • 14.8.4. 精度测试因为内存不足被kill
• 15. 附录05：TPU Profile工具使用指南
  • 15.1. 编译bmodel
  • 15.2. 生成Profile原始数据
  • 15.3. 可视化Profile数据
• 16. 附录06：TDB调试工具使用指南
  • 16.1. 准备工作
  • 16.2. 启动TDB
  • 16.3. TDB命令汇总
  • 16.4. TDB使用流程
  • 16.5. TDB功能说明
    • 16.5.1. next功能
    • 16.5.2. breakpoint功能
    • 16.5.3. info功能
    • 16.5.4. print功能
    • 16.5.5. watchpoint功能
    • 16.5.6. py功能
  • 16.6. BModel Disassembler
  • 16.7. BModel Checker
• 17. 附录07：已支持的算子
  • 17.1. 本章节主要提供目前TPU-MLIR支持的算子列表