TPU-MLIR开发参考手册

法律声明

版权所有 © 算能 2025. 保留一切权利。

非经本公司书面许可, 任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部, 并不得以任何形式传播。

注意

您购买的产品、服务或特性等应受 算能 商业合同和条款的约束, 本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。 除非合同另有约定, 算能 对本文档内容不做任何明示或默示的声明或保证。 由于产品版本升级或其他原因, 本文档内容会不定期进行更新。 除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

技术支持

地址:

北京市海淀区丰豪东路9号院中关村集成电路设计园(ICPARK)1号楼

邮编:

100094

网址:

https://www.sophgo.com/

邮箱:

sales@sophgo.com

电话:

010-57590723

发布记录

版本	发布日期	说明
v1.19.0	2025.05.30	支持AWQ与GPTQ模型; 修复Deconv3D F16, F32精度问题
v1.18.0	2025.05.01	yolo系列增加自动混精设置; run_calibration增加SmoothQuant选择; 新增llm一键编译脚本
v1.17.0	2025.04.03	LLM模型编译速度大幅提升; TPULang支持PPL算子接入; 修复Trilu bf16在Mars3上随机出错问题
v1.16.0	2025.03.03	TPULang ROI_Extractor支持; Einsum支持 abcde,abfge->abcdfg模式; LLMC支持Vila模型
v1.15.0	2025.02.05	支持LLMC量化; codegen地址越界判断; 修复若干对比问题
v1.14.0	2025.01.02	yolov8/v11后处理融合支持; Conv3D stride大于15支持; FAttention精度提升
v1.13.0	2024.12.02	精简Release发布包; MaxPoolWithMask训练算子性能优化; RoPE大算子支持;
v1.12.0	2024.11.06	tpuv7-runtime cmodel接入; BM1690多核LayerGroup优化; 支持PPL编写后端算子
v1.11.0	2024.09.27	BM1688 tdb增加soc模式; bmodel支持细粒度合并; 修复若干性能下降问题
v1.10.0	2024.08.15	支持yolov10; 增加量化调优章节; 优化tpu-perf日志打印
v1.9.0	2024.07.16	BM1690新增40个模型回归测试; 量化算法新增octav,aciq_guas和aciq_laplace
v1.8.0	2024.05.30	BM1690支持多核MatMul算子; TPULang支持输入输出顺序指定; tpuperf移除patchelf依赖
v1.7.0	2024.05.15	CV186X双核修改为单核; BM1690测试流程与BM1684X一致; 支持gemma/llama/qwen等模型
v1.6.0	2024.02.23	添加了Pypi发布形式; 支持用户自定义Global算子; 支持了CV186X处理器平台
v1.5.0	2023.11.03	更多Global Layer支持多核并行;
v1.4.0	2023.09.27	系统依赖升级到Ubuntu22.04; 支持了BM1684 Winograd
v1.3.0	2023.07.27	增加手动指定浮点运算区域功能; 添加支持的前端框架算子列表; 添加NNTC与TPU-MLIR量化方式比较
v1.2.0	2023.06.14	调整了混合量化示例
v1.1.0	2023.05.26	添加使用智能深度学习处理器做后处理
v1.0.0	2023.04.10	支持PyTorch, 增加章节介绍转PyTorch模型
v0.8.0	2023.02.28	添加使用智能深度学习处理器做前处理
v0.6.0	2022.11.05	增加章节介绍混精度操作过程
v0.5.0	2022.10.20	增加指定model-zoo, 测试其中的所有模型
v0.4.0	2022.09.20	支持Caffe, 增加章节介绍转Caffe模型
v0.3.0	2022.08.24	支持TFLite, 增加章节介绍转TFLite模型。
v0.2.0	2022.08.02	增加了运行SDK中的测试样例章节。
v0.1.0	2022.07.29	初版发布, 支持 resnet/mobilenet/vgg/ssd/yolov5s , 并用yolov5s作为用例。

目录

• 1. TPU-MLIR简介
• 2. 开发环境配置
  • 2.1. 代码下载
  • 2.2. Docker配置
  • 2.3. ModelZoo(可选)
  • 2.4. 代码编译
  • 2.5. 代码开发
• 3. 用户界面
  • 3.1. 模型转换过程
    • 3.1.1. 支持图片输入
    • 3.1.2. 支持多输入
    • 3.1.3. 支持INT8对称和非对称
    • 3.1.4. 支持混精度
    • 3.1.5. 支持量化模型TFLite
    • 3.1.6. 支持Caffe模型
    • 3.1.7. 支持LLM模型
  • 3.2. 工具参数介绍
    • 3.2.1. model_transform.py
    • 3.2.2. run_calibration.py
    • 3.2.3. model_deploy.py
    • 3.2.4. llm_convert.py
    • 3.2.5. model_runner.py
    • 3.2.6. npz_tool.py
    • 3.2.7. visual.py
    • 3.2.8. mlir2graph.py
    • 3.2.9. gen_rand_input.py
    • 3.2.10. model_tool
• 4. 整体设计
  • 4.1. 分层
  • 4.2. Top Passes
  • 4.3. Tpu Passes
  • 4.4. Other Passes
• 5. 前端转换
  • 5.1. 主要工作
  • 5.2. 工作流程
  • 5.3. 算子转换样例
• 6. 量化
  • 6.1. 基本概念
    • 6.1.1. 非对称量化
    • 6.1.2. 对称量化
  • 6.2. Scale转换
  • 6.3. 量化推导
    • 6.3.1. Convolution
    • 6.3.2. InnerProduct
    • 6.3.3. Add
    • 6.3.4. AvgPool
    • 6.3.5. LeakyReLU
    • 6.3.6. Pad
    • 6.3.7. PReLU
• 7. Calibration
  • 7.1. 总体介绍
  • 7.2. 默认流程介绍
  • 7.3. 校准数据筛选及预处理
    • 7.3.1. 筛选原则
    • 7.3.2. 输入格式及预处理
  • 7.4. 量化门限算法实现
    • 7.4.1. kld算法
    • 7.4.2. auto-tune算法
    • 7.4.3. octav算法
    • 7.4.4. aciq算法
  • 7.5. 优化算法实现
    • 7.5.1. sq算法
    • 7.5.2. we算法
    • 7.5.3. bc算法
    • 7.5.4. search_threshold算法
    • 7.5.5. search_qtable算法
  • 7.6. 示例-yolov5s校准
  • 7.7. 可视化工具visual说明
• 8. Lowering
  • 8.1. 基本过程
  • 8.2. 混合精度
• 9. SubNet
• 10. LayerGroup
  • 10.1. 基本概念
  • 10.2. BackwardH
  • 10.3. 划分Mem周期
  • 10.4. LMEM分配
  • 10.5. 划分最优Group
• 11. GMEM分配
  • 11.1. 目的
  • 11.2. 原理
    • 11.2.1. weight tensor分配gmem
    • 11.2.2. global neuron tensors分配gmem
• 12. CodeGen
  • 12.1. 主要工作
  • 12.2. 工作流程
  • 12.3. TPU-MLIR中BM168X及其相关类
  • 12.4. 后端函数的加载
  • 12.5. 后端Store_cmd
• 13. MLIR定义
  • 13.1. Top Dialect
    • 13.1.1. Operations
• 14. 精度验证
  • 14.1. 整体介绍
    • 14.1.1. 验证对象
    • 14.1.2. 评估指标
    • 14.1.3. 数据集
  • 14.2. 精度验证接口
  • 14.3. 精度验证样例
    • 14.3.1. mobilenet_v2
    • 14.3.2. yolov5s
• 15. QAT量化感知训练
  • 15.1. 基本原理
  • 15.2. tpu-mlir QAT实现方案及特点
    • 15.2.1. 主体流程
    • 15.2.2. 方案特点
  • 15.3. 安装方法
    • 15.3.1. 使用安装包安装
    • 15.3.2. 从源码安装
  • 15.4. 基本步骤
    • 15.4.1. 步骤0：接口导入及模型prepare
    • 15.4.2. 步骤1：用于量化参数初始化的校准及量化训练
    • 15.4.3. 步骤2：导出调优后的fp32模型及量化参数文件
    • 15.4.4. 步骤3：转换部署
  • 15.5. 使用样例-resnet18
  • 15.6. QAT测试环境
    • 15.6.1. 添加cfg文件
    • 15.6.2. 修改并执行run_eval.py
  • 15.7. 使用样例-yolov5s
  • 15.8. 使用样例-bert
• 16. TpuLang接口
  • 16.1. 主要工作
  • 16.2. 工作流程
  • 16.3. 算子转换样例
  • 16.4. Tpulang接口使用方式
    • 16.4.1. 初始化
    • 16.4.2. 准备Tensor
    • 16.4.3. 构建graph
    • 16.4.4. compile
    • 16.4.5. deinit
    • 16.4.6. deploy
• 17. 用户自定义算子
  • 17.1. 概述
  • 17.2. 自定义算子添加流程
    • 17.2.1. TpuLang自定义算子添加
    • 17.2.2. Caffe自定义算子添加
  • 17.3. 自定义算子示例
    • 17.3.1. TpuLang示例
    • 17.3.2. Caffe示例
  • 17.4. 自定义AP（application processor）算子添加流程
    • 17.4.1. TpuLang自定义AP算子添加
  • 17.5. 自定义AP算子示例
    • 17.5.1. TpuLang示例
• 18. 用PPL写后端算子
  • 18.1. 如何编写和调用后端算子
  • 18.2. PPL 集成到 TPU-MLIR 的流程
• 19. final.mlir 截断方式
  • 19.1. final.mlir 结构介绍
  • 19.2. final.mlir 截断流程
• 20. MaskRCNN 大算子接口指南
  • 20.1. MaskRCNN 基础
    • 20.1.1. 模块快速分割方法
  • 20.2. MaskRCNN 大算子
  • 20.3. 快速入门
    • 20.3.1. 准备您的 YAML
    • 20.3.2. 模块单元测试
  • 20.4. 新前端接口API
    • 20.4.1. [步骤 1] 运行 model_transform
    • 20.4.2. [步骤 2] 生成输入数据
    • 20.4.3. [步骤 3] 运行 model_deploy
  • 20.5. IO_MAP 指南
    • 20.5.1. [步骤 1] 描述模块接口
    • 20.5.2. [步骤 2] 描述 IO_MAP
    • 20.5.3. IO_MAP参数整理
  • 20.6. mAP 推理
• 21. LLMC使用指南
  • 21.1. TPU-MLIR weight-only 量化
  • 21.2. llmc_tpu
    • 21.2.1. 环境准备
    • 21.2.2. tpu 目录
    • 21.2.3. 操作步骤
• 22. TPU Profile工具使用及分析
  • 22.1. 1. TPU软件与硬件架构
  • 22.2. 2. 编译bmodel
  • 22.3. 3. 生成Profile原始数据
  • 22.4. 4. 可视化Profile数据
  • 22.5. 5. 结果分析
    • 22.5.1. 5.1 整体界面说明
    • 22.5.2. 5.2 Global Layer
    • 22.5.3. 5.3 Local Layer Group
  • 22.6. 6. 总结
• 23. 附录01：从 NNTC 迁移至 TPU-MLIR
  • 23.1. ONNX模型导入
  • 23.2. 制作量化校准表
  • 23.3. 生成int8模型
• 24. 附录02：TpuLang的基本元素
  • 24.1. 张量(Tensor)
  • 24.2. 张量前处理(Tensor.preprocess)
  • 24.3. 标量(Scalar)
  • 24.4. Control Functions
    • 24.4.1. 初始化函数
    • 24.4.2. compile
    • 24.4.3. 反初始化
    • 24.4.4. 重置默认图
    • 24.4.5. 获取当前默认图
    • 24.4.6. 重置图
    • 24.4.7. 舍入模式
  • 24.5. Operator
    • 24.5.1. NN/Matrix Operator
    • 24.5.2. Base Element-wise Operator
    • 24.5.3. Element-wise Compare Operator
    • 24.5.4. Activation Operator
    • 24.5.5. Data Arrange Operator
    • 24.5.6. Sort Operator
    • 24.5.7. Shape About Operator
    • 24.5.8. Quant Operator
    • 24.5.9. Up/Down Scaling Operator
    • 24.5.10. Normalization Operator
    • 24.5.11. Vision Operator
    • 24.5.12. Select Operator
    • 24.5.13. Preprocess Operator
    • 24.5.14. Transform Operator
    • 24.5.15. Transform Operator
    • 24.5.16. Transform Operator
    • 24.5.17. Transform Operator