TPU-MLIR开发参考手册

发布记录

版本	发布日期	说明
v1.28.0	2026.04.14	llm_convert 新增 Qwen3.5、Qwen3-ASR、PaddleOCR-VL 与 lfm2-vl 支持; LLM 支持多卡流水线(PP)与 batch-size 部署; 新增 WeightDeduplicate Pass，合并完全相同的权重; 支持 yolov26 后处理融合，新增 llm_model 内存分析工具
v1.27.0	2026.02.04	支持 FP8 CUDA 推理; 动态量化新增 per-token/per-channel 与混合 group-size 模式; LoRA 与动态 shape 支持多核; 新增模块哈希 dump/load 实现编译缓存复用; TPULang 新增 RotPosEmb 与 cumsum 接口
v1.26.0	2025.12.25	新增 CUDA 推理框架; BM1684X 支持动态分组量化; bmodel 文件按 4K 对齐(model_tool 可刷新已有 bmodel); Qwen3-VL 多 ViT 与 LightStereo 支持; LLM 支持 compressed-tensors 模式
v1.25.0	2025.11.28	Qwen3-VL支持 BM1690E支持
v1.24.0	2025.10.30	MINICPMV4支持 支持模型系统与设备内存峰值预估
v1.23.0	2025.09.30	GLM4.1V支持 BM1688 Conv, MatMul支持W4A8量化
v1.22.0	2025.08.31	PPL支持动态编译 llm_analyse支持大模型性能预估
v1.21.0	2025.07.31	BM1688支持yolov8后处理 bmodel_checker支持替换错误输出为参考数据
v1.20.0	2025.06.30	支持IO_RELOC功能; Deconv3D INT8精度问题修复; BatchNorm和Conv反向算子支持128 batch训练
v1.19.0	2025.05.30	支持AWQ与GPTQ模型; 修复Deconv3D F16, F32精度问题
v1.18.0	2025.05.01	yolo系列增加自动混精设置; run_calibration增加SmoothQuant选择; 新增llm一键编译脚本
v1.17.0	2025.04.03	LLM模型编译速度大幅提升; TPULang支持PPL算子接入; 修复Trilu bf16在CV184X上随机出错问题
v1.16.0	2025.03.03	TPULang ROI_Extractor支持; Einsum支持 abcde,abfge->abcdfg模式; LLMC支持Vila模型
v1.15.0	2025.02.05	支持LLMC量化; codegen地址越界判断; 修复若干对比问题
v1.14.0	2025.01.02	yolov8/v11后处理融合支持; Conv3D stride大于15支持; FAttention精度提升
v1.13.0	2024.12.02	精简Release发布包; MaxPoolWithMask训练算子性能优化; RoPE大算子支持;
v1.12.0	2024.11.06	tpuv7-runtime cmodel接入; 支持PPL编写后端算子
v1.11.0	2024.09.27	BM1688 tdb增加SoC模式; bmodel支持细粒度合并; 修复若干性能下降问题
v1.10.0	2024.08.15	支持yolov10; 增加量化调优章节; 优化tpu-perf日志打印
v1.9.0	2024.07.16	量化算法新增octav,aciq_guas和aciq_laplace
v1.8.0	2024.05.30	TPULang支持输入输出顺序指定; tpuperf移除patchelf依赖
v1.7.0	2024.05.15	CV186X双核修改为单核; 支持gemma/llama/qwen等模型
v1.6.0	2024.02.23	添加了Pypi发布形式; 支持用户自定义Global算子; 支持了CV186X处理器平台
v1.5.0	2023.11.03	更多Global Layer支持多核并行;
v1.4.0	2023.09.27	系统依赖升级到Ubuntu22.04; 支持了BM1684 Winograd
v1.3.0	2023.07.27	增加手动指定浮点运算区域功能; 添加支持的前端框架算子列表; 添加NNTC与TPU-MLIR量化方式比较
v1.2.0	2023.06.14	调整了混合量化示例
v1.1.0	2023.05.26	添加使用智能深度学习处理器做后处理
v1.0.0	2023.04.10	支持PyTorch, 增加章节介绍转PyTorch模型
v0.8.0	2023.02.28	添加使用智能深度学习处理器做前处理
v0.6.0	2022.11.05	增加章节介绍混精度操作过程
v0.5.0	2022.10.20	增加指定model-zoo, 测试其中的所有模型
v0.4.0	2022.09.20	支持Caffe, 增加章节介绍转Caffe模型
v0.3.0	2022.08.24	支持TFLite, 增加章节介绍转TFLite模型。
v0.2.0	2022.08.02	增加了运行SDK中的测试样例章节。
v0.1.0	2022.07.29	初版发布, 支持 resnet/mobilenet/vgg/ssd/yolov5s , 并用yolov5s作为用例。

目录

• 1. TPU-MLIR简介
• 2. 开发环境配置
  • 2.1. 代码下载
  • 2.2. Docker配置
  • 2.3. ModelZoo(可选)
  • 2.4. 代码编译
  • 2.5. 代码开发
• 3. 用户界面
  • 3.1. 模型转换过程
    • 3.1.1. 支持图片输入
    • 3.1.2. 支持多输入
    • 3.1.3. 支持INT8对称和非对称
    • 3.1.4. 支持混精度
    • 3.1.5. 支持量化模型TFLite
    • 3.1.6. 支持Caffe模型
    • 3.1.7. 支持LLM模型
  • 3.2. 工具参数介绍
    • 3.2.1. model_transform.py
    • 3.2.2. run_calibration.py
    • 3.2.3. model_deploy.py
    • 3.2.4. llm_convert.py
    • 3.2.5. llm_analyse.py
    • 3.2.6. model_runner.py
    • 3.2.7. npz_tool.py
    • 3.2.8. visual.py
    • 3.2.9. mlir2graph.py
    • 3.2.10. gen_rand_input.py
    • 3.2.11. model_tool
    • 3.2.12. mlir_cut
• 4. 整体设计
  • 4.1. 分层
  • 4.2. Top Passes
  • 4.3. Tpu Passes
  • 4.4. Other Passes
• 5. 前端转换
  • 5.1. 主要工作
  • 5.2. 工作流程
  • 5.3. 算子转换样例
• 6. 量化
  • 6.1. 基本概念
    • 6.1.1. 非对称量化
    • 6.1.2. 对称量化
  • 6.2. Scale转换
  • 6.3. 量化推导
    • 6.3.1. Convolution
    • 6.3.2. InnerProduct
    • 6.3.3. Add
    • 6.3.4. AvgPool
    • 6.3.5. LeakyReLU
    • 6.3.6. Pad
    • 6.3.7. PReLU
• 7. Calibration
  • 7.1. 总体介绍
  • 7.2. 工作环境搭建
  • 7.3. 默认流程介绍
  • 7.4. 校准数据筛选及预处理
    • 7.4.1. 筛选原则
    • 7.4.2. 输入格式及预处理
  • 7.5. 量化门限算法实现
    • 7.5.1. kld算法
    • 7.5.2. auto-tune算法
    • 7.5.3. octav算法
    • 7.5.4. aciq算法
  • 7.6. 优化算法实现
    • 7.6.1. sq算法
    • 7.6.2. smc算法
    • 7.6.3. we算法
    • 7.6.4. bc算法
    • 7.6.5. search_threshold算法
    • 7.6.6. search_qtable算法
    • 7.6.7. mix_search和fast_search选项
  • 7.7. 示例-yolov5s校准
  • 7.8. 可视化工具visual说明
• 8. Lowering
  • 8.1. 基本过程
  • 8.2. 混合精度
• 9. SubNet
• 10. LayerGroup
  • 10.1. 基本概念
  • 10.2. BackwardH
  • 10.3. 划分Mem周期
  • 10.4. LMEM分配
  • 10.5. 划分最优Group
• 11. GMEM分配
  • 11.1. 目的
  • 11.2. 原理
    • 11.2.1. weight tensor分配gmem
    • 11.2.2. global neuron tensors分配gmem
• 12. CodeGen
  • 12.1. 主要工作
  • 12.2. 工作流程
  • 12.3. TPU-MLIR中BM168X及其相关类
  • 12.4. 后端函数的加载
  • 12.5. 后端Store_cmd
• 13. MLIR定义
  • 13.1. Top Dialect
    • 13.1.1. Operations
• 14. 精度验证
  • 14.1. 整体介绍
    • 14.1.1. 验证对象
    • 14.1.2. 评估指标
    • 14.1.3. 数据集
  • 14.2. 精度验证接口
  • 14.3. 精度验证样例
    • 14.3.1. mobilenet_v2
    • 14.3.2. yolov5s
• 15. QAT量化感知训练
  • 15.1. 基本原理
  • 15.2. tpu-mlir QAT实现方案及特点
    • 15.2.1. 主体流程
    • 15.2.2. 方案特点
  • 15.3. 安装方法
    • 15.3.1. 使用安装包安装
    • 15.3.2. 从源码安装
  • 15.4. 基本步骤
    • 15.4.1. 步骤0：接口导入及模型prepare
    • 15.4.2. 步骤1：用于量化参数初始化的校准及量化训练
    • 15.4.3. 步骤2：导出调优后的fp32模型及量化参数文件
    • 15.4.4. 步骤3：转换部署
  • 15.5. 使用样例-resnet18
  • 15.6. QAT测试环境
    • 15.6.1. 添加cfg文件
    • 15.6.2. 修改并执行run_eval.py
  • 15.7. 使用样例-yolov5s
  • 15.8. 使用样例-bert
• 16. TpuLang接口
  • 16.1. 主要工作
  • 16.2. 工作流程
  • 16.3. 算子转换样例
  • 16.4. Tpulang接口使用方式
    • 16.4.1. 初始化
    • 16.4.2. 准备Tensor
    • 16.4.3. 构建graph
    • 16.4.4. compile
    • 16.4.5. deinit
    • 16.4.6. deploy
• 17. 用户自定义算子
  • 17.1. 概述
  • 17.2. 自定义算子添加流程
    • 17.2.1. TpuLang自定义算子添加
    • 17.2.2. Caffe自定义算子添加
  • 17.3. 自定义算子示例
    • 17.3.1. TpuLang示例
    • 17.3.2. Caffe示例
  • 17.4. 自定义AP（application processor）算子添加流程
    • 17.4.1. TpuLang自定义AP算子添加
  • 17.5. 自定义AP算子示例
    • 17.5.1. TpuLang示例
• 18. 用PPL写后端算子
  • 18.1. 如何编写和调用后端算子
  • 18.2. PPL 集成到 TPU-MLIR 的流程
• 19. final.mlir 截断方式
  • 19.1. final.mlir 结构介绍
  • 19.2. final.mlir 截断流程
• 20. MaskRCNN 大算子接口指南
  • 20.1. MaskRCNN 基础
    • 20.1.1. 模块快速分割方法
  • 20.2. MaskRCNN 大算子
  • 20.3. 快速入门
    • 20.3.1. 准备您的 YAML
    • 20.3.2. 模块单元测试
  • 20.4. 新前端接口API
    • 20.4.1. [步骤 1] 运行 model_transform
    • 20.4.2. [步骤 2] 生成输入数据
    • 20.4.3. [步骤 3] 运行 model_deploy
  • 20.5. IO_MAP 指南
    • 20.5.1. [步骤 1] 描述模块接口
    • 20.5.2. [步骤 2] 描述 IO_MAP
    • 20.5.3. IO_MAP参数整理
  • 20.6. mAP 推理
• 21. LLMC使用指南
  • 21.1. TPU-MLIR weight-only 量化
  • 21.2. llmc_tpu
    • 21.2.1. 环境准备
    • 21.2.2. tpu 目录
    • 21.2.3. 操作步骤
• 22. TPU Profile工具使用及分析
  • 22.1. 1. TPU软件与硬件架构
  • 22.2. 1. 编译bmodel
  • 22.3. 3. 生成Profile原始数据
  • 22.4. 4. 可视化Profile数据
  • 22.5. 5. 结果分析
    • 22.5.1. 5.1 整体界面说明
    • 22.5.2. 5.2 Global Layer
    • 22.5.3. 5.3 Local Layer Group
  • 22.6. 6. 总结
• 23. 附录01：从 NNTC 迁移至 TPU-MLIR
  • 23.1. ONNX模型导入
  • 23.2. 制作量化校准表
  • 23.3. 生成int8模型
• 24. 附录02：TpuLang的基本元素
  • 24.1. 张量(Tensor)
  • 24.2. 张量前处理(Tensor.preprocess)
  • 24.3. 标量(Scalar)
  • 24.4. Control Functions
    • 24.4.1. 初始化函数
    • 24.4.2. compile
    • 24.4.3. compile_f32
    • 24.4.4. 反初始化
    • 24.4.5. 重置默认图
    • 24.4.6. 获取当前默认图
    • 24.4.7. 重置图
    • 24.4.8. 舍入模式
  • 24.5. Operator
    • 24.5.1. NN/Matrix Operator
    • 24.5.2. Base Element-wise Operator
    • 24.5.3. Element-wise Compare Operator
    • 24.5.4. Activation Operator
    • 24.5.5. Data Arrange Operator
    • 24.5.6. Sort Operator
    • 24.5.7. Shape About Operator
    • 24.5.8. Quant Operator
    • 24.5.9. Up/Down Scaling Operator
    • 24.5.10. Normalization Operator
    • 24.5.11. Vision Operator
    • 24.5.12. Select Operator
    • 24.5.13. Preprocess Operator
    • 24.5.14. Transform Operator