PNNA NPU Manual
简介
快速入门
开发流程
安装 Netrans
模型转换
精度评估
安装交叉编译器
编译示例工程
部署到开发板
附图
词汇表
模型转换
Netrans 简介
工程结构
安装指南
系统依赖
安装步骤
Netrans 使用说明
命令行工具
Python接口
模型支持
算子支持
支持的Caffe算子
支持的TensorFlow算子
支持的ONNX算子
支持的Darknet算子
Netrans CLI
子命令总览
子命令详细规范
3.1 netrans load
3.2 netrans quantize
3.3 netrans quantize_hybrid
3.4 netrans add_pre_post
3.5 netrans export
3.6 netrans dump
3.7 netrans inference
附录
A. 量化类型简表
B. layers.txt 文件格式
Netrans Python API
概述
核心类
Netrans类
快速开始
方法总览
方法详细规范
Netrans.__init__
Netrans.load 模型导入
Netrans.quantize 模型量化
Netrans.add_pre_post 前后处理加入推理计算图
Netrans.export 模型导出
Netrans.quantize_hybrid 混合量化
Netrans.dump 张量导出
Netrans.inference 模型推理
使用示例
基础转换流程
混合量化流程
调试和分析流程
示例
Caffe 模型转换示例
概述
快速开始
分步详细流程
Python API 示例
输出说明
相关文档
Darknet 模型转换示例
概述
快速开始
分步详细流程
Python API 示例
输出说明
相关文档
ONNX 模型转换示例
概述
快速开始
分步详细流程
Python API 示例
输出说明
相关文档
TensorFlow 模型转换示例
概述
快速开始
分步详细流程
Python API 示例
输出说明
相关文档
PyTorch 模型转换示例
概述
快速开始
分步详细流程
Python API 示例
输出说明
PyTorch转ONNX说明
相关文档
模型部署
ARM 端 RT-Thread 模型部署
文档说明
开发环境与硬件准备
串口与网络环境初始化
安装 Env 开发工具
RT-Thread 与示例工程获取
构建工具与编译器配置
工程配置与编译
TFTP 服务配置
程序与模型加载
推理示例运行与结果验证
ARM 端 Linux 模型部署
概述
环境准备
必备硬件与软件
串口连接(可选)
网口连接(推荐)
交叉编译环境搭建
下载交叉编译器
解压安装
配置环境变量
示例工程编译
下载工程
编译 YOLOv8s 示例
部署到开发板
创建工作目录
上传可执行程序、模型文件、图片
在开发板运行推理程序
进入工作目录
执行推理
检测结果说明(优化版本)
示例程序说明
推理流程说明
更换模型示例
常见问题(FAQ)
执行格式错误(Exec format error)
接口版本说明
DSP 端 RT-Thread 模型部署
概述
版本说明
环境搭建
环境要求
仿真器驱动安装
连接仿真器
下载工程
导入工程
工程目录结构
编译工程
连接至目标板
初始化DDR
程序运行
加载NBG
加载待推理数据
运行程序
输出结果
DSP 端裸机模型部署
概述
环境搭建
环境要求
仿真器驱动安装
连接仿真器
导入工程
编译工程
连接至目标板
初始化DDR
程序运行
加载NBG
加载待推理数据
运行程序
输出结果
流程解释
NBG和input
应用程序推理流程
整体流程
PNNA 驱动接口说明
示例工程结构
环境要求
驱动调用方式
方式一
方式二
接口说明
pnna_open / pnna_close
create_model / destroy_model
infer
create_app_ctx
destroy_app_ctx
app
资源管理对照表
精度评估
评估示例
概述
评估指标
项目结构
环境要求及配置
yolov5s评估示例
python环境搭建
yolov5s评估验证
精度评估流程
yolov8s评估示例
环境搭建
yolov8s评估验证
精度评估流程
client 接口说明
简介
环境依赖
Client类
Client.__init__
Client.infer
Client.add_model
Client.delete_model
Client.query
Client.close
板卡单张图片推理示例
server 接口说明
简介
编译和使用
通信基础信息
JSON-RPC请求通用格式
核心功能API详情
1. 加载模型
2. 模型推理
3. 删除模型
4. 查询已注册的RPC方法列表
常见问题
剪枝与混合量化
概述
项目结构
环境要求及配置
下载工程
裁剪网络
混合量化
混合量化子图
混合量化单层
混合量化节点、子图的筛选
百度Paddle转ONNX示例
概述
环境搭建
使用命令行转换 PaddlePaddle 模型
lenet_mnist模型转化示例
paddle.onnx.export 接口使用教程
Pytorch转ONNX示例
yolov5模型转ONNX
环境搭建
yolov5s模型转化示例
yolov8模型转ONNX
环境搭建
yolov8s模型转化示例
切片目标检测(yolo)
评估系统验证
下位机部署完整示例
图示add_pre_post命令作用
量化神经网络推理算力分配
add_pre_post命令推理算力分配
附录
性能测试
测试硬件信息
模型详情
模型测试结果
案例集
概述
项目结构
环境要求及配置
下载工程
安装依赖
评估指标
执行与性能
案例详情
语义分割
实例分割
单目标跟踪
分类
关键点检测
人体姿态估计
差异性检测
图像分割检测
百度paddle转onnx
在RT-Thread上运行Micro-ROS
Micro-ROS简介
部署架构
Micro-ROS部署
获取示例工程
配置示例工程
编译示例工程
运行Micro-ROS
运行Agent
运行Micro-ROS应用程序
PNNA NPU Manual
索引
索引
_
|
A
|
B
|
C
|
D
|
E
|
F
|
G
|
I
|
L
|
N
|
P
|
Q
|
S
|
T
_
_app_ctx::ctx(C++ member)
_app_ctx::postprocess_fn(C++ member)
_app_ctx::preprocess_fn(C++ member)
_app_ctx::tmp0_buffer(C++ member)
_app_ctx::tmp1_buffer(C++ member)
_app_ctx(C++ struct)
_buffer::data(C++ member)
_buffer::size(C++ member)
_buffer(C++ struct)
_nn_ctx::input_buffers(C++ member)
_nn_ctx::input_count(C++ member)
_nn_ctx::input_quant(C++ member)
_nn_ctx::network(C++ member)
_nn_ctx::output_buffers(C++ member)
_nn_ctx::output_count(C++ member)
_nn_ctx::output_quant(C++ member)
_nn_ctx(C++ struct)
_normalization_params::mean(C++ member)
_normalization_params::scale(C++ member)
_normalization_params(C++ struct)
A
align_up(C++ function)
app_ctx_t(C++ type)
app(C++ function)
asym_affine_inverse_vector(C++ function)
asym_affine_u8(C++ function)
asym_affine_vector(C++ function)
B
BITS_PER_BYTE(C macro)
buffer_t(C++ type)
C
create_app_ctx(C++ function)
create_buffer_from_qparams(C++ function)
create_model(C++ function)
D
destroy_app_ctx(C++ function)
destroy_buffer_array(C++ function)
destroy_model(C++ function)
dtype_to_float32_scalar(C++ function)
dynamic_fix_point_i16(C++ function)
dynamic_fix_point_i8(C++ function)
dynamic_fix_point_inverse_vector(C++ function)
dynamic_fix_point_vector(C++ function)
E
end_timing(C++ function)
F
float32_to_dtype_scalar(C++ function)
float_to_fp16_vector(C++ function)
fp16_to_float_vector(C++ function)
fp32_to_fp16(C++ function)
G
get_data_size(C++ function)
get_element_num(C++ function)
get_file_size(C++ function)
get_infer_time_ms(C++ function)
get_input_quantize_param(C++ function)
get_output_quantize_param(C++ function)
get_stride(C++ function)
get_time_ms(C++ function)
I
infer(C++ function)
init_timer(C++ function)
L
load_binary_file(C++ function)
load_binary(C++ function)
load_text_fp32(C++ function)
N
nn_ctx_t(C++ type)
nn_dequantize_vector(C++ function)
normalization_params_t(C++ type)
normalize_quantize(C++ function)
normalize_u8(C++ function)
P
pnna_close(C++ function)
pnna_open(C++ function)
postprocess_cb(C++ type)
preprocess_cb(C++ type)
Q
quantize_vector(C++ function)
quantize(C++ function)
S
save_fp32_to_text(C++ function)
save_to_binary(C++ function)
save_u8_to_text(C++ function)
set_normalize_params(C++ function)
start_timing(C++ function)
T
type_get_bits(C++ function)
type_get_bytes(C++ function)
Other Versions
v: master
Languages
zh_CN
Branches
dev
master