1. OE文档脉络

本文档适用于使用地平线J5计算平台的所有开发者,为您提供全方位的开发过程指导,为您能够充分了解整体的使用过程,地平线推荐您按照以下顺序进行阅读。

以下为各章节内容简述,您也可以根据需要进行对应章节的阅读。

1. OE文档脉络 (当前章节)

本章节为您准备了整体文档中相关章节的内容简介及内容跳转,以及文档的推荐阅读顺序。

2. 产品简介

章节

简介

认识 Open Explorer

本章节为您进行Open Explorer的介绍,同时为您简单介绍OE包中的发布物内容以及文档在阅读过程中可能会反复提到的一些关键概念。

工具链概览

本章节地平线为您带来工具链简单描述及整体使用流程等内容的介绍。

3. 关键概念

本章节中为您提供了一些常用关键概念以及一些常用到的背景知识的介绍。

4. 环境安装

章节

简介

环境部署

本章节中,地平线将为您介绍开发环境和运行环境下,需要您提前进行的环境部署步骤及内容。

OE包版本管理

本章节中,地平线为您介绍OE包版本管理工具ddk_vc的使用方法说明。

5. 快速上手

章节

简介

PTQ、QAT简介

本章节中,地平线为您带来QAT、PTQ两种量化方法的简单介绍。

算法模型PTQ量化+上板 快速上手

本章节中,我们为您提供了一个算法模型使用PTQ方案量化+上板的一个快速入门示例,帮助您了解浮点转换工具链训练后量化(PTQ)的量化与上板的基本使用流程,帮助您实现快速上手。

算法模型QAT量化+部署 快速上手

本章节中,我们为您提供了算法模型通过QAT方式进行量化到部署的过程说明,帮助您了解量化感知训练(QAT)的量化与上板的基本使用流程,帮助您实现快速上手。

J5计算平台评测指南

本章节中,我们从几个常用的评测维度为您进行J5计算平台评测指标的介绍。

6. 训练后量化(PTQ)

章节

简介

PTQ转换原理及流程

本章节为您介绍训练后量化PTQ模型转换的整体流程及全过程详解。

PTQ转换工具

本章节为您详细介绍算法工具链提供的PTQ工具包中工具的使用方法。

PTQ转换步骤

本章节从模型准备、模型验证、模型量化&编译、性能分析、精度分析等方面,为您进行使用PTQ转换的指导。

PTQ转换示例

本章节为您介绍horizon_model_convert_sample模型转换示例包及其使用方法。提供了使用浮点模型转换工具链快速完成浮点模型转换定点模型的示例,同时包括单张推理和精度验证示例。

自定义算子开发

如在进行PTQ转换时,您所使用的模型存在地平线工具链不支持的算子的情况,可参考本章节进行自定义算子的开发。

常见问题及故障处理

本章节为您提供PTQ转换过程一些常见问题的解答以及常见异常故障现象通用解决建议。

附录

本章节为您介绍norm_type相关参数、相关计算公式的说明与解析,图片缩放裁剪时使用的各个transformer的概念、参数说明及示例。

7. 量化感知训练(QAT)

章节

简介

术语约定

本章节为您介绍量化感知训练中会用到的一些专业术语。

环境依赖

本章节为您介绍量化感知训练的环境依赖要求。

快速入门

本章节为您提供了算法模型通过QAT方式进行量化到部署的过程说明,帮助您了解量化感知训练(QAT)的量化与上板的基本使用流程,帮助您实现快速上手。

开发指南

本章节为您提供量化感知训练开发过程中的指导说明。

深入探索

本章节为您提供自定义qconfig、FX Quantization原理介绍、RGB888 数据部署、模型分段部署及算子融合等内容,帮助您进一步理解量化感知训练。

API Reference

本章节提供了量化感知训练QAT的API接口介绍。

附录

本章节为您提供Eager模式的介绍,包括与fx模式的区别介绍以及使用流程介绍。

8. 模型性能/精度调优指导

章节

简介

模型性能调优

本章节为您介绍,当进行性能分析后,如果性能未达到您的预期情况,地平线对提升模型性能的建议与措施。

高效模型设计指导

本章节为您介绍当您需要在J5计算平台上进行高效模型设计时,地平线的一些指导建议。

PTQ模型精度调优

本章节为您介绍,当进行PTQ转换后,如果精度未达到您的预期情况,地平线对提升模型精度的建议与措施。

QAT模型精度调优

本章节为您介绍,当进行QAT转换后,如果精度未达到您的预期情况,地平线对提升模型精度的建议与措施。

9. 嵌入式应用开发(runtime)手册

章节

简介

嵌入式应用开发指导

本章节中,为您介绍在地平线平台进行应用开发,将量化训练得到的模型部署到J5硬件平台上运行起来的方法步骤、需要您注意的相关注意事项、常用的多模型控制概念以及应用调优建议的相关说明。

BPU SDK API手册

本章节中,为您介绍地平线天工开物工具链Runtime的API、数据、结构体、排布及对齐规则等内容,方便您可以在地平线硬件平台上使用API实现模型的加载、释放、信息获取及推理等操作。

基础示例包使用说明

本章节中,地平线为您提供了BPU SDK API教学示例、自定义算子(custom OP)等特殊功能示例及非NV12输入模型的杂项示例供您参考,您可以体验并基于示例内容进行应用开发。

AI Benchmark使用说明

本章节中,地平线为您提供了嵌入式应用开发常见分类、检测、分割和光流估计模型的性能和精度评测示例。示例包中预置了源码、可执行程序和评测脚本,您可以在地平线开发板上进行体验,并基于这些示例直接进行应用开发。

工具介绍

本章节中,地平线为您介绍ptq debug模型的layer dump工具——hrt_bin_dump工具的参数描述、使用方法及使用示例,模型执行工具——hrt_model_exec工具的参数描述、使用方法及使用示例以及辅助工具和常用操作。

10. 进阶内容

章节

简介

Horizon Torch Samples

本章节为进阶内容,在本章节中将从简介、使用框架、使用指南、示例说明、模型仓库以及API手册等方面内容,为您介绍地平线基于Pytorch的深度学习训练工具Horizon Torch Samples。

DSP开发文档

本章节为进阶内容,在本章节中将从DSP简介、Linux环境下的安装方法、整体开发流程等方面,为您介绍DSP开发的步骤及注意事项。

DSP运行时API手册

本章节为进阶内容,由于DSP与ARM是相对独立的两个系统,两者通过RPC进行交互。为简化RPC的使用,地平线为您提供了相应的接口,本章节为您介绍相应接口说明。

DSP示例包使用说明

本章节为进阶内容,本章节为您提供DSP示例包的使用方法说明,DSP示例包展示了如何在J5上使用dsp进行任务处理。开发者可以体验并基于该示例进行应用开发,降低开发门槛。

目标检测全链路示例文档

本章节为进阶内容,本章节为您提供了目标检测全链路示例说明,为您展示如何在J5上运行一个检测模型并展示结果。

11. 模型性能Benchmark

本章节内容,为您介绍在一定测试条件下,模型Benchmark相关各项数据,便于您清晰获知模型性能。

12. 附录

章节

简介

工具链算子支持约束列表

本章节内容,为您列出地平线支持的算子列表,并给出算子所属类型、算子约束条件以及通用使用限制等相关内容供您在使用过程中进行参考。

数据集下载

本章节内容,我们给出在使用示例模型时会使用到的数据集的下载链接供您参考。

常用缩略语

本章节内容,为您介绍您在阅读本文档时,常见的一些缩略词及其全称以及含义,方便您的阅读。

征程Journey5简介

本章节内容,为您进行J5计算平台的简单介绍,包括其提供的能力说明、功能框架、规格以及片内外设等相关内容,方便您有一个大致的了解。

开发板套件及系统镜像说明

本章节内容,为您进行目前J5 OE版本适用的相应硬件环境的配置清单、规格参数、组装方法等内容的介绍,以及系统镜像升级相关内容、工具及常见问题,系统软件自带常用工具使用方法介绍。

社区资源索引

本章节内容,为您提供地平线开发者社区中关于算法工具链的资源以及优质开发者文章的整合链接,方便您进行资料查找以及内容学习。