英伟达CV公开课第3期：快速搭建手势识别系统

AI资讯1年前 (2023)发布 AI工具箱

252 0 0

在计算机视觉领域，手势识别是机器读懂人类手势、高效实现人机交互的重要方式，广泛应用于物联网、文娱、智能汽车等领域。

那么，0基础的小白、AI开发者们，如何快速搭建和部署一个高精度的手势识别系统？

近期，英伟达x量子位发起了系列CV公开课，在第三期课程中，NVIDIA开发者社区的老师通过代码演示、分享了如何利用TLT 3.0、Triton等工具低门槛、快速搭建和部署手势识别系统。

分享大纲如下：

· 手势识别任务介绍

· 工具介绍：NVIDIA TLT 3.0 & Triton

· 实战演示：利用TLT和Triton快速搭建和部署手势识别系统

以下为分享内容整理：

大家好，我是来自NVIDIA开发者社区的何琨，很高兴与大家参与今天的直播。我主要负责与各位开发者朋友交流沟通，如果大家对我们的产品有什么建议、或者有哪些需求，也期待反馈给我们。

今天分享的内容是“快速搭建手势识别系统”，即通过搭建和部署AI模型、对人物的手势动作进行识别。

今天我将通过这个案例，向大家分享如何利用NVIDIA的工具包快速、高效率地实现AI开发。大家可以通过这一案例、入门AI开发，实现更多CV项目。

今天的任务将会用到两个工具包：Transfer Learning Toolkit 3.0和 Triton。

分享过程中，首先会为新来的朋友介绍下这两个工具，然后通过代码实例，向大家展示如何利用这两个工具，简单、高效地实现AI模型的训练与部署。

课程后大家可以利用我们提供的代码、亲手操作一遍。（课程中所需的代码见本文末）

Transfer Learning Toolkit（TLT）是一个简单的、集成化的工具，可以帮助大家简化深度学习模型的开发流程。Develop like a pro with zero coding，利用TLT不需要太多编程的内容就可以实现AI模型训练、优化与导出。

Transfer Learning Toolkit强调的Transfer Learning，即迁移式学习，它的主要特点是为开发者提供了大量预训练模型。开发者可以结合自己的数据集，根据不同的使用场景和需求，在这些预训练模型的基础上进行模型训练、调整、剪枝，以及导出模型进行部署等。而且大家可以通过简单的几行代码来实现上述功能。

TLT有几个主要的特点：

第一，在异构的多GPU环境下进行模型调整与重新训练。只通过一两个命令，就能够对多GPU进行合理的利用和分配。

第二，丰富的预训练模型库。包含大量的常见任务模型，在视觉、语音等方面都有很多可以实际应用的模型。大家可以在NGC上免费下载（ngc.nvidia.com），进而应用到实际的项目中。

第三，优化模型。一方面可以利用TLT修剪、缩小模型尺寸，应用起来非常便捷、只需要非常简单的代码即可实现；另一方面，可以将模型转化成TensorRT、DeepStream、Triton等可以直接使用的深度学习推理引擎，可以方便的部署到几乎所有的NVIDIA产品上。

Triton是我们今天完成课程任务需要的另一个工具。

Triton的前身是TensorRT Inference Server平台，是一个基于TensorRT的推理服务引擎。TensorRT是NVIDIA专门为GPU在深度学习推理阶段的加速而开发的引擎，能够让GPU发挥出更强大计算能力。

TensorRT主要通过5个步骤实现对GPU推理过程的优化：精度校正、动态Memory管理、多流的执行、Kernel参数的调优、网络层融合计算。通过这一系列步骤，在速度和吞吐量上对推理模型进行优化。

而Triton推理服务器能够简化AI模型的大规模部署流程，开发者可以从本地存储或云平台的任何框架部署训练好的AI模型，或基于GPU、CPU的基础设施。

Triton更像是一个即时响应的、Web Request的工具。它的应用场景主要是网页端、远程的数据中心，当然也支持嵌入式平台。能够大幅简化模型部署流程，搭建好之后只需调用其中的接口，不需要再操心模型的训练及优化。

特点一：支持多种框架。Triton支持市面上几乎所有的框架，比如常见的TensorFlow、Pytorch、ONNX等，也支持一些自定义的框架。

特点二：高性能的推理能力。Triton的推理能力不仅速度快，吞吐量也很高。可以极大加快集群的运行效率和执行效率。

特点三：简化模型部署流程。上图是 Triton的架构，可以看到，Triton将深度学习处理的流程封装在一起了，部署在我们的服务器上。开发者只需几步即可完成部署：