목록quantization (1)

엔지니어 동행하기

NVIDIA TensorRT(딥러닝 모델 최적화 엔진)의 장점과 가속 기법

TensorRT 란 학습된 Deep Learning 모델을 최적화하여 NVIDIA GPU 상에서의 Inference 속도를 수 배 ~ 수십 배 수십 배까지 향상하는 모델 최적화 엔진을 말합니다. 왜 TensorRT를 써야 하는지 그 장점과, 가속 기법을 이해함으로써 알 수 있습니다. 관련하여 NVIDIA Technical Blog의 포스팅을 더 알기 쉽게 정리해 설명드리겠습니다. TensorRT를 사용하지 않는 경우, Trained model을 바로 Inference에 사용하게 되는데, 학습된 모델에 대한 Optimization Step을 추가하여, Inference를 속도를 향상한다고 정리할 수 있습니다. TensorRT의 장점 3가지 1. 대부분의 Deep Learning Frameworks (Ten..
Perception Engineering (LiDAR)/Deep Learning 2022. 6. 12. 16:37
Prev 1 Next