[TensorRT] Window 환경에서 PyTorch로 TensorRT 사용하기

https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html

 

위의 사이트에 있는 내용을 한글로 제가 겪은 시행착오에 대해서만 쓰는 것입니다.

 

저와는 다른 상황일 경우, 위의 홈페이지를 참고하시길 바랍니다.

 

제가 겪은 부분에서 미리 말씀드리면 Windows환경에서 TensorRT 사용은 불가능한 것으로 보입니다.

 

저의 환경은 다음과 같습니다.

 

CUDA : CUDA 10.0

CUDNN : CUDNN 7.6

OS : Windows10

GPU : GTX1080Ti

Python : 3.6 (Anaconda)

 

https://developer.nvidia.com/tensorrt

NVIDIA TensorRT

위의 홈페이지에서 본인에게 맞는 tensorRT 버전을 골라야 하는데, 

 

https://docs.nvidia.com/deeplearning/frameworks/tf-trt-user-guide/index.html#prereqs

Accelerating Inference In TF-TRT User Guide :: Deep Learning Frameworks Documentation

홈페이지를 참고하시면 본인 환경에 맞는 버전을 선택할 수 있습니다.

 

다운받을 때 보면 GA와 RC가 있는데 RC는 Release Candidate 라는 것을 보아 릴리즈 버전, GA는 테스트 버전인것 같습니다.

 

저는 윈도우 환경이므로 zip 파일을 받아 첫번째 사이트의 4.4 zip File Installation 의 과정을 거치려고 했습니다만,

6번째에 보면 uff, graphsurgeon 이라는 폴더가 있어서 whl 파일을 설치하라고 나옵니다.

 

하지만 제가 받아본 기준으로 파일이 존재하지가 않아서 문제가 발생합니다.

 

다른 것들도 같은가 확인하는 과정에서 tensorRT 6버전에서는 존재하는 것 같아 tensorRT 6을 설치하여 해당 uff와 graphsurgeon을 복붙하여 설치하였습니다.

 

하지만 실제로 파이썬에서 테스트 해보려면 제일 중요한 tensorRT 라이브러리를 설치해야하는데,

 

tensorRT 폴더 내에 tensorRT 설치하는 .whl 파일이 존재하지 않습니다.

 

검색해본 결과 Linux버전에서는 존재하는데 Window 환경에서는 검색해도 나오지가 않았고,

 

따라서, 파일을 설치할 수가 없는 것 같습니다.

 

결론 >> Windows 환경에서 TensorRT 사용은 어렵다.

 

원인>> 이유를 모르겠지만 nvidia에서 지원하는 Windows의 zip파일은 누락된 설치 파일이 존재하여 설치가 불가능함.