728x90

AI | ML/AI 개발 | CUDA 15

[TensorRT] Window 환경에서 PyTorch로 TensorRT 사용하기

https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html 위의 사이트에 있는 내용을 한글로 제가 겪은 시행착오에 대해서만 쓰는 것입니다. 저와는 다른 상황일 경우, 위의 홈페이지를 참고하시길 바랍니다. 제가 겪은 부분에서 미리 말씀드리면 Windows환경에서 TensorRT 사용은 불가능한 것으로 보입니다. 저의 환경은 다음과 같습니다. CUDA : CUDA 10.0 CUDNN : CUDNN 7.6 OS : Windows10 GPU : GTX1080Ti Python : 3.6 (Anaconda) https://developer.nvidia.com/tensorrt NVIDIA TensorRT */ developer.nvidia.c..

Window C++ ONNX 환경 실행

지난 시간에 C++에서 ONNX 환경 테스트를 실행하였는데요, 이번 시간에는 PyTorch에서 딥러닝 모델을 C++ onnx로 변경하는 방법에 대해 써보겠습니다. 첫단계로, PyTorch 사이트에서 https://pytorch.org/docs/stable/onnx.html#id2에서 model을 onnx로 변경하는 방법을 숙지합니다. torch.onnx.export(model, dummy_input, "alexnet.onnx", verbose=True, input_names=input_names, output_names=output_names) 보통은 학습이 된 model을 옮기실텐데, model 선언 이후, torch.load, model.load_state_dict로 모델에 weight값을 불러와야 ..

Window C++ ONNX 환경 테스트

지난 포스터에서 Windows C++ ONNX 환경 설정을 하였습니다. 이번 시간에는 ONNX를 환경 테스트 하는 방법에 대해 설명하겠습니다. 지난 시간에 https://github.com/microsoft/onnxruntime 사이트에서 onnx 환경을 다운받았는데요, onnx 환경이 제대로 작동하는지 확인하기 위해, 아래 경로의 사이트에서 cpp 예제 파일을 실행해봅시다. #include #include #include int main(int argc, char* argv[]) { //************************************************************************* // initialize enviroment...one enviroment per pr..

Window C++ ONNX 환경 구축

[환경설정] 1) Visual Studio 2017, CUDA, CUDNN, 파이썬, CMake가 설치해야 함 2) Unicode 변경 3) https://pytorch.org/docs/stable/onnx.html 에서 모델변환 방법을 숙지하여 실행해 해당 모델을 onnx 형식으로 바꿉니다. 4) 시작 메뉴 > VS 2017용 x64 네이티브 도구 명령 프롬프트 실행 5) git clone https://github.com/microsoft/onnxruntime 6) 다운받은 폴더로 이동 후, cd onnxruntime 7-1) Debug용 설치 build.bat --use_cuda --cudnn_home "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v1..

728x90