깜태

403: There is no file with the specified data type in the S3 prefix s3://my_bucket/dataset/ provided. Request id: b4c1465e-85b3-47ce-9703-05c965234b61 원인 : folder/folder 구조여서 그렇다. 이미지를 한 folder 내에 넣어서 만들면 해결된다. (makes imges in folder, not folder in folder)

학습 시 경로 설정에서 생기는 에러로 parser.add_argument('--train', type=str, default=os.environ) 이 아닌 model.fit()에서 상세히 적어주면 된다. scikit_estimator.fit({'train': train_data_path}) https://github.com/aws/sagemaker-python-sdk/issues/964

안녕하세요, 오늘은 AWS SageMaker 환경에서 파이토치를 사용하는 과정을 써보겠습니다. AWS SageMaker는 AWS 생태계 내에서 머신러닝 부분을 담당하는 서비스로, AWS에서 제공하는 SageMaker SDK를 이용해 모델의 학습, 배포, 관리까지 이용이 가능합니다. 왜 AWS SageMaker를 써야하는지 이유를 생각해보면 제 생각은 다음과 같습니다. 1. 딥러닝 학습을 시킬 수 없는 환경인 경우 2. AWS 생태계에서 연동 가능성 (아마존의 다른 서비스들과 연동이 되기 때문에 기존에 쓰고 계신 분이라면 배포 및 관리가 용이) 3. 서버 설정 시간 및 비용 단축 도커나 쿠버네티스를 사용하는 경우도 있겠지만, 도커 이미지를 생성하는 경우도 나만의 이미지를 생성하는데는 시간이 소요됩니다. 저..

안녕하세요 오늘은 자주 사용하는 Git에 간략하게 써보겠습니다. 오늘의 목표는 1. Git의 구조를 설명하고, 2. 이해를 바탕으로 Git을 간단하게 사용해보는 것입니다. Git?? 흔히 Git을 이용해 버전관리를 한다, 협업툴로 좋다, 이런 표현들을 하시는데 왜 그럴까요?? 작업한 코드를 서버로 전송, 수신할 수 있도록 하고, 이력을 남겨서 관리할 수 있는 도구입니다. Git의 구조부터 설명드리면서 어떻게 사용되는지 말씀드리겠습니다. Git 구조 저장 구조 Git에서는 서버에 저장되기까지 3가지 구조가 존재합니다. 현재 일하고 있는 OS 디렉토리 내에 코드들이 존재할텐데요. 첫째로, 지금 내 PC에서 작업하고 있는 공간을 working directory 라고 합니다. 지금 작업하고 있는 코드를 처음 G..

오늘은 인천 을왕리 선녀풍 다녀와서 리뷰 작성해보겠습니다 개인적인 소신으로 별점을 조작하는 시대에 저만큼이라도 솔직하게 적어야 한다는 생각으로 후기를 적었고 개인마다 평가는 다를 수도 있으니 참고하시기 바랍니다 TLDR (Too Long Didn’t Read) 3줄 요약 공휴일 식사시간을 피해 4시에 갔는데 1시간 반 웨이팅할 정도로 사람이 많다 기다릴 대기실이나 카페도 있는 편이라 다른 웨이팅보단 여유가 있다 긴 웨이팅 끝에도 가격이랑 맛은 너무나 만족스럽다 들어가기 전에 오늘은 최고 기온 27도에 햇빛도 잘 들고 미세먼지도 좋은 날이라 바깥에 차들이 많이 돌아다닐 만한 날씨였습니다 건물 외관은 다른 블로그에서 봤는데 그냥 평범한 식당처럼 보였습니다 1층에서 번호표를 뽑고 2층에서 대기하다가 은행처럼 ..

안녕하세요 오늘은 백엔드 초보자가 느낀 서버 개발 후기를 남겨보려고 합니다. 제가 작업한 일은 다음과 같습니다. 백엔드 API 개발 내용은 간단했습니다. 작성된 머신러닝 코드를 API화 작업해 사용자가 이미지와 URI 쿼리를 보냈을 경우, 이를 파싱해서 머신러닝에 이미지를 처리하고, 결과를 리턴하는 작업이였습니다. 개발은 Flask로 진행했는데, 처음이라 그런지 많이 서툴렀고, 간단한 작업도 삽질을 많이 했습니다. 이미지를 보내는 작업인데도 HTTP 방식을 깊게 이해하지 못해 content-type을 잘못 적는 것으로 시작해 일을 복잡하게 처리하는 경험을 해봤습니다. (글로 적으니 더 바보같다) Flask 안에서도 restplus 라이브러리를 이용했고, REST라는 구조를 경험해보며 왜 필요한지 생각해봤..

TL:DR (요약) flask-restful 라이브러리로 Flask-restful, flask-restplus, flask-restx 3가지 종류가 존재한다. Flask-restful은 꾸준히 업데이트를 하고 있는 반면에, restplus는 어느 시점에 업데이트가 끊겨서 restx가 restplus를 이어받아 업데이트하고 있다. Swagger 쓸거면 restx, 상관없으면 restful 쓰자! 1. 업데이트, Star 비교 Flask-Restful Flask-restful은 6K, 2021년에도 업데이트 지원중인 것을 볼 수 있다. Flask-restplus 2.5K, 2019년 이후로 업데이트가 멈춘 것으로 보인다. Flask-restX 1.1K, 홈페이지에 업데이트 기록은 없으나 깃허브를 보면 꾸준히..

sklearn.joblib 라이브러리가 아닌 pypi의 joblib 라이브러리에서 발생하는 문제 로컬 환경에서는 sklearn의 모델들을 joblib.dump() 명령어를 이용해 저장했었는데 EC2 인스턴스에서 실행하기 위해 설치한 sklearn 버전이 0.24여서 해결이 되지 않았었다. 해결방법 scikit-learn 라이브러리 버전을 변경하면 된다. pip install scikit-learn=0.22.1 pip install scikit-learn=0.19.1 출처 kangjik94.tistory.com/m/47 stackoverflow.com/questions/65758102/no-module-name-sklearn-forest-ensemble

TL;DR(Too Long, Didn't Read) - 3줄 요약 1. requests를 이용한 post 테스트 시, header를 잘 확인해야 한다 (이미지는 image/jpeg 인데, application/json 으로 보내면 보통 에러가 난다) 2. ndarray.tobytes()나 opencv를 이용해 로 bytes 형태로 보낼 수도 있고, 파일 통째로 보내는 것도 가능하다. 3. 굳이 application/json 형태로 보내고 싶다면 인코딩/디코딩을 잘 해야한다. ps. application/json 형태로 보낸 것보다, bytes형태로 보낸 게 속도가 더 빠르다 (당연한 얘기인가?) 서론 저의 경우는 플라스크를 이용해 이미지를 보내려고 하는데 문제가 생겨서 검색해봤습니다. 처음 시도는 ope..

기준 : 20대 남자 직장인 3명 점수 : 5점 만점 https://place.map.kakao.com/857970676 이와타 서울 영등포구 국제금융로6길 33 맨하탄빌딩 지하 1층 42호 (여의도동 36-2) place.map.kakao.com 메뉴 파이탄쇼유 1(+밥1), 쇼유라멘(+밥1), 쇼유라멘(+계란) 리뷰 1(파이탄쇼유) : 파이탄쇼유 맛있다 4점 2(쇼유라멘) : 경제력이 된다면 매일 오고 싶다(라면 좋아함, 여의도라 밥값이 비싸서...) 2.8점 3(쇼유라멘) : 전반적으로 맛이 있었지만, 점심시간에 손님이 몰리는 특성 상 재료를 준비해놨다가 급하게 데워서 그런지 재료에서 온기가 안 느껴져 실망했다 3.5점 평균 3.43점