728x90 반응형 Docker6 MLOps note(2) 이번에는 전에 만들어둔 Makefile, hello.py, test_hello.py, requirements.txt 네가지 scaffold를 도커라이징하고, 이미지를 AWS의 레지스트리인 ECR에 푸시할 계획이다. 그런 다음 ECS에서 해당 이미지를 실행하는 컨테이너를 띄워볼 것이다. 트리거는 깃헙 저장소에 main브랜치로 코드를 푸시하는거고, 깃헙액션이 이를 확인할거다. docker와 aws와의 연결을 위해서는 로컬에서 권한에 대한 이슈가 발생한다. 그리고 포트 등에 대해서 마음대로 할 수 없다. 이미지도 갈수록 늘어날테고.. 회사 서버로 작게 작게 연습중이었는데, 아쉽지만 로컬로 갈아타게 되었다. 🥲 우분투로 잘 하고 있었는데, 맥북에서 진행해야하니 운영체제 때문에 초기에 설정을 좀 해주었다. doc.. 2023. 10. 22. 딥러닝 모델 컨테이너 띄우기(wt. GPU) GPU를 활용해 학습을 하는 딥러닝 모델(BERT)을 컨테이너를 띄워 컨테이너 내에서 학습을 할 수 있는지 확인하는 것이 목표이다. 환경) Ubuntu 20.04 nvidia driver: 470 docker: 20.10.14 nvidia-docker: 20.10.14 1. 베이스 이미지 불러오기 아무것도 없는 컨테이너에서 pip, python, anaconda, pytorch ... 등등 모든 것을 새로 빌드하는건 많은 리소스를 요구한다. 도커 허브에서 이미지를 pull 하는 방법으로 과정을 대폭 간소화한다. 1. 별이 가장 많은 miniconda3 이미지를 불러온다. docker pull continuumio/miniconda3 편리하게도 위의 이미지에 컨테이너는 python은 물론 pip, git .. 2022. 3. 31. nvidia-docker 설치 및 컨테이너 띄우기 with GPU GPU를 사용하는 딥러닝 모델이 학습하는 환경을 이미지로 빌드하여 컨테이너 내에서 호스트에서 사용하는 GPU가 작동하는지 확인하는 것이 목표이다. 학습환경 OS: Ubuntu 20.04 Nvidia driver: 470 모델 BERT classfication 우분투, 엔비디아 드라이버가 설치되어 있는 상태로 시작했다. 1. docker 설치 -업데이트 및 패키지 설치 $ sudo apt update $ sudo apt-get install -y ca-certificates \ curl \ software-properties-common \ apt-transport-https \ gnupg \ lsb-release - GPG키와 저장소 추가 $ curl -fsSL https://download.docker.. 2022. 3. 31. MLOps를 위한 잡동사니 OS: Ubuntu:20.04 Linux * nohup 사용: 아래의 명령어를 실행하여 nohup을 사용할 수 있다. $ dpkg -S /usr/bin/nohup 사용예) jupyter lab을 실행하면 터미널이 실행중인 상태로 되는데, 만약 이 터미널을 종료하면 jupyter lab의 로컬연결이 끊기게 된다. 터미널로을 종료하더라도 실행시킨 jupyter lab이 계속 실행되게 하기 위해 nohup을 사용한다. 1. $vi jupyterlab.sh 이라는 실행 쉘스크립트를 생성한다. 스크립트 내용은 jupyter lab 만 작성 후 저장한다. 2. $chmod -x jupyterlab.sh 로 실행 권한을 부여한다. 3. $./jupyterlab.sh 로 프로세스사 실행되는지 확인한다. 4. 실행이 잘.. 2022. 3. 26. 도커 기초 도커 기초를 다시 잡기 위해 인프런 강의를 참고해 필기했다. 기본적으로 도커 명령어와 컨테이너 실행 방법 그리고 이미지를 빌드하는 과정에 대해 공부한다. Mac OS나 window 운영체체에서는 도커 데스크탑 설치 후에 진행하면 된다! 참고) 도커 컨테이너 실행 명령어 $ docker run [OPTION] IMAGE[:TAG|@DIGEST] [COMMAND] [ARG...] -d 백그라운드 모드 실행 -p 호스트와 컨테이너의 포트 연결 -v 호스트와 컨테이너의 디렉토리 연결 -e 컨테이너 내의 환경변수 설정 --name 컨테이너 이름 설정 --rm 프로세스 종료시 컨테이너 자동 제거 -it 터미널 입력을 위한 옵션 --network 네트워크 연결 - 우분투 컨테이너 실행 아래의 명령어로 우분투 20.0.. 2022. 3. 21. 우분투에 도커 설치 한국어 임베딩 코드 구현을 하다가 도커환경이 필요하여 필기를 해두었다. 향후 도커와 같은 Ops환경을 계속해서 공부해나갈거기에 연습으로 진행해보았다! OS: Ubuntu 16.04 터미널에서 입력 1. 도커 프로그램 설치 sudo apt install docker.io 2. 도커 이미지 설치 sodu docker pull debian # 도커 이미지 삭제 sudo docker rmi fe3c5de03486 3. 도커 컨테이너 생성 sudo docker run -it debian /bin/bash # 컨테이너 종료 exit 4. 컨테이너 목록 확인 sudo docker ps -a sudo docker contailner ls -a # 종료된 컨테이너 삭제 docker rm f7d2d235bdf6 번외) r.. 2021. 8. 31. 이전 1 다음 728x90 반응형
