728x90 반응형 분류 전체보기190 딥러닝 모델 컨테이너 띄우기(wt. GPU) GPU를 활용해 학습을 하는 딥러닝 모델(BERT)을 컨테이너를 띄워 컨테이너 내에서 학습을 할 수 있는지 확인하는 것이 목표이다. 환경) Ubuntu 20.04 nvidia driver: 470 docker: 20.10.14 nvidia-docker: 20.10.14 1. 베이스 이미지 불러오기 아무것도 없는 컨테이너에서 pip, python, anaconda, pytorch ... 등등 모든 것을 새로 빌드하는건 많은 리소스를 요구한다. 도커 허브에서 이미지를 pull 하는 방법으로 과정을 대폭 간소화한다. 1. 별이 가장 많은 miniconda3 이미지를 불러온다. docker pull continuumio/miniconda3 편리하게도 위의 이미지에 컨테이너는 python은 물론 pip, git .. 2022. 3. 31. nvidia-docker 설치 및 컨테이너 띄우기 with GPU GPU를 사용하는 딥러닝 모델이 학습하는 환경을 이미지로 빌드하여 컨테이너 내에서 호스트에서 사용하는 GPU가 작동하는지 확인하는 것이 목표이다. 학습환경 OS: Ubuntu 20.04 Nvidia driver: 470 모델 BERT classfication 우분투, 엔비디아 드라이버가 설치되어 있는 상태로 시작했다. 1. docker 설치 -업데이트 및 패키지 설치 $ sudo apt update $ sudo apt-get install -y ca-certificates \ curl \ software-properties-common \ apt-transport-https \ gnupg \ lsb-release - GPG키와 저장소 추가 $ curl -fsSL https://download.docker.. 2022. 3. 31. GPU 사용 환경 세팅 **운영체제 우분투 20.04** 1. nvidia-smi 설치 2. cuda-toolkit 설치 3. cuDNN 설치 1. nvidia-smi 설치 1.1 현재 사용중인 그래픽카드 확인 그래픽카드 제원을 엿볼 수 있다. lshw -numeric -C display 1.2 사용가능한 nvidia-driver 확인 ubuntu-drivers devices 1.3 권장 드라이버 설치 recommended된 버전 "470" 을 두번째 줄의 명령어로 설치한다. #sudo ubuntu-drivers autoinstall #권장 드라이버로 자동 설치 sudo apt install -y nvidia-driver-470 #450버전의 driver 설치 1.4 재부팅(필수) 1.5 설치 확인 nvidia-smi 2. c.. 2022. 3. 26. MLOps를 위한 잡동사니 OS: Ubuntu:20.04 Linux * nohup 사용: 아래의 명령어를 실행하여 nohup을 사용할 수 있다. $ dpkg -S /usr/bin/nohup 사용예) jupyter lab을 실행하면 터미널이 실행중인 상태로 되는데, 만약 이 터미널을 종료하면 jupyter lab의 로컬연결이 끊기게 된다. 터미널로을 종료하더라도 실행시킨 jupyter lab이 계속 실행되게 하기 위해 nohup을 사용한다. 1. $vi jupyterlab.sh 이라는 실행 쉘스크립트를 생성한다. 스크립트 내용은 jupyter lab 만 작성 후 저장한다. 2. $chmod -x jupyterlab.sh 로 실행 권한을 부여한다. 3. $./jupyterlab.sh 로 프로세스사 실행되는지 확인한다. 4. 실행이 잘.. 2022. 3. 26. 도커 기초 도커 기초를 다시 잡기 위해 인프런 강의를 참고해 필기했다. 기본적으로 도커 명령어와 컨테이너 실행 방법 그리고 이미지를 빌드하는 과정에 대해 공부한다. Mac OS나 window 운영체체에서는 도커 데스크탑 설치 후에 진행하면 된다! 참고) 도커 컨테이너 실행 명령어 $ docker run [OPTION] IMAGE[:TAG|@DIGEST] [COMMAND] [ARG...] -d 백그라운드 모드 실행 -p 호스트와 컨테이너의 포트 연결 -v 호스트와 컨테이너의 디렉토리 연결 -e 컨테이너 내의 환경변수 설정 --name 컨테이너 이름 설정 --rm 프로세스 종료시 컨테이너 자동 제거 -it 터미널 입력을 위한 옵션 --network 네트워크 연결 - 우분투 컨테이너 실행 아래의 명령어로 우분투 20.0.. 2022. 3. 21. 우분투에 도커 설치 한국어 임베딩 코드 구현을 하다가 도커환경이 필요하여 필기를 해두었다. 향후 도커와 같은 Ops환경을 계속해서 공부해나갈거기에 연습으로 진행해보았다! OS: Ubuntu 16.04 터미널에서 입력 1. 도커 프로그램 설치 sudo apt install docker.io 2. 도커 이미지 설치 sodu docker pull debian # 도커 이미지 삭제 sudo docker rmi fe3c5de03486 3. 도커 컨테이너 생성 sudo docker run -it debian /bin/bash # 컨테이너 종료 exit 4. 컨테이너 목록 확인 sudo docker ps -a sudo docker contailner ls -a # 종료된 컨테이너 삭제 docker rm f7d2d235bdf6 번외) r.. 2021. 8. 31. 이전 1 2 3 4 5 6 7 ··· 32 다음 728x90 반응형
