728x90 반응형 전체 글190 딥러닝 모델 컨테이너 띄우기(wt. GPU) GPU를 활용해 학습을 하는 딥러닝 모델(BERT)을 컨테이너를 띄워 컨테이너 내에서 학습을 할 수 있는지 확인하는 것이 목표이다. 환경) Ubuntu 20.04 nvidia driver: 470 docker: 20.10.14 nvidia-docker: 20.10.14 1. 베이스 이미지 불러오기 아무것도 없는 컨테이너에서 pip, python, anaconda, pytorch ... 등등 모든 것을 새로 빌드하는건 많은 리소스를 요구한다. 도커 허브에서 이미지를 pull 하는 방법으로 과정을 대폭 간소화한다. 1. 별이 가장 많은 miniconda3 이미지를 불러온다. docker pull continuumio/miniconda3 편리하게도 위의 이미지에 컨테이너는 python은 물론 pip, git .. 2022. 3. 31. nvidia-docker 설치 및 컨테이너 띄우기 with GPU GPU를 사용하는 딥러닝 모델이 학습하는 환경을 이미지로 빌드하여 컨테이너 내에서 호스트에서 사용하는 GPU가 작동하는지 확인하는 것이 목표이다. 학습환경 OS: Ubuntu 20.04 Nvidia driver: 470 모델 BERT classfication 우분투, 엔비디아 드라이버가 설치되어 있는 상태로 시작했다. 1. docker 설치 -업데이트 및 패키지 설치 $ sudo apt update $ sudo apt-get install -y ca-certificates \ curl \ software-properties-common \ apt-transport-https \ gnupg \ lsb-release - GPG키와 저장소 추가 $ curl -fsSL https://download.docker.. 2022. 3. 31. GPU 사용 환경 세팅 **운영체제 우분투 20.04** 1. nvidia-smi 설치 2. cuda-toolkit 설치 3. cuDNN 설치 1. nvidia-smi 설치 1.1 현재 사용중인 그래픽카드 확인 그래픽카드 제원을 엿볼 수 있다. lshw -numeric -C display 1.2 사용가능한 nvidia-driver 확인 ubuntu-drivers devices 1.3 권장 드라이버 설치 recommended된 버전 "470" 을 두번째 줄의 명령어로 설치한다. #sudo ubuntu-drivers autoinstall #권장 드라이버로 자동 설치 sudo apt install -y nvidia-driver-470 #450버전의 driver 설치 1.4 재부팅(필수) 1.5 설치 확인 nvidia-smi 2. c.. 2022. 3. 26. MLOps를 위한 잡동사니 OS: Ubuntu:20.04 Linux * nohup 사용: 아래의 명령어를 실행하여 nohup을 사용할 수 있다. $ dpkg -S /usr/bin/nohup 사용예) jupyter lab을 실행하면 터미널이 실행중인 상태로 되는데, 만약 이 터미널을 종료하면 jupyter lab의 로컬연결이 끊기게 된다. 터미널로을 종료하더라도 실행시킨 jupyter lab이 계속 실행되게 하기 위해 nohup을 사용한다. 1. $vi jupyterlab.sh 이라는 실행 쉘스크립트를 생성한다. 스크립트 내용은 jupyter lab 만 작성 후 저장한다. 2. $chmod -x jupyterlab.sh 로 실행 권한을 부여한다. 3. $./jupyterlab.sh 로 프로세스사 실행되는지 확인한다. 4. 실행이 잘.. 2022. 3. 26. 도커 기초 도커 기초를 다시 잡기 위해 인프런 강의를 참고해 필기했다. 기본적으로 도커 명령어와 컨테이너 실행 방법 그리고 이미지를 빌드하는 과정에 대해 공부한다. Mac OS나 window 운영체체에서는 도커 데스크탑 설치 후에 진행하면 된다! 참고) 도커 컨테이너 실행 명령어 $ docker run [OPTION] IMAGE[:TAG|@DIGEST] [COMMAND] [ARG...] -d 백그라운드 모드 실행 -p 호스트와 컨테이너의 포트 연결 -v 호스트와 컨테이너의 디렉토리 연결 -e 컨테이너 내의 환경변수 설정 --name 컨테이너 이름 설정 --rm 프로세스 종료시 컨테이너 자동 제거 -it 터미널 입력을 위한 옵션 --network 네트워크 연결 - 우분투 컨테이너 실행 아래의 명령어로 우분투 20.0.. 2022. 3. 21. 우분투에 도커 설치 한국어 임베딩 코드 구현을 하다가 도커환경이 필요하여 필기를 해두었다. 향후 도커와 같은 Ops환경을 계속해서 공부해나갈거기에 연습으로 진행해보았다! OS: Ubuntu 16.04 터미널에서 입력 1. 도커 프로그램 설치 sudo apt install docker.io 2. 도커 이미지 설치 sodu docker pull debian # 도커 이미지 삭제 sudo docker rmi fe3c5de03486 3. 도커 컨테이너 생성 sudo docker run -it debian /bin/bash # 컨테이너 종료 exit 4. 컨테이너 목록 확인 sudo docker ps -a sudo docker contailner ls -a # 종료된 컨테이너 삭제 docker rm f7d2d235bdf6 번외) r.. 2021. 8. 31. RNN 2 RNN 에 대해서 한 번 간단히 정리한 적이 있는데, 대강 흐름이나 아이디어나 뭐 직관적으로만 본 것이라 몇시간만 보고 끝냈던 적이 있다. 좀 더 자세히 강의와 블로그를 참조하여 RNN이 왜 필요하고 어떻게 작동하고 어떻게 사용되는지 알아보도록 한다. RNN 은 recurrent neural network 의 약자이다. recurrent 는 말그대로 '되풀이되는' 이라는 뜻을 가지고 있고, 실제로 그렇게 네트워크 구조가 구성되어 있다.~ 먼저 Sequantial Data 가 뭔지 알아보자. 주로 우리는 이미지나 다변량 데이터를 다뤘다. 다변량 같은 거는 각 feature들이 독립이라고 가정을 하였고, 이미지 데이터같은거는 하나의 픽셀을 하나하나의 variable 로 가정을 했는데 이 때 픽셀 간에 coh.. 2021. 5. 6. 컴퓨터 비전에서 딥러닝은 어떻게 활용될까? CNN 은 이미지를 다루는데 적합한 딥러닝 알고리즘이라는 것을 배웠다. 이러한 이미지를 전문적으로 다루는 Computer vision 영역의 문제에서 딥러닝이 어떻게 활용이 될까? 대표적인 task 에 대해서 살펴보도록 하자. 다룰 내용은 크게 3가지로 구분된다. 1. Transfer Learning 2. Object Detection 3. Semantic Segmentation * 1. Transfer Learning CNN 을 이용해서 이미지를 분류하면 잘 된다고 알고 있다. 그 이유증에 하나는 사람이 시각적인 정보를 처리할 때 여러 hierarchy 과정을 겪게 된다. NN 의 레이어가 사람의 그 과정을 hierarchy 하게 모사할 수 있기 때문이다. 즉, 사람은 이미지 객체 인식에 있어서 낮은 .. 2021. 5. 5. pytorch로 구현하는 RNN(Recurrent Neural Network) RNN을 파이토치로 구현하는 방법을 알아보자. 주식을 예측하는 도메인으로써 many to one 방식에 해당된다고 할 수 있다. import numpy as np import pandas as pd from sklearn.preprocessing import MinMaxScaler import torch import torch.nn as nn import torch.optim as optim import matplotlib.pyplot as plt from google.colab import drive drive.mount('/content/gdrive') cd/content/gdrive/My Drive/deeplearningbro/pytorch 곧바로 데이터를 다운받고 연습해볼 수 있도록 아래의 링크에.. 2021. 4. 14. 이전 1 2 3 4 5 6 ··· 22 다음 728x90 반응형
