우분투에 도커 설치

한국어 임베딩 코드 구현을 하다가 도커환경이 필요하여 필기를 해두었다. 향후 도커와 같은 Ops환경을 계속해서 공부해나갈거기에 연습으로 진행해보았다!

OS: Ubuntu 16.04 터미널에서 입력

 

 

1. 도커 프로그램 설치

sudo apt install docker.io

2. 도커 이미지 설치

sodu docker pull debian

 

# 도커 이미지 삭제

sudo docker rmi fe3c5de03486

 

3. 도커 컨테이너 생성

sudo docker run -it debian /bin/bash

# 컨테이너 종료

exit

 

4. 컨테이너 목록 확인

sudo docker ps -a
sudo docker contailner ls -a

 

# 종료된 컨테이너 삭제

docker rm f7d2d235bdf6

 

---

번외) ratsgo's embedding for Swivel

 

 

1. Dockerfile로부터 도커이미지를 처음부터 만들어서 컨테이너 띄우기

git clone https://github.com/ratsgo/embedding.git
cd embedding
docker build -t ratsgo/embedding-cpu -f docker/Dockerfile-CPU .

아래의 명령어를 통해서 컨테이너에 /notebooks/embedding 경로가 생성이 된다.

docker run -it --rm ratsgo/embedding-cpu bash

 

---

교재의 Swivel 듀토리얼을 따라해본다.

 

1. 데이터 다운로드

git pull origin master
bash preprocess.sh dump-tokenized

=> bash preprocess.sh dump-tokenized 라인에서 접속 불량으로 다운이 안됐지만, 다시 시도하니 된다.

 

 

2. 데이터 합치기

1번에서 다운받은 data 폴더안에 존재하는 txt 들을 하나로 합친다.

cd /notebooks/embedding/data
cat tokenized/wiki_ko_mecab.txt tokenized/ratings_mecab.txt tokenized/korquad_mecab.txt > tokenized/corpus_mecab.txt

 

3. Swivel 모델 학습(30분)

cd /notebooks/embedding
mkdir -p data/word-embeddings/swivel

models/swivel/fastprep --input data/tokenized/corpus_mecab.txt --output_dir data/word-embeddings/swivel/swivel.data

python models/swivel/swivel.py --input_base_path data/word-embeddings/swivel/swivel.data --output_base_path data/word-embeddings/swivel --dim 100

 

4. 단어간 유사도(코사인)

python을 치고 python에 들어가서 아래의 코드를 실행한다.

from models.word_eval import WordEmbeddingEvaluator
model - WordEmbeddingEvaluator("data/word-embeddings/swivel/row_embedding.tsv", method="swivel", dim=100, tokenizer_name="mecab")
model.most_similar("인생", topn=20)

 

---

# 컨테이너 나가기

Ctrl + D

 

# 컨테이너 저장하고 나가기

Ctrl + p, q

 

# 도커 다시 들어가기

아래의 명령어로 들어가고자 하는 컨테이너 찾고,

sudo docker ps

아래의 명령어로 컨테이너 접속

sudo docker attach 컨테이너이름

 

 

ref)

https://hiseon.me/linux/docker-basic-tutorial/

https://ratsgo.github.io/embedding/environment.html