MLOps note(2)

728x90

이번에는 전에 만들어둔 Makefile, hello.py, test_hello.py, requirements.txt 네가지 scaffold를 도커라이징하고, 이미지를 AWS의 레지스트리인 ECR에 푸시할 계획이다. 그런 다음 ECS에서 해당 이미지를 실행하는 컨테이너를 띄워볼 것이다. 트리거는 깃헙 저장소에 main브랜치로 코드를 푸시하는거고, 깃헙액션이 이를 확인할거다.

docker와 aws와의 연결을 위해서는 로컬에서 권한에 대한 이슈가 발생한다. 그리고 포트 등에 대해서 마음대로 할 수 없다. 이미지도 갈수록 늘어날테고.. 회사 서버로 작게 작게 연습중이었는데, 아쉽지만 로컬로 갈아타게 되었다. 🥲

우분투로 잘 하고 있었는데, 맥북에서 진행해야하니 운영체제 때문에 초기에 설정을 좀 해주었다.

docker도 새로 설치.

brew install --cask docker

"Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?" 의 에러가 발생했는데, 위에서 --cask 로 도커를 설치해서 앱도 같이 설치되었는데, 로그인을 굳이 하지 않아서 앱을 실행해서 작업 화면까지만 가준뒤 터미널을 껐다키면 실행된 데몬과 연결이 된다.

ssh를 새로 생성해 깃헙에 새로운 ssh키도 등록했다.

ssh-keygen -t rsa -b 4096 -C "your_email@example.com"
cat ~/.ssh/id_rsa.pub

앞전에 구성해 놓은 스캐폴드 파일들을 가상환경에서 make 명령어도 잘 되는걸 확인했다. 당장 사용을 더 할 것같지는 않다.

source test_mlops/bin/activate

작업 순서는 하는 것은 아래와 같다.

1. scaffold의 파일에 대해 도커라이징 하기.

Dockfile은 아래와 같다. app.py를 실행하는데, 실습하던 도중에 플라스크를 사용해야해서 중간에 플라스크를 활용한 간단한 파이썬 파일을 하나 추가했다.

FROM python:3.8-slim

# 작업경로
WORKDIR /app

# 컨테이너 작업경로인 /app에 현재 파일들을 다 복사한다.
COPY . /app

# 패키지 설치
RUN pip install -r requirements.txt

# 컨테이너 밖에서 80포트로 연결할 수 있도록 포트를 뚫어 준다.
EXPOSE 80

# World라는 변수명으로 환경변수 하나 설정하기.
ENV NAME World

# 이미지에 의해 컨테이너가 실행되면 아래의 커맨드가 실행된다.
CMD ["python", "app.py"]

app.py

from flask import Flask

# Flask 애플리케이션을 생성합니다.
app = Flask(__name__)

# 루트 경로 ("/")에 대한 요청을 처리하는 뷰 함수를 정의합니다.
@app.route('/')
def hello_world():
    return 'Hello, World!'

# 애플리케이션을 실행합니다.
if __name__ == '__main__':
    app.run(port=5000)

2. AWS ECR에 이미지 푸시하기.

컨테이너 레지스트리는 AWS의 ECR을 사용한다. ECR은 Elastic Container Resistry로 AWS의 도커허브 같은거다. 먼저 Elastic Container Resistry을 검색해서 기본 설정으로 테스트로 아무거나 이름 적고 하나 생성해주기만 하면 된다. 그리고 IAM에서 CLI사용을 위한 계정을 하나 만들어준다. 권한은 ECR에 관한 full access권한으로 만들어 준다.

- Actions에 셋팅에 들어가 시크릿에 aws 콘솔에서 발급받은 각각 액세스키와 시크릿 액세스키에 대해 환경변수를 입력한다.

- 도커 Actions에서 새로운 워크플로우를 수동으로 만들어준다. 아래와 같이 yml 을 만들어준다.

name: Deploy to ECR

on:
 
  push:
    branches: [ main ]

jobs:

  build:

    name: Build Image
    runs-on: ubuntu-latest

    steps:

    - name: Check out code
      uses: actions/checkout@v2

    - name: Configure AWS credentials
      uses: aws-actions/configure-aws-credentials@v1
      with:
        aws-access-key-id: ${{ secrets.AWS_ACCESS_KEY_ID }}
        aws-secret-access-key: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
        aws-region: ap-northeast-2
 
    - name: Login to Amazon ECR
      id: login-ecr
      uses: aws-actions/amazon-ecr-login@v1
      
    - name: Build, tag, and push image to Amazon ECR
      run: |
        docker build -t test_mlops .
        docker tag test_mlops:latest 434404663272.dkr.ecr.ap-northeast-2.amazonaws.com/test_mlops:latest
        docker push 434404663272.dkr.ecr.ap-northeast-2.amazonaws.com/test_mlops:latest

>> 가운데 secrets를 볼 수 있고, 가장 아래에 run 부분은 aws 콘솔에서 실행할 수 있도록 했다.