[CI/CD] AWS CodeDeploy, CodePipeline 으로 node.js, ec2, git 배포 자동화하기

👏🏻  들어가며

오랜만에 포스팅합니다. 학교 + 회사 + 동아리로 너무 바쁜 나머지... 

오늘은 AWS Codedeploy, Codepipeline 을 통한 node.js, ec2, git 을 연동해 배포 자동화를 해보겠습니다.

사실 CI/CD는 잘 모르기도 하고, 해본 적도 없는데 그냥 회사에서 서버를 만지다 너무 비효율적인 시스템인 것 같아 배포 자동화를 시켜야겠다고 마음 먹었습니다. 

마침 서버 컴 문제로 인해 기존 서버들을 ec2로 옮겨야 해서 옮긴 김에 codedeploy, codepipeline을 적용해봤습니다.

어떻게 쩌리가 이런걸 맘대로 회사 서버에 들였냐고요? 소규모 스타트업이라 서버 개발자가 저밖에 없거든요~ 

DevOps 책을 받게 되어서 (ucpc 상품이었나 .. ?) 방학동안 이걸 좀 읽어보며 CI/CD 공부를 좀 해야겠습니다.

과정이 꽤 길고 어려워서 이 포스팅을 통해 다시 정리해보려고 합니다.

✔️ CI, CD란?

아직 저도 완벽히는 모르지만 redhat이 깔끔하게 알려주더라고요.

CI/CD는 애플리케이션 개발 단계를 자동화하여 애플리케이션을 보다 짧은 주기로 고객에게 제공하는 방법입니다. CI/CD의 기본 개념은 지속적인 통합, 지속적인 서비스 제공, 지속적인 배포입니다. CI/CD는 새로운 코드 통합으로 인해 개발 및 운영팀에 발생하는 문제(일명 "인테그레이션 헬(integration hell)")을 해결하기 위한 솔루션입니다.
특히, CI/CD는 애플리케이션의 통합 및 테스트 단계에서부터 제공 및 배포에 이르는 애플리케이션의 라이프사이클 전체에 걸쳐 지속적인 자동화와 지속적인 모니터링을 제공합니다. 이러한 구축 사례를 일반적으로 "CI/CD 파이프라인"이라 부르며 개발 및 운영팀의 애자일 방식 협력을 통해 지원됩니다.
https://www.redhat.com/ko/topics/devops/what-is-ci-cd

redhat에서 훔쳐왔습니다. 한번 읽어보시는 게 좋을 것 같습니다.

CI (Continuous Integration), CD (Continuous Delivery, Continuous Deployment) 

지속적인 제공이란 개발자들이 애플리케이션에 적용한 변경 사항이 버그 테스트를 거쳐 리포지토리(예: GitHub 또는 컨테이너 레지스트리)에 자동으로 업로드되는 것을 뜻하며, 운영팀은 이 리포지토리에서 애플리케이션을 실시간 프로덕션 환경으로 배포할 수 있습니다. 이는 개발팀과 비즈니스팀 간의 가시성과 커뮤니케이션 부족 문제를 해결해 줍니다. 지속적인 제공은 최소한의 노력으로 새로운 코드를 배포하는 것을 목표로 합니다.
지속적인 배포(또 다른 의미의 "CD": Continuous Deployment)란 개발자의 변경 사항을 리포지토리에서 고객이 사용 가능한 프로덕션 환경까지 자동으로 릴리스하는 것을 의미합니다. 이는 애플리케이션 제공 속도를 저해하는 수동 프로세스로 인한 운영팀의 프로세스 과부하 문제를 해결합니다. 지속적인 배포는 파이프라인의 다음 단계를 자동화함으로써 지속적인 제공이 가진 장점을 활용합니다.

😔  기존 방식의 문제점

기존 node.js, ec2, github 을 통해 서버 배포 작업을 진행하는 과정은 다음과 같습니다.

local 개발 -> github push (PR, merge 등의 작업 거쳐서) -> ec2 에서 pull -> build or run -> deploy 완료

매번 개발 후 직접 ec2 접속해서 pull 받고 build, run 해주는 비효율을 줄이고자 우리는 AWS에서 제공하는CodeDeploy, CodePipeline 을 통해 github repository에서 작업한 code가 바로 ec2에서 deploy 되도록 배포 자동화를 진행할겁니다.

사실은 codebuild 까지 사용해서 빌드 파일을 만드는 작업도 해야하지만 전 처음이니까 일단 CodeDeploy와 CodePipeline 만 적용하여 배포해보겠습니다.

📁  사전 - ec2 에 nvm, npm, yarn, git, node 설치

처음 ec2 인스턴스를 생성하고 접속하면 당연히 깨끗한 상태입니다. (저는 ubuntu 18.04 LTS 를 사용합니다)

여기에 node js 서버를 돌릴 수 있게 작업해봅시다.

ssh 로 ubuntu 에 접속 합니다.

$ sudo apt-get install curl
$ curl -sL https://deb.nodesource.com/setup_16.x | sudo -E bash -
$ sudo apt-get install -y nodejs
$ sudo apt-get install build-essential

curl 명령어에서 setup_16.x -> node 16 버전을 받고 싶단 뜻입니다. 만약 다른 버전 원하시면 숫자를 바꾸시면 됩니다.

nvm 과 yarn도 설치합시다. 

$ curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.8/install.sh | bash
$ export NVM_DIR="$HOME/.nvm"
$ [ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" 
$ [ -s "$NVM_DIR/bash_completion" ] && \. "$NVM_DIR/bash_completion"
$ nvm install --lts
$ npm install -g yarn

git 설치합시다.

$ sudo apt-get update
$ sudo apt-get install git

version 이 제대로 나오면 완료

📌  EC2 IAM 생성

AWS IAM 에 들어가 역할을 누르고, 역할 만들기를 클릭합니다.

기본 AWS 서비스 와 사용 사례로는 EC2를 눌러주고 다음을 누릅니다.

정책 필터 검색창에서

- AWSCodeDeployFullAccess

- AWSCodeDeployRole

- CloudWatchLogsFullAccess

- AmazonS3FullAccess

를 검색해 체크해주고 다음으로 넘어갑니다.

태그에 역할 이름을 추가해줍니다.

역할 이름과 설명을 적어주고 역할 만들기를 클릭합니다.

ec2 대시보드로 넘어와 사용할 인스턴스에서 오른쪽 버튼 -> 보안 -> IAM 역할 수정을 눌러줍니다.

IAM 역할에서 방금 만든 IAM을 선택합니다.

📌  CodeDeploy IAM 생성

ec2에 역할을 적용했으니 CodeDeploy에도 역할을 적용해야합니다.

먼저 AWS IAM -> 역할로 다시 이동해 역할 만들기를 눌러줍니다.

이번에는 일반 사용 사례에서 CodeDeploy를 누르고 하단에 뜨는 사용 사례 선택에서 똑같이 CodeDeploy를 눌러주면 됩니다.

default로 정책이 뜹니다. 그냥 넘어갑니다.

키-값을 입력해주고 넘어갑니다.

역할 이름과 설명을 적어주고 역할 만들기를 클릭하여 생성합니다.

📌  CodeDeploy 애플리케이션 생성

AWS 메뉴에서 CodeDeploy를 검색해 들어간 후 좌 메뉴에 있는 배포 -> 시작하기 -> 애플리케이션 생성을 클릭합니다.

애플리케이션 이름을 작성하고, 컴퓨팅 플랫폼을 EC2/온프레미스로 선택합니다.

애플리케이션 생성을 눌러줍니다.

📌  CodeDeploy 사용자 추가

CodeDeploy 에서 발생한 이벤트를 EC2 와 연동하기 위해 CodeDeploy Agent를 설치해야합니다. 또한 해당 CodeDeploy 를 사용할 group을 만들어줘야 합니다.

IAM 에서 사용자 추가가 필요하니 IAM으로 이동하여 액세스 관리 -> 그룹으로 이동합니다.

그룹 생성을 눌러줍니다.

그룹 이름만 지정하고 생성합니다. 정책은 인라인 정책으로 추가해줄겁니다.

이후 생성된 그룹으로 들어가 하단에 권한 -> 권한 추가 -> 인라인 정책 생성을 누릅니다.

json을 누르고 붙여넣기 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "autoscaling:*",
                "codedeploy:*",
                "ec2:*",
                "lambda:*",
                "elasticloadbalancing:*",
                "s3:*",
                "cloudwatch:*",
                "logs:*",
                "sns:*"
            ],
            "Resource": "*"
        }
    ]
}

이름을 지정하고 정책 생성을 클릭합니다.

권한 정책이 방금 생성한 것으로 제대로 추가되었으면 됩니다.

이제 해당 그룹에 사용자를 추가해야합니다. 사용자를 먼저 만들어줍시다.

IAM 좌측 메뉴에서 사용자 -> 사용자 추가 를 클릭합니다.

사용자 이름을 지정하고, 액세스 유형에서 액세스 키 - 프로그래밍 방식 액세스 를 선택합니다.

다음으로 넘어가면 사용자 추가가 나옵니다. 방금 만들어둔 그룹을 선택합니다.

태그를 추가하고 넘어갑니다.

검토 완료 후 생성합니다.

다음과 같이 액세스 키가 나옵니다. csv를 다운받읍시다. 이 파일은 여기가 아니면 더 이상 볼 수 없으니 꼭 다운 받아줍니다.

여기까지 오시면 CodeDeploy 사용자 생성까지 완료한 것입니다.

📌  CodeDeploy Agent 설치

먼저 awscli 설치가 필요합니다.

$ sudo apt install awscli

아까 다운받은 사용자 csv 파일에서 액세스 키 아이디와 시크릿 액세스 키를 보고 aws configure를 설정해줘야 합니다.

$ sudo aws configure
AWS Access Key ID : 다운 받은 csv 파일 내에 Access Key ID
AWS Secret Access KEy : 다운 받은 csv 파일 내에 Secret Access Key
Default region name : ap-northeast-2
Default output format : json

agent 설치 파일을 다운로드 하고 install 파일에 권한을 추가합시다.

$ wget https://aws-codedeploy-ap-northeast-2.s3.amazonaws.com/latest/install
$ chmod +x ./install

ruby를 먼저 설치하고, agent를 설치합니다.

$ sudo apt-get install ruby
$ sudo ./install auto
$ sudo service codedeploy-agent status # 설치 확인

마지막 명령어로 status를 확인하고 active가 뜬다면 성공입니다.

인스턴스 부팅 시 codedeploy-agent가 자동 시작 되도록 shell script를 작성합시다.

$ sudo vim /etc/init.d/codedeploy-startup.sh

i로 편집모드 진입 

#!/bin
sudo service codedeploy-agent restart

esc -> :wq 저장 후 나가기

작성한 스크립트 파일에 실행 권한을 추가합니다.

$ sudo chmod +x /etc/init.d/codedeploy-startup.sh

📌  배포할 서버 설정

우리가 배포할 서버 내에 (루트경로) appspec.yml 파일을 새로 추가해야합니다. appspec.yml 파일은 CodeDeploy가 배포를 관리하는 애플리케이션 사양 파일이라고 합니다.

version: 0.0
os: linux
files:
  - source:  /
    destination: /home/ubuntu/build/

CodeDeploy가 배포할 위치가 /home/ubuntu/build/ 경로가 됩니다.

이후로 ubuntu 내부에 /home/ubuntu/build 디렉토리를 생성해주면 됩니다.

$ mkdir /home/ubuntu/build

우리가 배포할 프로젝트를 우분투로 clone해 옵시다.

$ git clone https://github.com/githubid/repository-name

추가로 깃헙 id, password (token)을 매번 치기 귀찮으니까 디스크에 저장해두면 나중에 pull 받을 때 또 작성하지 않아도 됩니다.

$ cd repository-name
$ git config --global credential.helper store

본인이 클론받은 디렉터리로 이동 후 저 명령어를 치고 나서 한번 더 pull 받으면 다음부터는 저장된 기록으로 바로 된다고 합니다.

📌  CodeDeploy 배포 생성

정말 길고 어렵죠.. 조금만 더하면 끝나니까 힘내세요. (To. ME..)

이제 EC2 와 CodeDeploy를 연결해줍시다.

AWS 에서 CodeDeploy 로 이동한 후 아까 만들어둔 애플리케이션을 클릭합니다.

배포 그룹 생성을 클릭합니다.

배포 그룹 이름 입력 후, 서비스 역할은 미리 만들어둔 role 을 선택합니다.

환경 구성에서 Amazon EC2 인스턴스를 선택하고 적용할 ec2 태그를 추가합니다.

다음 설정까지 마치고 배포 그룹 생성을 눌러 완료합시다.

오른쪽 상단에 주황색 배포 생성을 눌러줍시다.

우리는 github에 저장할거니 선택해주고, github token 이름을 입력해준 다음 github에 연결 버튼을 클릭하여 연결합니다.

repository에서 배포할 commit을 눌러 Id를 확인해주고 복사합니다.

추가 배포 동작 설정에서 배포 실패를 눌러줍니다.

완료 후 배포 만들기를 누르면

성공이 뜨는 것을 볼 수 있습니다.

ubuntu 터미널에서 build 디렉터리를 확인해보시면 

정상적으로 해당 커밋 내용이 들어와 있는 것을 볼 수 있습니다.

📌  CodePipeline 을 통한 배포 자동화

CodeDeploy만 가지고는 소스 코드 수정사항을 바로 배포해주지 못합니다. 따라서 CodePipeline을 통해 배포 자동화를 해줘야합니다.

AWS CodePipeline 메뉴에 들어가서 파이프라인 생성을 눌러줍시다.

pipeline 이름을 설정해주고 다음을 누릅니다.

소스 공급자를 github(버전 2)로 선택하고 Github에 연결을 눌러 나의 github과 연결해줍니다.

중간에 이런 부분이 나온다면 새 앱 설치를 누르고 해당 레포지토리를 선택해주시면 됩니다.

연결을 누릅니다.

빌드 스테이지는 건너뛰고 (전 쩌리라 아직 CodeBuild는 사용하지 않습니다 나중에 추가해볼게요)

배포 스테이지를 추가합니다.

배포 공급자를 AWS CodeDeploy로 선택하고 우리가 만들어둔 애플리케이션과 배포 그룹을 선택해줍니다.

어라라 ? 실패했습니다. 구글링을 해보니 group-role 정책에 codestar-connections: UseConnection 을 추가해줘야한답니다.

아까 만든 IAM -> 사용자 그룹 -> name-deploy-pipe-group-role에 가셔서 인라인 정책을 편집해줍니다. 

성공했습니다~!

📌  PM2 

이제 CodeDeploy와 CodePipeline을 통해 레포지토리 코드 수정시 자동으로 ec2에 반영이 됩니다.

하지만 서버는 코드가 수정될 시 재시작이 필요하므로 pm2를 설치하여 코드 수정이 일어날 시 자동으로 서버 재시작이 되도록 해야합니다.

$ sudo npm install pm2 -g

간단히 Pm2를 전역으로 설치할 수 있습니다.

우리는 아직 CodeBuild를 통해 build 파일을 생성하도록 설정하지 않았기 때문에 일단은 ecosystem.json file을 만들어 pm2가 서버를 실행하도록 합니다.

프로젝트의 루트에 ecosystem.json 파일을 만들어줍니다.

(로컬에서 작업하고 repository에 올리세요!)

{
    "apps": [
        {
            "name": "project-name",
            "script": "./node_modules/.bin/ts-node",
            "args": "./src/index.ts",
            "watch": true
        }
    ]
}

pm2 가 이 파일을 실행시킬 겁니다. 

pm2에 --watch 옵션을 주면 코드가 수정되면 자동으로 서버 재시작을 해줍니다.

추가로 ecosystem.json 을 올린 커밋을 main에 merge 하자 자동으로 코드가 수정되는 것을 볼 수 있습니다!

build 디렉터리를 확인해보시면 ecosystem이 자동으로 들어와 있는 것을 볼 수 있습니다.

이제 build 디렉터리 내에서 Pm2 로 ecosystem.json을 실행시켜 주시면 됩니다.

$ pm2 start ecosystem.json

요런 에러를 만나신다면 

아차찻 yarn을 한번 실행해서 패키지를 다운받아 node_modules 를 만들어주시면 됩니다.

이렇게 online 상태가 되었다면 성공입니다.

이제 repository에 코드가 수정되면 자동으로 ec2에 반영되고, pm2가 서버를 재시작해줍니다.

❤️‍🔥  참고 블로그

https://ookm1020.tistory.com/5?category=858485 

GitHub과 Node.js Express를 이용한 자동배포 환경 만들기(feat. AWS-EC2, AWS CodeDeploy, AWS CodePipeline) 2편 - 까

요 블로그 정말 많이 참고했습니다 감사합니다 👏🏻

👏🏻  마치며 

엄청 긴 포스팅이라 힘드네요.

여기까지 하시느라 고생 많았습니다. 

aws와 개발의 세계는 멀고도 험하네요 🙃