6. 모니터링 설정

1. 모니터링

CI/CD의 목표는 코드를 신속하고 안정적으로 배포하는 것입니다. 하지만 배포가 성공했다고 해서 모든 과정이 끝나는 것은 아닙니다. 새로운 코드에 의해 시스템 성능이 저하되거나 오류가 발생할 수 있습니다.

CI/CD 파이프라인에서 모니터링 단계는 이러한 문제를 실시간으로 감지하고 시스템의 건강 상태와 성능을 지속적으로 확인하는 핵심 과정입니다. 이 단계를 통해 배포된 애플리케이션의 문제를 조기에 발견하고, 안정적인 서비스를 유지할 수 있습니다.

2. 프로메테우스 & 그라파나

프로메테우스

CI/CD에서 대표적으로 사용되는 모니터링 도구로, 주기적으로 어플리케이션 및 인프라의 메트릭(CPU, 메모리 사용량 및 요청 수)을 가져와서 보관합니다.

프로메테우스는 자체 쿼리 언어(PromQL)를 사용하여 데이터를 분석하고, 경고를 보낼 수 있습니다.

그라파나

프로메테우스에 저장된 데이터를 시각화하여 표현하는 대시보드 툴입니다. 사용자가 데이터를 쉽게 분석할 수 있도록 다양한 그래프와 시각화 요소를 제공합니다.

1) 프로메테우스 & 그라파나 서버 설치

테라폼 스크립트 코드 예시

# Prometheus & Grafana 서버 생성
resource "aws_instance" "monitoring" {
  ami               = "ami-0a2c043e56e9abcc5" # Amazon Linux 2023 (x86)
  instance_type     = "t2.small"
  availability_zone = "ap-northeast-2a"
  key_name          = aws_key_pair.edukey-pair.key_name
  security_groups   = ["default"]
  private_ip        = "172.31.0.140"

  root_block_device {
    volume_size = 20
  }

  tags = {
    Name = "monitoring"
    Role = "Prometheus-Grafana"
  }

  user_data = <<-EOT
#!/bin/bash
set -eux

# Hostname
hostnamectl set-hostname monitoring

# Update system
dnf update -y

# Docker 설치
dnf install -y docker git
systemctl enable docker
systemctl start docker
usermod -aG docker ec2-user

# Docker Compose 설치
curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

# Prometheus & Grafana 설정 디렉토리
mkdir -p /home/ec2-user/monitoring
cd /home/ec2-user/monitoring

# Prometheus 설정 파일 작성
cat > prometheus.yml <<EOF
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]
      
  - job_name: "mysql-db-node"
    static_configs:
      - targets: ["172.31.0.120:9100"]

  - job_name: "mysql-db-metrics"
    static_configs:
      - targets: ["172.31.0.120:9104"]

  - job_name: "production-node"
    static_configs:
      - targets: ["172.31.0.110:9100"]
EOF

# Docker Compose 파일 작성
cat > docker-compose.yml <<EOF
version: '3'
services:
  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    restart: always

  grafana:
    image: grafana/grafana:latest
    container_name: grafana
    ports:
      - "3000:3000"
    restart: always
EOF

# 실행
/usr/local/bin/docker-compose up -d
EOT
}

2) 프로메테우스 플러그인 설치

Prometheus metrics

3) 프로메테우스 서버 접속

aws-public-ip:9090

4) 프로메테우스 명령어

이번장에서 프로메테우스의 promQL에 대해서는 자세히 다루지 않습니다.

up → exporter가 정상 동작하는지 (1=정상, 0=비정상)
node_cpu_seconds_total → CPU 사용량 (Node Exporter)
node_memory_MemAvailable_bytes → 사용 가능한 메모리
mysql_global_status_connections → 현재 DB 연결 수 (MySQLd Exporter)
mysql_global_status_queries → 초당 쿼리 실행 횟수
rate(node_cpu_seconds_total{mode="user", job="mysql-db-node"}[5m])
- 초당 user 모드 CPU 사용량
1 - (node_memory_MemAvailable_bytes{job="mysql-db-node"} / node_memory_MemTotal_bytes{job="mysql-db-node"})
- 메모리 사용률
(node_filesystem_size_bytes{fstype!="tmpfs",job="mysql-db-node"}
-node_filesystem_free_bytes{fstype!="tmpfs",job="mysql-db-node"}) / node_filesystem_size_bytes{fstype!="tmpfs",job="mysql-db-node"}
- 디스크 사용률