[mlops] fastapi(model탑재) + kubenetes + helm + gitlablib-upload +argocd + nginxingress + GCP BigQuery

📦 MLOps - 구축 흐름 요약

 

🚧 1. Build & Deploy 파이프라인

1.1 Docker 이미지 빌드 & Artifact Registry 업로드

• mlops-app Docker 이미지 생성 (FastAPI + Model)
• 플랫폼별 빌드

# 일반 
docker build -t mlops-app . 

# M1 맥북 
docker build --platform linux/amd64 -t mlops-app .

 

 

• 로컬 실행 테스트

docker run -it -p 80:80 mlops-app

• GCP Artifact Registry 업로드

# 로그인 
cat key.json | docker login -u _json_key --password-stdin asia-northeast3-docker.pkg.dev 

# 태깅 후 업로드 
docker tag mlops-app asia-northeast3-docker.pkg.dev/<PROJECT>/docker/mlops-app 
docker push asia-northeast3-docker.pkg.dev/<PROJECT>/docker/mlops-app

---

⚙️ 2. Helm 패키징

2.1 Helm 차트 구성 및 배포 설정

• Helm 설치 및 차트 생성

curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 

chmod 700 get_helm.sh && ./get_helm.sh 
helm create mlops-helm

• values.yaml 및 Chart.yaml 수정
  • 이미지 경로 변경
  • pullPolicy: Always
  • type: LoadBalancer
  • 버전 정보 설정
• 헬름 패키징 및 Artifact Registry 푸

helm package . 

helm registry login ... 

helm push mlops-helm-0.0.1.tgz oci://asia-northeast3-docker.pkg.dev/<PROJECT>/helm

---

☸️ 3. Kubernetes 배포

3.1 Helm으로 배포

 

kubectl create namespace api 

helm install nlp-service oci://... --namespace api 

kubectl get all -n api

---

🚀 4. GitLab CI/CD 연동

4.1 .gitlab-ci.yml

• build, deploy 스테이지 작성
• 환경변수 등록

$GCP_KEY 
$ARGOCD_IP 
$ARGOCD_ID 
$ARGOCD_PW

---

🧭 5. ArgoCD 설정

5.1 설치 및 초기화

 

kubectl create namespace argocd 
kubectl apply -n argocd -f https://.../install.yaml 
kubectl patch svc argocd-server -n argocd -p '{"spec": {"type":"LoadBalancer"}}'

• ArgoCD 접속 후 로그인
• helm repo 등록
   

argocd repo add ... --type helm --enable-oci ...

5.2 Application 생성

• mlops-helm Chart 선택
• mlops-app 생성 및 Sync 실행
• 버전 업데이트 시 .gitlab-ci.yml 수정

---

🌐 6. nginx Ingress 설정 (stcps.com)

6.1 Ingress Controller 배포

• Helm Chart로 nginx-ingress 설치
• External IP → GCP 고정 IP로 설정
• DNS 연동 (A record 등록)

6.2 Helm 차트 수정

• ingress.enabled: true
• className: nginx
• hosts: [stcps.com]
• Chart.yaml 버전 업데이트 → 다시 패키징 & push

---

🔐 7. API 인증 토큰 설정

• ingress.yaml & values.yaml → auth_request 스니펫 추가

annotations:
  nginx.org/location-snippets: |
    location /auth {
        ...
        if ($http_x_auth_token ~ ^(user1token|user2token)$) {
            return 200;
        }
        return 403;
    }
    auth_request /auth;

 

• FastAPI /predict API에서 Header 인증 처리

@app.post("/predict")
async def predict(input: Input, x_auth_token: str = Header(None)):
    ...

---

📊 8. GCP Logging → BigQuery 연동

8.1 FastAPI 로그 → GCP Logging → BigQuery

• 로그를 jsonPayload 형태로 전송

 

from google.cloud.logging import Client Client().setup_logging() logging.info({...})

 

8.2 Logging Sink 구성

• Sink 대상: BigQuery dataset predict_logs
• 필터: namespace, path 기준으로 지정

resource.labels.namespace_name="api" jsonPayload.path="/predict"

8.3 BigQuery 분석 예시

SELECT
  jsonPayload.request_time,
  EXTRACT(DATE FROM TIMESTAMP(jsonPayload.request_time)) AS request_date,
  COUNT(*) AS request_cnt
FROM `predict_logs.stderr_YYYYMMDD`
WHERE jsonPayload.x_auth_token="user2token"
GROUP BY 1,2

---

✅ 최종 결과

• GitLab → CI/CD 자동화
• ArgoCD → Kubernetes GitOps 배포
• Helm → 패키지 관리
• Nginx Ingress → 도메인 라우팅 + 인증
• GCP Logging → BigQuery → API 사용량 시각화까지 완성