[MLOps] Kserve 윈도우 다운로드 진행

---

 

0.Kserve란? 

 

우선 GPU기반 고성능 모델서빙지원 (성능우수)

둘째, AutoScaling 0으로 사용가능 (리소스,비용절감)

셋째,  예측, 전처리 다양한기능 간단하게 사용가능

넷째,  TensorFlow, PyTorch, Scikit-learn 여러 프레임워크지원

 

( 훌륭한선택지 안쓸이유가없다 지금당장..)

+ (그리고 Kserve는 쿠버네티스 위에서 돌아간다.)

 

---

1. Docker로 쿠버네티스 활성화하기

 

먼저 KServe는 쿠버네티스 위에 돌아가기 때문에 쿠버네티스를 먼저 활성화 해준다.  (도커데스크탑이 있으면 편하다.)  해당방법 혹은  Play with Kubernetes 으로 4시간세션으로 사용가능하다(느린느낌이라비추)

 

---

2.Knative 설치

먼저 트래픽에 따른 스케일링 자동조정을 위해 Knative설치가 필요하다.

쿠버네티스 활성화 상태체크후,

 

curl -LO https://github.com/knative/serving/releases/download/knative-v1.9.3/serving-crds.yaml
curl -LO https://github.com/knative/serving/releases/download/knative-v1.9.3/serving-crds.yaml

kubectl apply -f serving-core.yaml
kubectl apply -f serving-crds.yaml

 

해당로그들이 보이면 성공

 

---

 

3.Istio설치 

Knative의 자동 스케일링과 배포 기능은 Istio의 트래픽 분배와 결합하여 고급 트래픽 라우팅을 제공받기위해 설치필요.

여기서잠깐 AWS사의 alb 와 비교가 궁금하여 찾아보니

 

이런차이점이 있다고한다. 이어서 설치를 진행하면, 

 

# WSL 설치 (Ubuntu)
wsl --install -d Ubuntu

# WSL 버전 확인
wsl --version

# WSL 배포판 목록 확인
wsl -l -v

# WSL Ubuntu로 들어가기
wsl -d Ubuntu

# Istio 다운로드 및 설치
curl -L https://istio.io/downloadIstio | ISTIO_VERSION=1.15.0 TARGET_ARCH=x86_64 sh -

# Kubernetes 설치 (kubectl)
sudo apt update && sudo apt install -y apt-transport-https ca-certificates curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
sudo echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo snap install kubectl --classic

# Kubernetes 클러스터 생성
kind create cluster

# 클러스터 상태 확인
kubectl get nodes

# Istio 설치
/istio-1.15.0/bin 경로로 이동하여, ./istioctl install -y

# Knative 및 Istio 리소스 배포
curl -LO https://github.com/knative-extensions/net-istio/releases/download/knative-v1.9.3/net-istio.yaml
kubectl create namespace knative-serving
kubectl apply -f net-istio.yaml

# Istio 시스템 상태 확인
kubectl get pods -n istio-system

 

4.https통신을 위한 Cert-manager v1.10.0

curl -LO https://github.com/cert-manager/cert-manager/releases/download/v1.10.0/cert-manager.yaml

kubectl apply -f cert-manager.yaml

kubectl get pods -n cert-manager

 

5. Kserve설치 v0.10.0

curl -LO https://github.com/kserve/kserve/releases/download/v0.10.0/kserve.yaml

kubectl apply -f kserve.yaml

kubectl get pods -n kserve

 

 

6. pods 확인

kubectl get namespace 
#클러스터의 모든 네임스페이스를 보여줍니다.

kubectl get pods --all-namespaces
#Pod가 존재하는 네임스페이스만 표시합니다.

 

컨테이너가 안띄워져있다면,

kubectl apply -f serving-crds.yaml
kubectl apply -f serving-core.yaml
kubectl apply -f net-istio.yaml
kubectl apply -f cert-manager.yaml
kubectl apply -f kserve.yaml

kubectl apply -f deployment.yaml