0hyeon

1. 스트림 프로세싱 (stream processing, Dstream) batch processing은 고정된 (큰)dataset에 한번 연산을 하는거였다면, stream processing은 끝없이 들어오는 데이터의 흐름을 연속적, 준실시간으로 처리하는것.IOT센서, 웹앱 상호작용, 신용카드 트랜잭션에 사용실시간 대시보드, 온라인머신러닝등 다양한 분야에서 사용batch procssing과 같이 사용하되, 서로의 약점을 보완하고, 강점을 취하는 방식으로도 사용 (lamda 아키텍쳐)  2. stream processing 방법크게 두가지 방법론이 존재레코드 단위 처리 모델 (record-at-a-time processing model)마이크로배치 스트림 처리 모델 (micro batch stream p..

0.Event Time windows, Processing Time windows steaming 순서에 대해 알아보는 시간이 필요하여 정리했다. 1.window funtion데이터의 특정한 범위를 설정하고, 그 범위 내에서 집계 함수 등을 적용spark streaming에서는 time-based window만을 사용 (다른 윈도우 사용시 에러)데이터를 시간적으로 나누는 범위를 설정하는 방식스트리밍 데이터는 끝없이 흐르는 데이터이기 때문에, 특정 시간 단위로 데이터를 나누어 집계나 분석을 수행함예를 들어, 초당 데이터를 받아오더라도, "1분 간격으로" 데이터를 묶어서 평균, 합계 등을 계산할 수 있음   크게 세가지 방식 1.1 Sliding window1.2 Tumbling window1.3 Sessi..

1. Helm : 쿠버네티스 배포 템플릿2. go#설치(Windows)scoop install helm#버전확인 helm version#차트생성 helm create chart#values.yaml service : type : ClusterIp에서 LoadBalancer 로변경#Chart.yaml에서 name: mlops-helm변경, version : 0.0.1 변경 , appVersion : "latest" 변경#deployment.yaml에서 lovenessProbe, readinessProbe 두섹션 제거 (로그임 )#문법오류 확인helm lint .#helm이용한 최종yaml 파일 확인(배포파일)helm tempate test . --dry-run --debug#helm패키지 압축 (mlops..

#중지제거docker compose down#리소스정리docker system prune -f#다시시작docker compose up -d#정지된 컨테이너 확인docker ps -a#컨테이너 삭제docker rm [컨테이너id]#이미지체크docker images#이미지 삭제docker rmi [이미지명] #이미지 빌드하기$ docker build . -t 이미지명#이미지 실행하기(80포트)docker run -it -p 80:80 이미지명#컨테이너를 백그라운드에서 실행docker compose up -d#모든 컨테이너와 네트워크를 정리docker compose down #사용하지 않는 모든 리소스를 정리docker system prune -a #로그확인 [컨테이너]docker logs kafka_brok..

1.기존 LSTM 모델일단은 라벨링 작업 모델이다. 실시간을 데이터가 들어와서 라벨링하는 모델을 만들기전,  정답지인 데이터, 그중 90%를 train.csv  나머지 10%를 test.py 로사용한다.    주된 코드는 다음과같다 import osimport jsonimport numpy as npimport tensorflow as tffrom keras.preprocessing.text import Tokenizer, tokenizer_from_jsonfrom keras.preprocessing.sequence import pad_sequencesfrom tensorflow.python.keras.layers import Embedding, Dense, LSTMfrom tensorflow.pytho..

1.Kafka란?메시지 큐 서비스고성능 분산 이벤트 스트리밍 플랫폼 2.카프카, 쥬키퍼 쿠버네티스환경 적용kubectl apply -f zookeeper.yamlkubectl apply -f kafka.yaml #적용확인kubectl get pods 3.카프카 토픽생성 kubectl get pods --all-namespaces#위명령어 통해 {kafka-pod} 확인#ex: kafka-deployment-7985656cd5-vhz7d #Pod 내부의 컨테이너 셸에 접속kubectl exec -it pod/{kafka-pod} -- /bin/bash# ex: kubectl exec -it kafka-deployment-7985656cd5-vhz7d -- /bin/bash#토픽생성kafka-topics..

1.Kubernetes 계층구조  클러스터(선박) > 네임스페이스(층) > Pods(작업) > 컨테이너들(도구) > 도커이미지(부품)클러스터 (Cluster) → 선박Kubernetes 클러스터 전체를 하나의 선박으로 생각합니다.이 선박에는 다양한 층(네임스페이스)이 존재하고, 각각 독립적으로 작업합니다.네임스페이스 (Namespace) → 층네임스페이스는 클러스터 내부의 리소스를 논리적으로 분리한 단위입니다.한 층(네임스페이스)은 특정 역할이나 작업 그룹을 담당합니다.예: argocd 층은 애플리케이션 배포 관리, kube-system 층은 클러스터 운영.Pod → 작업실Pod는 네임스페이스 안에 위치하며, 실제 작업을 수행하는 공간입니다.Pod는 하나 이상의 도구(컨테이너)를 포함하여 작업을 수행합니..

1. ArgoCDArgoCD는 Kubernetes 클러스터에서 GitOps 방식으로 애플리케이션 배포를 자동화하는 툴  2.Install -로컬kubectl create namespace argocdcurl -LO https//raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/install.yamlkubectl apply -f install.yaml -n argocd#로컬에서kubectl patch svc argocd-server -n argocd -p '{"spec":{"type":"NodePort"}}'#배포시kubectl patch svc argocd-server -n argocd -p '{"spec":{"type":"LoadBalancer"..

0.Kserve란?  우선 GPU기반 고성능 모델서빙지원 (성능우수)둘째, AutoScaling 0으로 사용가능 (리소스,비용절감)셋째,  예측, 전처리 다양한기능 간단하게 사용가능넷째,  TensorFlow, PyTorch, Scikit-learn 여러 프레임워크지원 ( 훌륭한선택지 안쓸이유가없다 지금당장..)+ (그리고 Kserve는 쿠버네티스 위에서 돌아간다.) 1. Docker로 쿠버네티스 활성화하기 먼저 KServe는 쿠버네티스 위에 돌아가기 때문에 쿠버네티스를 먼저 활성화 해준다.  (도커데스크탑이 있으면 편하다.)  해당방법 혹은  Play with Kubernetes 으로 4시간세션으로 사용가능하다(느린느낌이라비추) 2.Knative 설치먼저 트래픽에 따른 스케일링 자동조정을 위해 Knat..

1.Anaconda 공식홈페이지 다운로드https://www.anaconda.com/download  2.window 환경변수세팅늘그렇듯 컴퓨터 재시작후 로그가 사용가능  3.로그확인 4.가상환경세팅  5. conda세팅 conda init 6.  [.bashrc] 생성C:\Users\사용자명\.bashrc해당경로에 .bashrc 생성하여source /c/Users/사용자명/anaconda3/etc/profile.d/conda.sh삽입 7. 가상환경 activateconda activate mlops_env   8.환경변수 리스트확인 끝