TOUCHING ELEPHANT

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.6장은 복원력: 애플리케이션 네트워킹 문제 해결하기 입니다.실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||_________..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.5장은 트래픽 제어: 세밀한 트래픽 라우팅 입니다. 실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||__________\__..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.4장은 이스티오 게이트웨이 : 클러스터로 트래픽 들이기 입니다. 실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||______..

안녕하세요?AEWS 12주차 마지막 과제로 Gateway API, AWS Gateway API Controller에 대해서 정리해보겠습니다. Gateway API 와 Ingress의 차이아래 그림으로 Ingress와 Gateway API의 구조 차이를 간단하게 살펴볼 수 있습니다.출처 : https://medium.com/google-cloud/kubernetes-ingress-vs-gateway-api-647ee233693d Gateway API 와 AWS VPC Lattice 와의 관계아래 그림으로 Gateway API와 AWS VPC Lattice와의 관계를 간단하게 살펴볼 수 있습니다.출처 : https://aws.amazon.com/ko/blogs/containers/introducing-aws..

안녕하세요?오늘은 AEWS 11주차 과제로 생성형 AI를 vLLM으로 배포해서 사용하는 테스트를 해볼 예정입니다. 이 과정에서 vLLM은 EKS 클러스터에 배포되고 mistral 7B 모델을 사용하며, AWS 의 고성능 파일 시스템인 FSx를 사용할겁니다. 또한 추론은 AWS Inferentia 를 통해 수행합니다. 이 가속기는 딥 러닝(DL) 및 생성형 AI 추론 애플리케이션을 위해 Amazon EC2에서 가장 낮은 비용으로 고성능을 제공하도록 설계되었습니다.개요모든 것이 배포 완료되고 난 이후의 구조는 아래와 같이 됩니다.S3에 보관된 Mistral 7B 모델을 Provisioning된 FSx PVC로 vLLM Pod에 마운트하여 사용합니다. OpenWebUI 프론트는 vLLM 에서 제공하는 Open..

안녕하세요?AEWS 10주차 과제로 Vault를 가지고 하는 K8S Secret 관리를 작성해보겠습니다. VaultVault가 뭔가요?HashiCorp Vault는 신원 기반(identity-based)의 시크릿 및 암호화 관리 시스템입니다. 이 시스템은 인증(authentication) 및 인가(authorization) 방법을 통해 암호화 서비스를 제공하여 비밀에 대한 안전하고 감사 가능하며 제한된 접근을 보장합니다. 시크릿(Secret)이란 접근을 철저히 통제하고자 하는 모든 것을 의미하며, 예를 들어 토큰, API 키, 비밀번호, 암호화 키 또는 인증서 등이 이에 해당합니다. Vault는 모든 시크릿에 대해 통합된 인터페이스를 제공하면서, 엄격한 접근 제어와 상세한 감사 로그 기록 기능을 제공합니..

안녕하세요?AEWS 9주차 과제로 EKS Blue/Green Migration 실습을 진행하겠습니다.Blue/Green Upgrade - Amazon EKS Blueprints for Terraform내용은 이 문서를 참고 하였습니다. EKS의 업그레이드와 Blue/Green Migration에 대하여 쿠버네티스은 계속 업데이트되고, 예전 버젼은 지원을 하지 않게 되며 강제로 업그레이드를 시켜버리니 언젠가는 EKS의 버젼을 업그레이드해야 하는 순간이 옵니다. 이때 어떤 방식이 가장 안전할지에 대해서 생각해 볼 필요가 있습니다. 특히 프로덕션 환경에서 애플리케이션을 안전하게 배포하려면, 안정성과 롤백 가능성을 보장할 수 있는 전략이 필요합니다.블루-그린 배포는 기존의 버전(블루)과 새로운 버전(그린)을 동..

안녕하세요?AEWS 8주차 CI/CD 과제로 Tekton CI에 대해서 소개해보겠습니다. Tekton이란?오픈소스를 사용하는 글을 쓰면서 매번 생각하게 되는 건데, 이걸 도대체 뭐라고 표현해야 하냐는 고민이 듭니다.각각 특성이 세부적으로 다르기도 하거니와 잘못 표현하면 오해의 소지가 있으므로 그냥 본인들의 소개글을 갖고 오는게 낫다는 생각이 듭니다.Tekton is a powerful and flexible open-source framework for creating CI/CD systems,allowing developers to build, test, and deploy across cloud providers and on-premise systems.출처: https://tekton.dev/ po..

안녕하세요? 이번 글에서는 Kubernetes의 Scheduling과Scheduling Plugin들인 Node Affinity, Taint and Toleration, Topology Spread Constraints들에 대해서 알아보겠습니다. Kubernetes 공식문서를 보고 내용을 정리한 뒤 관련 주제를 테스트 하였습니다. Kubernetes의 Scheduling 먼저 Kubernetes에서 Scheduling에 대해서 간단하게 살펴보고 가겠습니다.현재 문서는 Kubernetes 1.32를 기준으로 합니다. Kube-schedulerKube-scheduler는 Kubernetes의 Control-plane 컴포넌트 중 하나입니다.Kube-scheduler는 각 노드에 있는 kubelet으로 하여금..

안녕하세요?이번에는 Karpenter + Keda로 특정 시간에 Autoscaling 걸기에 대해 다뤄보겠습니다.Karpenter와 Keda에 대하여Karpenter가 뭔가요?Karpenter는 Kubernetes를 autoscaling 할 수 있게 도와주는 도구입니다.Autoscaling이란 말의 의미는 자동적으로 클러스터에 속한 노드를 증가, 축소할 수 있다는 뜻입니다.출처 : https://www.youtube.com/watch?v=FPlCVVrCD64 Karpenter는 Kubernetes에서 Pod를 스케줄링 할 수 있는 노드가 없어서 pending 이벤트가 발생하면, 이를 감지하여 Auto scaling을 시작합니다. pending 이벤트가 발생했다는 것은 Kubernetes Scheduler..