TOUCHING ELEPHANT

안녕하세요?AEWS 12주차 마지막 과제로 Gateway API, AWS Gateway API Controller에 대해서 정리해보겠습니다. Gateway API 와 Ingress의 차이아래 그림으로 Ingress와 Gateway API의 구조 차이를 간단하게 살펴볼 수 있습니다.출처 : https://medium.com/google-cloud/kubernetes-ingress-vs-gateway-api-647ee233693d Gateway API 와 AWS VPC Lattice 와의 관계아래 그림으로 Gateway API와 AWS VPC Lattice와의 관계를 간단하게 살펴볼 수 있습니다.출처 : https://aws.amazon.com/ko/blogs/containers/introducing-aws..

안녕하세요?오늘은 AEWS 11주차 과제로 생성형 AI를 vLLM으로 배포해서 사용하는 테스트를 해볼 예정입니다. 이 과정에서 vLLM은 EKS 클러스터에 배포되고 mistral 7B 모델을 사용하며, AWS 의 고성능 파일 시스템인 FSx를 사용할겁니다. 또한 추론은 AWS Inferentia 를 통해 수행합니다. 이 가속기는 딥 러닝(DL) 및 생성형 AI 추론 애플리케이션을 위해 Amazon EC2에서 가장 낮은 비용으로 고성능을 제공하도록 설계되었습니다.개요모든 것이 배포 완료되고 난 이후의 구조는 아래와 같이 됩니다.S3에 보관된 Mistral 7B 모델을 Provisioning된 FSx PVC로 vLLM Pod에 마운트하여 사용합니다. OpenWebUI 프론트는 vLLM 에서 제공하는 Open..

안녕하세요?AEWS 10주차 과제로 Vault를 가지고 하는 K8S Secret 관리를 작성해보겠습니다. VaultVault가 뭔가요?HashiCorp Vault는 신원 기반(identity-based)의 시크릿 및 암호화 관리 시스템입니다. 이 시스템은 인증(authentication) 및 인가(authorization) 방법을 통해 암호화 서비스를 제공하여 비밀에 대한 안전하고 감사 가능하며 제한된 접근을 보장합니다. 시크릿(Secret)이란 접근을 철저히 통제하고자 하는 모든 것을 의미하며, 예를 들어 토큰, API 키, 비밀번호, 암호화 키 또는 인증서 등이 이에 해당합니다. Vault는 모든 시크릿에 대해 통합된 인터페이스를 제공하면서, 엄격한 접근 제어와 상세한 감사 로그 기록 기능을 제공합니..

안녕하세요?AEWS 9주차 과제로 EKS Blue/Green Migration 실습을 진행하겠습니다.Blue/Green Upgrade - Amazon EKS Blueprints for Terraform내용은 이 문서를 참고 하였습니다. EKS의 업그레이드와 Blue/Green Migration에 대하여 쿠버네티스은 계속 업데이트되고, 예전 버젼은 지원을 하지 않게 되며 강제로 업그레이드를 시켜버리니 언젠가는 EKS의 버젼을 업그레이드해야 하는 순간이 옵니다. 이때 어떤 방식이 가장 안전할지에 대해서 생각해 볼 필요가 있습니다. 특히 프로덕션 환경에서 애플리케이션을 안전하게 배포하려면, 안정성과 롤백 가능성을 보장할 수 있는 전략이 필요합니다.블루-그린 배포는 기존의 버전(블루)과 새로운 버전(그린)을 동..

안녕하세요?AEWS 8주차 CI/CD 과제로 Tekton CI에 대해서 소개해보겠습니다. Tekton이란?오픈소스를 사용하는 글을 쓰면서 매번 생각하게 되는 건데, 이걸 도대체 뭐라고 표현해야 하냐는 고민이 듭니다.각각 특성이 세부적으로 다르기도 하거니와 잘못 표현하면 오해의 소지가 있으므로 그냥 본인들의 소개글을 갖고 오는게 낫다는 생각이 듭니다.Tekton is a powerful and flexible open-source framework for creating CI/CD systems,allowing developers to build, test, and deploy across cloud providers and on-premise systems.출처: https://tekton.dev/ po..

안녕하세요? 이번 글에서는 Kubernetes의 Scheduling과Scheduling Plugin들인 Node Affinity, Taint and Toleration, Topology Spread Constraints들에 대해서 알아보겠습니다. Kubernetes 공식문서를 보고 내용을 정리한 뒤 관련 주제를 테스트 하였습니다. Kubernetes의 Scheduling 먼저 Kubernetes에서 Scheduling에 대해서 간단하게 살펴보고 가겠습니다.현재 문서는 Kubernetes 1.32를 기준으로 합니다. Kube-schedulerKube-scheduler는 Kubernetes의 Control-plane 컴포넌트 중 하나입니다.Kube-scheduler는 각 노드에 있는 kubelet으로 하여금..

안녕하세요?이번에는 Karpenter + Keda로 특정 시간에 Autoscaling 걸기에 대해 다뤄보겠습니다.Karpenter와 Keda에 대하여Karpenter가 뭔가요?Karpenter는 Kubernetes를 autoscaling 할 수 있게 도와주는 도구입니다.Autoscaling이란 말의 의미는 자동적으로 클러스터에 속한 노드를 증가, 축소할 수 있다는 뜻입니다.출처 : https://www.youtube.com/watch?v=FPlCVVrCD64 Karpenter는 Kubernetes에서 Pod를 스케줄링 할 수 있는 노드가 없어서 pending 이벤트가 발생하면, 이를 감지하여 Auto scaling을 시작합니다. pending 이벤트가 발생했다는 것은 Kubernetes Scheduler..

안녕하세요? AEWS 6주차 과제로 AWS Secrets Manager로 Kubernetes Secret 관리하기라는 내용을 다뤄보겠습니다. 학습자료는 EKS Workshop의 Managing Secrets with AWS Secrets Manager 를 참고하였습니다. Kubernetes Secret의 관리에 대해서Kubernetes Secret이 뭔가요?Secrets | Kubernetes 해당 공식 문서를 참고하겠습니다.시크릿은 암호, 토큰 또는 키와 같은 소량의 중요한 데이터를 포함하는 오브젝트이다. 이를 사용하지 않으면 중요한 정보가 파드 명세나 컨테이너 이미지에 포함될 수 있다. 시크릿을 사용한다는 것은 사용자의 기밀 데이터를 애플리케이션 코드에 넣을 필요가 없음을 뜻한다. Secret을 통해..

안녕하세요?AEWS 스터디 4주차 EKS Observability 과제 시작하겠습니다. 이번 주제는 Datadog Agent로 Traefik pod의 로그를 Datadog으로 전송하기 입니다.테스트를 완료하면 아래와 같은 모습이 됩니다.Kind를 이용한 K8S 클러스터 환경 준비관련 필수 툴을 설치하겠습니다.# Install Kindbrew install kindkind --version# Install kubectlbrew install kubernetes-clikubectl version --client=true## kubectl -> k 단축키 설정echo "alias kubectl=kubecolor" >> ~/.zshrc# Install Helmbrew install helmhelm version..

안녕하세요?AEWS 스터디 3주차, 스토리지의 과제로 Mountpoint for Amazon S3 CSI 드라이버를 테스트한 내용에 대해서 작성해보겠습니다.Mountpoint for Amazon S3 CSI 드라이버를 통해 Amazon S3 객체에 액세스 - Amazon EKS 이 공식 문서를 참고 하였습니다. Mountpoint for Amazon S3 CSI 드라이버가 뭔가요?Mountpoint for Amazon S3 컨테이너 스토리지 인터페이스(CSI) 드라이버를 사용하면 Kubernetes 에서 파일 시스템 인터페이스를 통해 Amazon S3 개체에 액세스할 수 있습니다. 그러니까 EKS 클러스터에 배포하는 컨테이너들이 기존에 EBS나 EFS를 마운트하던 것처럼 마치 S3를 파일시스템처럼 마운트..