TOUCHING ELEPHANT

글 작성일: 2021.10.03 쿠버네티스에서 올라가 있는 application pod에서 사용하고 있는 sidecar의 요구 자원을 줄일 수 있는 지 확인하기 위해서 해당 Pod에 부하를 걸어 볼 필요성이 생겼다. sidecar에 기본 설정된 CPU limits Core가 높게 설정되어 있는데, 만들고 있는 application의 ui에서 해당 네임스페이스의 limits를 기반으로 모델 배포관리를 하기 때문에 이런 상황이 된 것이다. 이 떄문에 부하 테스트 도구를 찾아보게 되었다. Locust, JMeter, LoadRunner, SilkPerformer 등의 이름이 보였고 제각기 장단점이 있겠지만 그 중 Locust를 골랐다. Locust의 장점은 다음과 같다. 시나리오를 파이썬 스크립트로 작성할 수..

글 작성일: 2021.07.10 Serverless Framework란 무엇인가? "zero-friction serverless development. easily build apps that auto-scale on low cost, next-gen cloud infrastructure." 공식 홈페이지에 들어가면 이런 소개를 볼 수 있다. Serverless Framework 는 서버리스 어플리케이션을 구성할 때 배포와 관리를 쉽게 할 수 있도록 도와주는 도구이다. 보통 생각하게 되는 서버리스라면 퍼블릭 클라우드 3사의 제품들을 생각하게 될텐데 AWS는 Lambda, GCP라면 Cloud Functions, Azure에는 Functions가 그것들이다. Serverless Framework의 장점은?..

글 작성일: 2021.05.30 사전 정보 Ceph Dashboard Ceph Cluster의 상태를 모니터링하기 위해 Ceph Dashboard를 설치하면 아래와 같이 Ceph 클러스터의 상태를 한 눈에 보면서 관리 기능을 사용할 수 있다. CephFS Ceph shared file system을 이용하면 여러 Pod에 동시에 마운트해서 파일을 공유할 수 있도록 할 수 있다. 기존에 NFS 서버를 구축해서 PVC 형태로 Pod에 마운트해서 사용할 때는 동시에 다른 Pod에 마운트할 수가 없어서 불편했는데 Ceph shared file system을 사용하면 이런 부분이 해결된다. 준비물 쿠버네티스에 설치된 Rook Ceph Cluster- 전 글 참조 - Ceph를 쿠버네티스에 설치해서 Object S..

글 작성일: 2021.05.01 사전 정보 왜 Ceph를 설치하게 되었나? 쿠버네티스에서 머신러닝 모델과 도커 이미지들을 관리할 수 있는 stateful 한 공간이 필요했다. 만약 GKE나 EKS 같이 퍼블릭 클라우드의 Managed Kuberenetes만 사용한다면 좀 더 선택지가 많겠지만 나는 On-premise에 쿠버네티스 클러스터를 설치하는 경우까지 고려해야 했다. S3 API를 사용할 수 있는 확장 가능한 S3 Compatible Object Storage는 MinIO도 좋은 선택지였겠지만 라이센스 문제가 있었다. (MinIO 설치에 대한 이전 글) 그래서 Ceph를 쿠버네티스에 설치하고 Harbor의 백엔드로 사용하려고 한다. (MinIO로 Harbor의 백엔드를 연동하는 이전 글) 쿠버네티스..

글 작성일: 2021.02.07 사전 정보 왜 Harbor를 고려하게 되었나? "폐쇄된 On-premise 환경에서도 사용할 수 있고 독자적으로 관리하는 Private Container Registry가 필요했다." 통합적으로 머신러닝/딥러닝 모델들을 관리할 수 있는 공간을 마련하는 중이고, KFServing에 바로 S3 호환 endpoint를 제공할 수 있는 오브젝트 스토리지가 필요해서 MinIO를 갖고 왔었다. MinIO 설치에 관한 이전 글 참조 KFServing은 모델이 들어가서 inference를 할 수 있는 런타임과 로직이 담긴 소스가 있는 컨테이너 이미지가 필요하므로 컨테이너 레지스트리가 필요하고, 또한 여러 중요 정보들이 담긴 컨테이너들을 Public 이 아닌, 독자적인 공간에 올릴 수 ..

글 작성일 : 2021.01.16 왜 MinIO를 고려하게 되었나? "폐쇄된 On-premise 환경에 설치되어 있는 Kubernetes에서 KFServing으로 딥러닝 모델을 서빙하려다 보니 별도의 모델 저장소가 필요했다." 현재(2021년 1월 15일) 기준 Kubeflow KFServing이 Kubernetes에서 사용하는 커스텀 리소스인 InferenceService가 딥러닝 모델 로드를 할 수 있게 하려면 AWS S3나 GCP의 GS를 사용하는 게 제일 "편리한" 방법이다. 기본 매니페스트 예제를 보면 아래와 같은데 apiVersion: "serving.kubeflow.org/v1alpha2" kind: "InferenceService" metadata: name: "flowers-sample"..