TOUCHING ELEPHANT

클라우드 네이티브 라는 말을 많이 듣기는 했지만 무슨 뜻인지 어렴풋이 짐작만 할 뿐이었는데, 이 책에서 그에 대해 설명을 한다. CNCF에서 내세운 정의를 언급하는데, "퍼블릭이나 프라이빗, 하이브리드, 멀티 클라우드와 같은 환경에서 실행할 수 있는 독립적인 비즈니스 기능 중심의 마이크로서비스들을 느슨하게 결합하여, 크기 조절이 가능하고 탄력적이며 관리와 관찰이 용이한 자동화된 소프트웨어 애플리케이션을 만드는 것" 이라고 설명한다. 와, 저러면 좋겠다 라는 생각이 드는 말이다. 저런게 클라우드 네이티브구나. 직무 특성상 자연스럽게 클라우드 환경에서 쿠버네티스를 다루게 되는 일이 많다. 컨테이너로 격리된 실험 환경, GPU 리소스의 자연스러운 분배, 각기 다른 다양한 모델의 서빙 테스트 들을 수행하기 위해..

지난 번에 이어 쿠버네티스 데이터베이스 오퍼레이터 스터디에서 진행한 학습의 실습한 내용을 기록한다. 이번 내용은 Strimzi Operator를 통해 Kafka를 쿠버네티스 상에 배포하고 테스트한 내용이다. Strimzi 설명 Stirimzi Operator의 기능 Strimzi는 쿠버네티스 환경에서 Kafka를 운영하기 위해서 만들어진 Operator이다. Operator로서 동작하기 때문에 Kafka의 많은 동작을 쿠버네티스에서 사용할 수 있도록 해준다. 간략하게 카프카 클러스터/구성요소 배포 및 관리, 카프카 접속 설정, 카프카 업그레이드, 브로커 brokers 관리, 토픽 topic 과 유저 user 생성 및 관리를 한다고 할 수 있다. 상세한 목록은 다음과 같다. Manages the Kafka..

Slurm 을 통해서 Deep Learning Model의 Multi Node GPU Distributed Training 환경을 준비해야 할 일이 생겼다. 이에 AWS Parallel Cluster 3를 통해 Slurm 환경을 구축하고 이에 대한 접근은 LDAP 을 통한 Active Directory로 한다. AWS 환경에서 이런 작업을 하는 것은 문서가 잘 되어있어서 이해하고 따라 할 수 있으면 작업에는 별로 무리가 없다. 하지만 다소 불친절하거나 순서가 이해가 가지 않는 경우도 있으므로 잘 기억할 수 있게 이렇게 글을 써두는 것도 나쁘지 않을 것 같다. AWS Parallel Cluster 란? AWS 문서에서의 AWS Parallel Cluster에 대한 소개는.. 기계 번역이다. 그래서 영어 원..

쿠버네티스 데이터베이스 오퍼레이터 스터디라는 훌륭한 스터디에 참여하게 되었다. 가시다님이 진행하시는 스터디인데 그전에 명성은 들어보았으나 역시 아주 알차다. 이번 스터디에서는 데이터베이스를 오퍼레이터 패턴으로 쿠버네티스에 배포하고 운영하는 법을 배운다. 이 글은 스터디 1~3주차를 진행하면서 실습한 내용을 기록하기 위한 글이다. 쿠버네티스 오퍼레이터란? 쿠버네티스 문서의 오퍼레이터 항목을 읽어보면 오퍼레이터(Operator)는 사용자 정의 리소스 Custom Resource를 사용하여 애플리케이션 및 해당 컴포넌트를 관리하는 쿠버네티스의 소프트웨어 익스텐션이다. 오퍼레이터는 쿠버네티스 원칙, 특히 컨트롤 루프를 따른다. ... 쿠버네티스는 자동화를 위해 설계되었다. 기본적으로 쿠버네티스의 중추를 통해 ..

내가 이 책을 받은 시점에 내가 개인적으로 아는 어떤 MLOps 조직의 리더도 이 책을 구입하고 이미 읽은 상태였다. 어쩌다 이 책에 대한 얘기가 나와서 이 책에 대한 평을 듣게 되었는데 그의 한 줄 소감은, “책이 가벼워서 쭉 쉽게 읽어보기 좋은데 MLOps 플랫폼 관련해서 애매모호 했던 부분에 대해 전체적으로 개념을 잡아주는 책이다.” 였다. 모르는 사람이 들으면 간단하면서도 사정을 아는 사람이 들으면 더 깊게 들리는 말인 것 같다. 그건 아직은 MLOps 플랫폼 구성에 있어 정립하기 애매모호한 측면이 많기 때문인데.. 그 이유는 책에 나온 아래 도식을 보면 알 수 있을 것 같다. 일반적인 조직 내 머신러닝 모델 생애주기에 대한 사실적 도식화라고 표현한 그림이다. 조직 관점에서 바라보는 머신러닝 모..

배경 Tekton이란? 오픈소스를 사용하는 글을 쓰면서 매번 생각하게 되는 건데, 이걸 도대체 뭐라고 표현해야 하냐는 고민이다. 각각 특성이 세부적으로 다르기도 하거니와 잘못 표현하면 오해의 소지가 있으므로 그냥 본인들의 소개글을 갖고 오는게 낫다는 생각이 든다. Tekton is a powerful and flexible open-source framework for creating CI/CD systems, allowing developers to build, test, and deploy across cloud providers and on-premise systems. 출처: https://tekton.dev/ powerful하고 flexible 하다고 한다. 멋있다. 같은 말이지만 Google ..

이 글은 도서 "데이터 중심 애플리케이션 설계" 를 가지고 스터디모임을 하면서 4장 - 부호화와 발전을 정리한 내용을 옮긴 글입니다. 데이터 중심 애플리케이션 설계 데이터를 처리하고 저장하는 다양한 기술의 장단점을 검토한다. 소프트웨어는 계속 변하지만 근본 원리는 동일하다. 이 책에서 소프트웨어 엔지니어와 아키텍트는 실전에 이 개념을 어떻게 적 www.aladin.co.kr 부호화와 발전 Encoding & Evolution 이 장의 핵심 문구 : 💡 여러가지 이유로 Application은 변하게 된다. 그리고 Application 기능을 변경하기 위해서는 저장하는 데이터도 변경해야 한다. 서버, 클라이언트 측 어플리케이션이 계속 유동적으로 변하기 때문에 예전 버전 코드와 새로운 버전의 코드, 이전의 데..

북 리뷰를 써야 되어서가 아니라, 나도 북 리뷰를 보고 책을 사는 한 독자로서 북 리뷰는 항상 잘 쓰고 싶다. 그리고 오래 되어서 담긴 정보가 쓸모 없어진 책이 아니라면 어떤 기술 서적이든 읽어서 나쁠 책은 별로 없다고 생각한다. 어쨌거나 정보들이 담겨있으니까. 하지만 모든 사람들이 갖고 있는 지식이나 배경이 같지는 않다. 그래서 당연하게도 어떤 사람에게는 크게 도움이 되지 않는 내용일 수는 있다. 그래서 보통 어떤 사람은 이 책을 사야하고 어떤 사람은 사지 말아야 하는 책인지 명시를 해야겠다고 생각하고 글을 쓰는 편인데, 이 책을 굳이 한 문장으로 소개하자면... 파이썬과 머신러닝, 딥러닝을 처음 공부하던 어린 시절의 나에게 선물하고 싶은 책인 것 같다. 그리고 누가 읽어야 되냐면... 인공지능이라는 ..

책을 고른 이유 데이터 사이언티스트들이 모델을 만들고 거기서 만들어진 모델을 서빙하는 플랫폼을 개발하는 일을 하면서 쿠브플로우를 사용해왔다.(아니 정확히는 모델 서빙용 구성요소인 KFServing만을 사용해왔다.) 다큐멘트를 뒤적거려서, 깃허브 이슈들을 뒤적거리면서 문제들을 해결하면서 버텨왔지만 항상 그렇듯이 내가 이해한 바가 맞는지, 이상적인 방식이 있는지는 궁금했다. 그래서 쿠브플로우 운영 가이드라는 책 제목을 봤을 때 선택하기 까지는 불과 몇초가 걸리지 않았다. 쿠브플로우에 대해서 머신러닝 모델링, 성능 좋은 모델 이후에 뭔가가 더 필요하다는 사실은 이제 모두가 알게 되었고 그래서 MLOps라는 단어가 화두가 되어가고 있는 것 같다. 쿠브플로우는 그 중에서도 화제가 되고 있는, “확장 가능하고, 포..

눈을 가리고 코끼리를 더듬는 마음으로 공부를 해오고 해왔습니다. 그래서 Touching Elephant입니다. 아이디는 목폴라를 좋아해서 mokpolar입니다. 모자란 점이 헤아릴 수 없이 많습니다. 공부하는 내용을 정리하기 위한 블로그이니 알려주실 내용이 있으시다면 감사히 받겠습니다. Contact beholder16@gmail.com linkedin