TOUCHING ELEPHANT

이 책이 출간되었다는 소식을 듣고 목차를 보자마자 바로 이 책은 사야겠다고 생각했다. 목차만 봤을 때의 느낌은 MLOps라는 말을 듣고 시작해보고 싶거나, 갑작스레 업무를 맡게 되었을 때, 전체적인 윤곽이 그려지지도, 어디서부터 시작할지도 모를 때 잡게될 것 같은 책일 것 같다고 예상했다. 책을 막상 받아보니 제목처럼 아주 실전적이라고 생각했다. 물론 다루는 주제들 각각이 너무 크다 보니 깊은 정보를 얻을 수는 없다. 말 그대로 이후에 각각의 주제를 더 깊이 파고들기 위한 실전적인 가이드인 것처럼 느껴진다. MLOps 가 뭘까? 라는 데 이 책에서는 이렇게 설명하고 있다. 머신러닝 모델이 실제 서비스를 통해 문제를 해결하는 단계로 자연스럽게 이동하지 못한다는 것은 업계에서 산업 표준으로 MLOps의 필요..

이번 주 CloudNeta 스터디 주제는 Monitoring 이라 요즘 생각하고 있는 KServe의 모니터링과 관련된 글을 써보려고 한다. KServe는 ML Serving tool이니까, ML 시스템의 모니터링에 대한 얘기가 되어야 할 것 같다. ML system 에서의 Monitoring ML 시스템에서의 모니터링은 다른 모니터링과 뭐가 다를까에 대해서 참고할 만한 책이 있다. 최근에 읽고 있는 Reliable Machine Learning 이란 책인데, 이 책의 9장은 Monitoring and Observability이다. 거기서 이론적인 부분을 좀 참고해볼 수 있을 것 같아서 일부만 갖고 와봤다. Monitoring과 Observability란 뭘까? Monitoring은 시스템의 성능에 대한 ..

22.10.8 작성 TL; DR 그러니까 KServe라는 건 그냥 아주 쉽게 모델을 마운트해서 쓸 수 있게 다 코드를 준비해놓은 Tornado로 만든 웹서버인 것이다. 배경 KServe를 KFServing일 시절부터 테스트용으로 사용은 해왔지만 몇 개월 전부터 나름 production level로 사용을 하다보니, 한번 전체 구동 방식을 기록해두자 라는 생각이 들었다. 원래 KServe는 Kubeflow의 하부 프로젝트로 KFServing이라는 이름이었다. 그리고 0.7 버전부터 KServe라는 이름으로 변경되었고, KFServing에서의 migrating 을 지원한다. 현재 (22.10.8) 시점에서는 0.9버전이 release 되어 있으며, 점점 복잡해지는 Model Serving 들을 위한 기능이 ..

내가 이 책을 받은 시점에 내가 개인적으로 아는 어떤 MLOps 조직의 리더도 이 책을 구입하고 이미 읽은 상태였다. 어쩌다 이 책에 대한 얘기가 나와서 이 책에 대한 평을 듣게 되었는데 그의 한 줄 소감은, “책이 가벼워서 쭉 쉽게 읽어보기 좋은데 MLOps 플랫폼 관련해서 애매모호 했던 부분에 대해 전체적으로 개념을 잡아주는 책이다.” 였다. 모르는 사람이 들으면 간단하면서도 사정을 아는 사람이 들으면 더 깊게 들리는 말인 것 같다. 그건 아직은 MLOps 플랫폼 구성에 있어 정립하기 애매모호한 측면이 많기 때문인데.. 그 이유는 책에 나온 아래 도식을 보면 알 수 있을 것 같다. 일반적인 조직 내 머신러닝 모델 생애주기에 대한 사실적 도식화라고 표현한 그림이다. 조직 관점에서 바라보는 머신러닝 모..

책을 고른 이유 데이터 사이언티스트들이 모델을 만들고 거기서 만들어진 모델을 서빙하는 플랫폼을 개발하는 일을 하면서 쿠브플로우를 사용해왔다.(아니 정확히는 모델 서빙용 구성요소인 KFServing만을 사용해왔다.) 다큐멘트를 뒤적거려서, 깃허브 이슈들을 뒤적거리면서 문제들을 해결하면서 버텨왔지만 항상 그렇듯이 내가 이해한 바가 맞는지, 이상적인 방식이 있는지는 궁금했다. 그래서 쿠브플로우 운영 가이드라는 책 제목을 봤을 때 선택하기 까지는 불과 몇초가 걸리지 않았다. 쿠브플로우에 대해서 머신러닝 모델링, 성능 좋은 모델 이후에 뭔가가 더 필요하다는 사실은 이제 모두가 알게 되었고 그래서 MLOps라는 단어가 화두가 되어가고 있는 것 같다. 쿠브플로우는 그 중에서도 화제가 되고 있는, “확장 가능하고, 포..

글 작성일 : 2020.11.18 Kubeflow KFServing InferenceService의 Custom Image를 쓰는 이유와 다른 점 이번 글은 이미지 예측 모델을 Kuberentes에 배포해서 이미지를 업로드 하고 예측 결과와 그 확률을 받아보는 구조를 만드는 내용이다. KFServing InferenceService Custom Image 사용자 이미지를 이용해서 Kubernetes에서의 서빙을 해본다. 전 글에서 포스팅 한 내용은 사용자가 KFServing InferenceService 매니페스트에 Tensorflow pb파일의 경로를 지정해주면 KFServing에서 알아서 Tensorflow Serving을 사용해서 배포를 해주는 구조였다. 하지만 Custom Image를 사용하면 유..