TOUCHING ELEPHANT

22.10.8 작성 TL; DR 그러니까 KServe라는 건 그냥 아주 쉽게 모델을 마운트해서 쓸 수 있게 다 코드를 준비해놓은 Tornado로 만든 웹서버인 것이다. 배경 KServe를 KFServing일 시절부터 테스트용으로 사용은 해왔지만 몇 개월 전부터 나름 production level로 사용을 하다보니, 한번 전체 구동 방식을 기록해두자 라는 생각이 들었다. 원래 KServe는 Kubeflow의 하부 프로젝트로 KFServing이라는 이름이었다. 그리고 0.7 버전부터 KServe라는 이름으로 변경되었고, KFServing에서의 migrating 을 지원한다. 현재 (22.10.8) 시점에서는 0.9버전이 release 되어 있으며, 점점 복잡해지는 Model Serving 들을 위한 기능이 ..

책을 고른 이유 데이터 사이언티스트들이 모델을 만들고 거기서 만들어진 모델을 서빙하는 플랫폼을 개발하는 일을 하면서 쿠브플로우를 사용해왔다.(아니 정확히는 모델 서빙용 구성요소인 KFServing만을 사용해왔다.) 다큐멘트를 뒤적거려서, 깃허브 이슈들을 뒤적거리면서 문제들을 해결하면서 버텨왔지만 항상 그렇듯이 내가 이해한 바가 맞는지, 이상적인 방식이 있는지는 궁금했다. 그래서 쿠브플로우 운영 가이드라는 책 제목을 봤을 때 선택하기 까지는 불과 몇초가 걸리지 않았다. 쿠브플로우에 대해서 머신러닝 모델링, 성능 좋은 모델 이후에 뭔가가 더 필요하다는 사실은 이제 모두가 알게 되었고 그래서 MLOps라는 단어가 화두가 되어가고 있는 것 같다. 쿠브플로우는 그 중에서도 화제가 되고 있는, “확장 가능하고, 포..

글 작성일 : 2020.11.18 Kubeflow KFServing InferenceService의 Custom Image를 쓰는 이유와 다른 점 이번 글은 이미지 예측 모델을 Kuberentes에 배포해서 이미지를 업로드 하고 예측 결과와 그 확률을 받아보는 구조를 만드는 내용이다. KFServing InferenceService Custom Image 사용자 이미지를 이용해서 Kubernetes에서의 서빙을 해본다. 전 글에서 포스팅 한 내용은 사용자가 KFServing InferenceService 매니페스트에 Tensorflow pb파일의 경로를 지정해주면 KFServing에서 알아서 Tensorflow Serving을 사용해서 배포를 해주는 구조였다. 하지만 Custom Image를 사용하면 유..