TOUCHING ELEPHANT

NVIDIA Dynamo와 llm-d

Cloud Neta 팀의 Hands-On LLM Serving and Optimization Study (LLMSO) 스터디 7주차에서는 Envoy Agent Router와 llm-d를 학습했습니다. Envoy 게이트웨이가 요청마다 모델 서버 파드를 골라 보내는 구조를 살펴보고, llm-d 라우터를 설치해 프리픽스 캐시를 보고 파드를 고르는 과정을 확인했습니다. 이번 글에서는 llm-d 학습의 연장선에서 NVIDIA Dynamo 를 살펴보겠습니다. 두 프로젝트 모두 vLLM, SGLang, TensorRT-LLM 같은 추론 엔진을 대체하지 않고, 엔진 여러 대를 묶어 요청을 분배하고 prefill과 decode를 나누고 GPU 수를 조절합니다. 기준 버전은 2026년 9월 현재 최신인 Dynamo v1...

Cloud Neta 팀의 Hands-On LLM Serving and Optimization Study (LLMSO) 스터디 6주차에서는 GPU를 로컬 PC, 컨테이너, 쿠버네티스 순서로 인식하는 방법을 학습했습니다. 로컬 PC에 NVIDIA 드라이버를 설치하고, Docker에 NVIDIA Container Toolkit을 연결하고, 쿠버네티스에 device plugin을 배포한 뒤 DCGM Exporter로 GPU 지표를 수집했습니다. 그 뒤에는 GPU Operator와 GPU를 나눠 쓰는 방식도 살펴봤습니다. 단계마다 명령어 몇 줄이면 GPU가 인식되지만, 그 사이에서 어떤 소프트웨어가 무엇을 하는지는 명령어만 봐서는 알기 어렵습니다. 이번 글에서는 실습 과정에서 개념적으로 어려운 부분들을 골라, G..

Hands-On LLM Serving and Optimization 책의 Chapter 9는 LLM Optimization in Practice, Chapter 10은 Advancements in LLM Serving입니다. Ch9는 앞의 여덟 장에서 배운 기법을 모델 하나에 모두 적용해보는 실습 장입니다. 하드웨어를 확인하고, 벤치마크 트래픽을 만들고, 측정할 지표를 정한 다음, 양자화와 분산 서빙을 차례로 적용하면서 성능이 어떻게 달라지는지 기록합니다. Ch10은 마지막 장이고 앞으로의 방향을 소개합니다. 시맨틱 라우팅, 성능 프로파일링, 멀티모달 서빙, 엣지 서빙, Multi-LoRA, 강화학습에서의 서빙을 차례로 다루는데 각각을 짧게 설명하고 넘어갑니다. 두 장에는 책이 이름과 정의만 알려주고 ..

Hands-On LLM Serving and Optimization [Book] 책의 Chapter 7은 Advanced LLM Optimization Techniques, Chapter 8은 LLM Serving Frameworks입니다. Ch7은 GPU 한 대로 감당되지 않는 규모에서 쓰는 기법을 다룹니다. Speculative decoding, 여러 GPU에 모델 나누기, prefill과 decode 분리, KV cache offloading이 주제입니다. Ch8은 그 기법들을 실제로 구현하는 소프트웨어를 다룹니다. vLLM의 내부 구조를 따라가고 TensorRT-LLM, SGLang, llama.cpp와 비교합니다.Speculative decoding토큰을 하나 만들 때마다 GPU는 모델 가중치 ..

Hands-On LLM Serving and Optimization [Book] 책의 Chapter 5는 Challenges When Serving LLMs, Chapter 6는 Essential LLM Optimization Techniques입니다. Ch5는 LLM 서빙이 왜 어려운지를 하드웨어 단에서 설명합니다. GPU 스펙표를 읽는 법, 메모리, 연산, 인터커넥트의 역할, 모델 로딩과 실행 단계별 병목을 다룹니다. prefill, decode의 개념 이해는 LLM 서빙에서 중요한데 prefill은 compute-bound, decode는 memory-bound가 됩니다. Ch6는 서빙 성능 향상을 다룹니다. 배칭과 스케줄링, 어텐션 커널 최적화, 모델 압축, 프리픽스 캐싱 등에 대해서 소개합니다...

Hands-On LLM Serving and Optimization 책의 Chapter 3은 Model Serving System Design, Chapter 4는 Model Serving Best Practices입니다. Ch3의 주요 내용은 서빙 시스템을 직접 만들며 프로세스 격리, 배칭, 스트리밍, 멀티모델 캐싱을 다루는 내용입니다. 그리고 Ch4의 주요 내용은 에이전트 워크로드가 서빙 요구사항을 어떻게 바꾸는지, 엔터프라이즈급 플랫폼은 어떤 계층으로 구성되는지, 구축과 클라우드 사이에서 어떻게 판단하는지 등입니다. 이와 관련한 연관 주제들을 학습한 내용을 정리해보겠습니다. 프로세스 격리는 왜 중요할까요? ModelWorker를 mp.Process로 분리하고 mp.Queue 한 쌍으로 통신하는 내..

8월부터 CloudNeta 팀의 Hands-On LLM Serving and Optimization Study에 참여하게 되어 챕터별로 스터디한 내용을 정리해보겠습니다. 7주간 매주 Oreilly의 Hands-On LLM Serving and Optimization 책 내용을 기반으로 학습한 내용을 정리하는 형태로 글을 작성합니다. 첫 번째 주제로 LLM 모델의 서빙과 최적화 개념에 대해서 공부한 내용을 작성해봅니다. 모델에 대해서모델은 하나의 파일이 아니라 다음과 같은 계층을 가집니다.구성 요소내용모델 데이터weight, bias, configuration + 실행 메타데이터(배치 크기, 입출력 텐서, 임베딩 등)모델 아키텍처레이어 구조, 연결 방식, 연산 정의. 입력이 어떤 계산 경로로 출력이 ..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.10장은 데이터 플레인 트러블슈팅하기 입니다. 실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||__________\_____..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.9장은 마이크로서비스 통신 보호하기 입니다.실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||__________\_______..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.7장은 관찰 가능성: 서비스의 동작 이해하기 입니다.실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||__________\__..