TOUCHING ELEPHANT

LLM 고급 최적화와 서빙 프레임워크

Hands-On LLM Serving and Optimization [Book] 책의 Chapter 7은 Advanced LLM Optimization Techniques, Chapter 8은 LLM Serving Frameworks입니다. Ch7은 GPU 한 대로 감당되지 않는 규모에서 쓰는 기법을 다룹니다. Speculative decoding, 여러 GPU에 모델 나누기, prefill과 decode 분리, KV cache offloading이 주제입니다. Ch8은 그 기법들을 실제로 구현하는 소프트웨어를 다룹니다. vLLM의 내부 구조를 따라가고 TensorRT-LLM, SGLang, llama.cpp와 비교합니다.Speculative decoding토큰을 하나 만들 때마다 GPU는 모델 가중치 ..

Hands-On LLM Serving and Optimization [Book] 책의 Chapter 5는 Challenges When Serving LLMs, Chapter 6는 Essential LLM Optimization Techniques입니다. Ch5는 LLM 서빙이 왜 어려운지를 하드웨어 단에서 설명합니다. GPU 스펙표를 읽는 법, 메모리, 연산, 인터커넥트의 역할, 모델 로딩과 실행 단계별 병목을 다룹니다. prefill, decode의 개념 이해는 LLM 서빙에서 중요한데 prefill은 compute-bound, decode는 memory-bound가 됩니다. Ch6는 서빙 성능 향상을 다룹니다. 배칭과 스케줄링, 어텐션 커널 최적화, 모델 압축, 프리픽스 캐싱 등에 대해서 소개합니다...

Hands-On LLM Serving and Optimization 책의 Chapter 3은 Model Serving System Design, Chapter 4는 Model Serving Best Practices입니다. Ch3의 주요 내용은 서빙 시스템을 직접 만들며 프로세스 격리, 배칭, 스트리밍, 멀티모델 캐싱을 다루는 내용입니다. 그리고 Ch4의 주요 내용은 에이전트 워크로드가 서빙 요구사항을 어떻게 바꾸는지, 엔터프라이즈급 플랫폼은 어떤 계층으로 구성되는지, 구축과 클라우드 사이에서 어떻게 판단하는지 등입니다. 이와 관련한 연관 주제들을 학습한 내용을 정리해보겠습니다. 프로세스 격리는 왜 중요할까요? ModelWorker를 mp.Process로 분리하고 mp.Queue 한 쌍으로 통신하는 내..

8월부터 CloudNeta 팀의 Hands-On LLM Serving and Optimization Study에 참여하게 되어 챕터별로 스터디한 내용을 정리해보겠습니다. 7주간 매주 Oreilly의 Hands-On LLM Serving and Optimization 책 내용을 기반으로 학습한 내용을 정리하는 형태로 글을 작성합니다. 첫 번째 주제로 LLM 모델의 서빙과 최적화 개념에 대해서 공부한 내용을 작성해봅니다. 모델에 대해서모델은 하나의 파일이 아니라 다음과 같은 계층을 가집니다.구성 요소내용모델 데이터weight, bias, configuration + 실행 메타데이터(배치 크기, 입출력 텐서, 임베딩 등)모델 아키텍처레이어 구조, 연결 방식, 연산 정의. 입력이 어떤 계산 경로로 출력이 ..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.10장은 데이터 플레인 트러블슈팅하기 입니다. 실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||__________\_____..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.9장은 마이크로서비스 통신 보호하기 입니다.실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||__________\_______..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.7장은 관찰 가능성: 서비스의 동작 이해하기 입니다.실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||__________\__..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.6장은 복원력: 애플리케이션 네트워킹 문제 해결하기 입니다.실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||_________..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.5장은 트래픽 제어: 세밀한 트래픽 라우팅 입니다. 실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||__________\__..

안녕하세요?Istio in Action 책을 공부하면서 내용을 조금씩 정리해보려고 합니다.4장은 이스티오 게이트웨이 : 클러스터로 트래픽 들이기 입니다. 실습 환경 준비MacOS, OrbStack으로 Container 구동Kind, k8s 1.33.1istioctl 1.27.0curl -L https://istio.io/downloadIstio | sh -istioctl install --set profile=demo -y |\ | \ | \ | \ /|| \ / || \ / || \ / || \ / || \ / || \/______||______..