juyeon22 님의 블로그

[MLOPS] ML Platform Engineering Study 2주차 (2)

홈랩 Kubernetes에서 진행한 MLflow, Feast 실습 기록가시다님이 진행하는 ML Platform Engineering 스터디의 4장(Designing reliable ML systems) 실습을 홈랩 Kubernetes 환경에서 진행한 기록입니다.실습 목표이 글을 끝까지 따라 하면 다음 작업을 직접 할 수 있습니다.MLflow 추적 서버에 run, 파라미터, 지표, 아티팩트를 기록하고 UI에서 run끼리 비교하기성능이 가장 좋은 run의 모델을 모델 레지스트리에 등록하고, 다시 불러와 예측하기Feast로 피처를 등록한 뒤 오프라인 조회(특정 시점 기준)와 온라인 조회(최신 값)를 구분해서 쓰기책의 MinIO, Redis 대신 SeaweedFS, Valkey가 있는 Kubernetes 환경에..

[MLOPS] ML Platform Engineering Study 2주차 (1)

ML Platform Engineering 스터디 4장 실습 환경 구성가시다님이 진행하는 ML Platform Engineering 스터디의 4장(Designing reliable ML systems) 실습을 홈랩 Kubernetes 클러스터에서 구성했습니다. 책의 MinIO와 Redis 대신 SeaweedFS와 Valkey를 쓰고, MLflow와 Feast는 작성일(2026-11-01) 기준 최신 버전으로 올렸습니다. 이 환경에서 책 4.1, 4.2를 따라간 결과는 다음 글 "ML Platform Engineering 스터디 4장 MLflow, Feast 실습"에 정리했습니다.1. 실습 개요이 섹션에서는 무엇을 어떤 조건으로 실습하는지, 기존 환경의 환경과 무엇이 다른지 정리합니다.1.1 목표와 조건책..

ML Platform Engineering 스터디 1주차가시다님이 진행하는 ML Platform Engineering 스터디 1주차(CH01 ~ CH02) 내용을 ML이 처음인 DevOps 엔지니어의 시선으로 정리했습니다.1. 머신러닝 사전 지식MLOps를 이해하려면 모델이 데이터로 어떻게 만들어지고 실행되는지부터 알아야 합니다. 이 섹션에서는 뒤에서 계속 쓰이는 머신러닝 기본 개념을 정리합니다.1.1 용어 정리이 글의 용어 정리는 DevOps에서 익숙한 개념이나 일상의 장면에 빗대어 설명합니다. 비유는 감을 잡기 위한 도구이므로 세부 동작까지 같지는 않습니다.신경망(neural network): 노드가 층(layer)을 이루며 연결된 수학 함수로, 이미지나 텍스트처럼 규칙으로 적기 어려운 입력을 다룰 ..

Hands-On LLM Serving and Optimization Study 7주차 Envoy Agent RouterHands-On LLM Serving and Optimization Study 7주차 Envoy Agent Router 내용입니다. 여러 모델 프로바이더와 자체 호스팅 모델을 하나의 진입점으로 묶는 AI Gateway 계층을 다룹니다. 쿠버네티스와 Envoy는 다뤄 봤지만 LLM 서빙은 처음인 DevOps 엔지니어를 독자로 상정합니다.이 글을 읽고 나면 세 가지를 얻는 것이 목표입니다. 첫째, AI Gateway가 왜 일반 API Gateway와 다른 계층으로 필요한지, 그리고 어느 시점에 도입해야 하는지를 LLM 트래픽의 성격에서부터 설명할 수 있게 됩니다. 둘째, Agent Route..

Scaling LLM Inference with vLLM and AWS Tranium WorkshopAWS 워크숍 "Scaling LLM Inference with vLLM and AWS Trainium"을 따라가며 정리한 글입니다. 워크숍은 Amazon EKS에 Trainium 노드를 붙이고, vLLM과 NeuronX Distributed(NxD)로 TinyLlama-1.1B를 서빙한 뒤, Ingress, 모니터링, 부하 테스트, 오토스케일링까지 붙이는 구성입니다. 쿠버네티스는 운영해 봤지만 LLM 서빙은 처음인 DevOps 엔지니어를 독자로 상정합니다.1. 배경1.1 AWS Trainium과 trn1.2xlargeTrainium은 AWS가 딥러닝 학습과 추론용으로 설계한 가속 칩이고, EC2 Trn1..

Hands-On LLM Serving and Optimization Study: vLLM으로 Qwen3-14B 서빙 처리량 끌어올리기Hands-On LLM Serving and Optimization 스터디 정리입니다. 지난 정리가 책 7장의 Speculative Decoding, 병렬화, PD 분리처럼 서빙 구조 위에 얹는 고급 기법을 다뤘다면, 이번에는 책 9장 LLM Optimization in Practice를 따라 "실제로 숫자를 재고 바꿔보는" 이야기를 합니다. Qwen3-14B를 vLLM으로 서빙할 때 무엇을 측정하고, 어떤 순서로 손을 대고, 그 결과를 어떻게 읽어야 하는지가 중심입니다.이 글을 읽고 나면 단일 GPU에서 LLM 서빙 벤치마크를 세우는 순서, 처리량과 지연 시간 숫자를 벤치..

Hands-On LLM Serving and Optimization Study: Speculative Decoding, 병렬화, PD 분리 정리Hands-On LLM Serving and Optimization 스터디 정리입니다. 책 7장 Advanced LLM Optimization Techniques를 따라 그 위에 얹는 고급 최적화 세 가지를 다룹니다. Speculative Decoding, 멀티 GPU/멀티 노드 병렬화(TP, PP, EP, DP), 그리고 Prefill-Decode 분리입니다.이 글의 목표는 세 기법이 각각 어떤 병목을 겨냥하는지, 무엇을 내주고 무엇을 얻는지 이해하고, 그래서 내 워크로드와 하드웨어에서 무엇을 켜고 무엇을 켜지 말아야 할지 스스로 판단할 수 있게 되는 것입니다...

Hands-On LLM Serving and Optimization Study 3주차 Challenges When Serving LLMsHands-On LLM Serving and Optimization 스터디 4주차 정리입니다. 지난 주차까지가 서빙 시스템을 "어떻게 구성하는가"의 이야기였다면, 이번 주는 그 시스템이 "왜, 어디서 느려지는가"의 이야기입니다. 책 5장(Challenges When Serving LLMs)을 따라가며 최적화가 왜 사업의 문제인지, GPU 스펙을 어떻게 읽어야 하는지, 그리고 모델 로딩과 실행 각각에서 병목이 어디에 생기는지를 정리했습니다.결론을 미리 말하면 이렇습니다. LLM 서빙 최적화는 "무조건 더 빠르게"가 아니라 지연 시간, 처리량, 모델 품질(크기) 사이의 트레..

Hands-On LLM Serving and Optimization Study 2주차 Model Serving System DesignHands-On LLM Serving and Optimization 스터디 2주차 정리입니다. 이번 주는 AI 모델을 실제 서비스로 만드는 이야기입니다. 책 3장(Model Serving System Design: A Deep Dive)의 설계를 따라가며, 서빙 시스템을 구성하는 원리를 중심으로 정리했습니다.1. 배경: 프레임워크를 고르기 전에 알아야 하는 것이런 상황을 가정해 봅시다. 사내에 LLM 기반 기능을 올리기로 했고, 서빙 프레임워크를 골라야 합니다. vLLM, Triton, TGI — 선택지는 많고 각자 내세우는 벤치마크 수치도 제각각입니다. 어느 것을 골라야..

Hands-On LLM Serving and Optimization Study 스터디 1주차 — GPT-2(small)로 뜯어보는 Transformer 내부 구조개요이 게시물은 가시다님의 Hands-On LLM Serving and Optimization Study 1주차 추가내용으로, GPT-2(small) 모델이 텍스트를 입력받아 다음 단어를 예측하기까지의 전체 과정을 단계별로 정리한 게시글입니다. Transformer Explainer는 GPT-2(small) 모델이 브라우저 안에서 실제로 실행되는 인터랙티브 시각화 도구이기 때문에, 글을 읽으면서 사이트를 함께 열어 두고 각 단계를 직접 눌러보는 것을 권장합니다.행렬 곱셈이 무엇인지 정도만 알고 있으면 따라올 수 있도록 수식보다는 "각 단계가 왜 ..