모델 관리 · 글 10편
모델 관리이 글에서 다루는 것컨텍스트 크기, VRAM, 동시 처리 수, 엔진 동작이 서로 어떻게 맞물리는지 실제로 돌리기 전에 모의 실험하는 Context Explorer를 소개합니다.
Context Explorer란
Context Explorer는 로컬 모델을 실제 업무에 쓰기 전에, 설정을 바꾸면 메모리가 얼마나 드는지 미리 따져 보는 도구입니다. 모델의 컨텍스트 크기, VRAM(그래픽 메모리), 동시 처리 수, 엔진별 동작이 서로 어떻게 영향을 주는지 보여 줍니다.
컨텍스트 창은 모델이 한 번에 읽을 수 있는 글의 분량입니다. 이 값을 키우면 긴 문서를 다룰 수 있지만 메모리가 더 듭니다. 여러 사람이 동시에 쓰면 메모리는 더 필요합니다. Context Explorer는 이 관계를 숫자와 그림으로 확인하게 해 줍니다.
언제 쓰나
공식 문서는 로컬 모델을 여러 사용자가 함께 쓰거나 긴 컨텍스트가 필요한 작업에 맞춰 조정할 때 쓰라고 권합니다.
예를 들어 팀 서버 한 대에 로컬 모델을 올려 다섯 명이 함께 쓰려 한다면, 컨텍스트 길이를 얼마로 잡아야 메모리 안에 들어가는지 미리 계산해 볼 수 있습니다.
여는 방법
Model Hub > Context Explorer에서 엽니다.
구성
| 구성 | 내용 |
|---|---|
| 안내 모드 | Fit, Serve, Learn 같은 안내 경로로 시작하거나, Free Explorer로 바로 들어가 자유롭게 살펴봅니다 |
| 대화형 학습 | 짧은 학습 과정으로 컨텍스트 예산 짜기, 넘칠 때의 동작, 동시 처리의 장단점을 익힙니다 |
| 엔진 동작 모의 실험 | Ollama, vLLM, MLX, llama.cpp의 동작을 비교합니다. 컨텍스트가 넘칠 때의 처리 방식과 컨텍스트 제어 방법이 포함됩니다 |
| 시나리오 프리셋 | 프리셋을 불러온 뒤 컨텍스트 길이와 동시 처리 수를 바꾸고 모의 실험을 돌려, 메모리 영향과 적합 여부를 봅니다 |
Fit, Serve, Learn 각 모드가 구체적으로 무엇을 안내하는지는 공식 문서에 설명이 없습니다.
사용 순서
- 엔진, 모델 크기, 하드웨어 프로필을 고릅니다.
- 컨텍스트 길이, 정밀도, 동시 처리 수를 조정합니다.
- 모의 실험을 돌리고 메모리가 항목별로 어떻게 쓰이는지 확인합니다.
- 적합 여부를 확인한 뒤, 비슷한 설정을 실제 환경에 적용합니다.
실제 설정과의 관계
공식 문서는 Context Explorer에서 적합 여부를 먼저 확인한 다음 비슷한 설정을 실제 환경에 적용하라고 안내합니다. 모의 실험 결과가 실제 모델 설정에 자동으로 반영되는지는 공식 문서에 설명이 없습니다. Llama.cpp 모델의 컨텍스트 창 크기를 정하는 Num ctx와 대화 기록을 자르는 방식은 로컬 모델 설치와 관리에서 설명합니다.