로컬 AI 기초 · 글 11편
로컬 AI 기초이 글에서 다루는 것Gemma, Llama, Phi, Qwen 같은 공개 모델 계열을 알아보고, gemma4:e4b나 Q4_K_M 같은 이름에서 크기·양자화·용도를 읽어 내는 방법입니다.
공개 모델이란
GPT나 Claude 같은 상용 모델은 회사 서버에서만 돌아가고 모델 파일은 공개되지 않습니다. 반대로 모델 파일(가중치)을 내려받을 수 있게 공개한 모델이 있습니다. 이것을 오픈소스 LLM 또는 오픈 웨이트 모델이라고 부릅니다.
강의에서는 이렇게 비유합니다. 식당에서 사 먹는 음식이 상용 모델이라면, 레시피와 재료를 받아 집에서 직접 만드는 것이 공개 모델입니다. 집에서 만들면 입맛에 맞게 바꿀 수 있고, 무엇을 먹는지 밖에 알릴 필요도 없습니다.
자주 보는 모델 계열
강의 자료에 반복해서 나오는 계열입니다. 버전과 순위는 몇 달 단위로 바뀌므로 표의 내용은 예시로 보세요.
| 계열 | 만든 곳 | 강의에서 소개한 특징 |
|---|---|---|
| Gemma | 작은 크기에서 쓰기 편한 범용 모델. 이미지 입력을 받는 버전이 있음 | |
| Llama | Meta | 1B, 3B 같은 초경량 크기가 있어 사무용 PC에서 가볍게 돎 |
| Phi | Microsoft | 작은 크기에 비해 논리·수학 문제에 강한 편 |
| Qwen | Alibaba | 여러 언어를 지원. 아주 작은 크기부터 큰 크기까지 폭이 넓음 |
| Mistral | Mistral AI | 7B급에서 오래 쓰여 관련 자료가 많음 |
| DeepSeek-R1 | DeepSeek | 답하기 전에 단계적으로 생각하는 추론 특화 모델의 축소판 |
| EXAONE | LG AI연구원 | 한국어에 맞춘 국내 공개 모델 |
어느 모델이 가장 좋은지는 정해져 있지 않습니다. 강의에서 권하는 방법은 같은 과제를 크기가 다른 모델 두세 개에 똑같이 시켜 보고, 답의 품질과 걸린 시간을 나란히 적어 비교하는 것입니다.
모델을 찾는 두 곳
- Ollama 라이브러리: Ollama에서 바로 받을 수 있는 모델 목록입니다. 모델 이름 옆의 복사 버튼으로 이름을 정확히 가져오는 것이 좋습니다. 손으로 치면 철자 하나 차이로 받지 못합니다.
- Hugging Face: 공개 모델이 모이는 가장 큰 저장소입니다. 검색창에
1B,GGUF처럼 넣으면 조건에 맞는 모델이 나옵니다.
두 곳의 링크와 성능 순위표는 모델 찾기에 모아 두었습니다.
이름 읽기 1: Ollama의 태그
Ollama에서 모델 이름은 계열:태그 꼴입니다.
gemma4:e4b
└─계열 └─태그
태그를 생략하면 그 계열의 기본 태그를 받습니다. 기본 태그가 생각보다 클 수 있으므로 크기를 직접 적는 습관이 안전합니다.
태그에 들어가는 표기는 다음과 같습니다.
| 표기 | 뜻 | 예 |
|---|---|---|
숫자 + b |
파라미터 수(십억 단위). 클수록 무겁고 느림 | 3b, 12b |
e + 숫자 + b |
실효(effective) 크기. 전체 파라미터 중 일부만 켜서 그 크기만큼의 자원으로 돌아감 | e2b, e4b |
a + 숫자 + b |
한 번에 활성화되는 크기. 여러 전문 영역 중 일부만 쓰는 구조(MoE)의 모델에 붙음 | 26b-a4b |
mini, small |
계열 안에서 작은 판 | phi4-mini |
q4_K_M, q8_0 등 |
양자화 수준 | 아래 항목 참고 |
e4b를 예로 들면, 전체 파라미터는 더 많지만 선택적으로 일부만 활성화해 4B급 자원으로 도는 모델이라는 뜻입니다. 그래서 그래픽카드가 없는 노트북에서도 실행됩니다.
이름 읽기 2: Hugging Face의 파일 이름
Hugging Face의 이름은 더 깁니다. 다음과 같은 이름을 예로 봅니다.
Phi-3-mini-4k-instruct-GGUF : Q4_K_M
| 조각 | 뜻 |
|---|---|
Phi-3 |
계열과 버전 |
mini |
계열 안에서의 크기 |
4k |
컨텍스트 윈도우 크기(토큰) |
instruct |
지시를 따르도록 추가 학습한 판 |
GGUF |
파일 형식 |
Q4_K_M |
양자화 수준 |
instruct, it, chat
같은 모델이라도 용도에 따라 판이 나뉩니다.
- instruct, it(instruction-tuned), chat: 사람의 지시와 질문에 답하도록 다듬은 판입니다. 대화나 업무 지시에는 이것을 고릅니다.
- base 또는 아무 표기 없음: 글을 이어 쓰기만 하는 원본인 경우가 있습니다. 질문에 답하지 않고 질문을 이어 쓰는 식으로 엉뚱하게 반응할 수 있습니다.
Ollama 라이브러리의 모델은 대부분 대화용으로 준비되어 있어 따로 신경 쓸 일이 적습니다. Hugging Face에서 직접 고를 때 확인합니다.
GGUF와 MLX
- GGUF: llama.cpp와 Ollama가 읽는 모델 파일 형식입니다. 모델을 양자화해 파일 하나로 담은 것이라 내려받아 바로 실행할 수 있습니다. Windows, Mac, Linux 어디서나 씁니다.
- MLX: Apple Silicon Mac에 맞춘 실행 방식과 그 형식입니다. Mac에서 쓰는 도구가 MLX를 지원하면 이 형식의 모델을 고를 수 있습니다.
- Safetensors: 양자화하기 전의 원본에 가까운 형식입니다. 학습이나 변환에 주로 쓰며 파일이 큽니다.
Msty Studio가 지원하는 엔진과 GGUF 파일을 가져오는 방법은 Msty에서 Ollama 모델 쓰기에 있습니다.
Q4_K_M 같은 양자화 표기
Q 뒤의 숫자는 숫자 하나를 몇 비트로 저장했는지를 뜻합니다. Q4는 4비트, Q8은 8비트입니다. 숫자가 작을수록 파일이 작고 가볍지만 품질이 조금 내려갑니다. 뒤에 붙는 K_M, K_S 등은 같은 비트 안에서의 세부 방식과 크기 구분입니다. 자세한 설명은 양자화란 무엇인가에 있습니다.
받기 전에 확인할 것
- 크기: 내려받는 용량이 내 메모리보다 넉넉히 작은지 봅니다. 기준은 내 PC 사양으로 돌릴 수 있는 모델 고르기에 있습니다.
- 한국어: 모델 설명에 지원 언어가 적혀 있습니다. 적혀 있어도 품질은 다르므로 내 업무 문장으로 시험합니다.
- 입력 종류: 글만 받는지, 이미지도 받는지 확인합니다.
- 라이선스: 모델마다 사용 조건이 다릅니다. Apache 2.0, MIT처럼 제약이 적은 것도 있고, 상업적 이용에 조건을 붙인 것도 있습니다. 업무에 쓰기 전에 모델 페이지의 라이선스 항목을 읽습니다.
- 올린 사람: Hugging Face에는 원 제작사가 아닌 사람이 변환해 올린 파일이 많습니다. 내려받은 횟수와 원본 모델로의 연결이 표시되어 있는지 봅니다.
흔한 실수
- 태그 없이 받았다가 예상보다 훨씬 큰 파일을 내려받는 경우
- 크기 숫자만 보고 골랐는데 한국어 답이 어색한 경우
- base 판을 받아 놓고 질문에 답하지 않는다고 생각하는 경우
- 강의 자료나 블로그에 적힌 예전 모델 이름을 그대로 입력해 찾지 못하는 경우. 모델 이름은 자주 바뀌므로 받기 직전에 라이브러리에서 확인합니다.