로컬 AI 기초 · 글 11편로컬 AI 기초
  1. 로컬 AI 학습 순서 한눈에 보기
  2. 로컬 AI와 클라우드 AI는 무엇이 다른가
  3. 로컬에서 AI를 돌리는 이유와 한계
  4. 내 PC 사양으로 돌릴 수 있는 모델 고르기
  5. 토큰, 컨텍스트 윈도우, 파라미터, 환각
  6. 공개 모델 계열과 모델 이름 읽는 법
  7. 양자화란 무엇인가
  8. CPU, GPU, 메모리가 하는 일
  9. 작업별로 로컬 모델과 온라인 모델 고르기
  10. 작은 모델에서 더 중요한 프롬프트 기본기
  11. 업무에서 AI를 쓸 때의 안전 습관

이 글에서 다루는 것Gemma, Llama, Phi, Qwen 같은 공개 모델 계열을 알아보고, gemma4:e4b나 Q4_K_M 같은 이름에서 크기·양자화·용도를 읽어 내는 방법입니다.

공개 모델이란

GPT나 Claude 같은 상용 모델은 회사 서버에서만 돌아가고 모델 파일은 공개되지 않습니다. 반대로 모델 파일(가중치)을 내려받을 수 있게 공개한 모델이 있습니다. 이것을 오픈소스 LLM 또는 오픈 웨이트 모델이라고 부릅니다.

강의에서는 이렇게 비유합니다. 식당에서 사 먹는 음식이 상용 모델이라면, 레시피와 재료를 받아 집에서 직접 만드는 것이 공개 모델입니다. 집에서 만들면 입맛에 맞게 바꿀 수 있고, 무엇을 먹는지 밖에 알릴 필요도 없습니다.

자주 보는 모델 계열

강의 자료에 반복해서 나오는 계열입니다. 버전과 순위는 몇 달 단위로 바뀌므로 표의 내용은 예시로 보세요.

계열 만든 곳 강의에서 소개한 특징
Gemma Google 작은 크기에서 쓰기 편한 범용 모델. 이미지 입력을 받는 버전이 있음
Llama Meta 1B, 3B 같은 초경량 크기가 있어 사무용 PC에서 가볍게 돎
Phi Microsoft 작은 크기에 비해 논리·수학 문제에 강한 편
Qwen Alibaba 여러 언어를 지원. 아주 작은 크기부터 큰 크기까지 폭이 넓음
Mistral Mistral AI 7B급에서 오래 쓰여 관련 자료가 많음
DeepSeek-R1 DeepSeek 답하기 전에 단계적으로 생각하는 추론 특화 모델의 축소판
EXAONE LG AI연구원 한국어에 맞춘 국내 공개 모델

어느 모델이 가장 좋은지는 정해져 있지 않습니다. 강의에서 권하는 방법은 같은 과제를 크기가 다른 모델 두세 개에 똑같이 시켜 보고, 답의 품질과 걸린 시간을 나란히 적어 비교하는 것입니다.

모델을 찾는 두 곳

  • Ollama 라이브러리: Ollama에서 바로 받을 수 있는 모델 목록입니다. 모델 이름 옆의 복사 버튼으로 이름을 정확히 가져오는 것이 좋습니다. 손으로 치면 철자 하나 차이로 받지 못합니다.
  • Hugging Face: 공개 모델이 모이는 가장 큰 저장소입니다. 검색창에 1B, GGUF처럼 넣으면 조건에 맞는 모델이 나옵니다.

두 곳의 링크와 성능 순위표는 모델 찾기에 모아 두었습니다.

이름 읽기 1: Ollama의 태그

Ollama에서 모델 이름은 계열:태그 꼴입니다.

gemma4:e4b
└─계열 └─태그

태그를 생략하면 그 계열의 기본 태그를 받습니다. 기본 태그가 생각보다 클 수 있으므로 크기를 직접 적는 습관이 안전합니다.

태그에 들어가는 표기는 다음과 같습니다.

표기 뜻 예
숫자 + b 파라미터 수(십억 단위). 클수록 무겁고 느림 3b, 12b
e + 숫자 + b 실효(effective) 크기. 전체 파라미터 중 일부만 켜서 그 크기만큼의 자원으로 돌아감 e2b, e4b
a + 숫자 + b 한 번에 활성화되는 크기. 여러 전문 영역 중 일부만 쓰는 구조(MoE)의 모델에 붙음 26b-a4b
mini, small 계열 안에서 작은 판 phi4-mini
q4_K_M, q8_0 등 양자화 수준 아래 항목 참고

e4b를 예로 들면, 전체 파라미터는 더 많지만 선택적으로 일부만 활성화해 4B급 자원으로 도는 모델이라는 뜻입니다. 그래서 그래픽카드가 없는 노트북에서도 실행됩니다.

이름 읽기 2: Hugging Face의 파일 이름

Hugging Face의 이름은 더 깁니다. 다음과 같은 이름을 예로 봅니다.

Phi-3-mini-4k-instruct-GGUF : Q4_K_M
조각 뜻
Phi-3 계열과 버전
mini 계열 안에서의 크기
4k 컨텍스트 윈도우 크기(토큰)
instruct 지시를 따르도록 추가 학습한 판
GGUF 파일 형식
Q4_K_M 양자화 수준

instruct, it, chat

같은 모델이라도 용도에 따라 판이 나뉩니다.

  • instruct, it(instruction-tuned), chat: 사람의 지시와 질문에 답하도록 다듬은 판입니다. 대화나 업무 지시에는 이것을 고릅니다.
  • base 또는 아무 표기 없음: 글을 이어 쓰기만 하는 원본인 경우가 있습니다. 질문에 답하지 않고 질문을 이어 쓰는 식으로 엉뚱하게 반응할 수 있습니다.

Ollama 라이브러리의 모델은 대부분 대화용으로 준비되어 있어 따로 신경 쓸 일이 적습니다. Hugging Face에서 직접 고를 때 확인합니다.

GGUF와 MLX

  • GGUF: llama.cpp와 Ollama가 읽는 모델 파일 형식입니다. 모델을 양자화해 파일 하나로 담은 것이라 내려받아 바로 실행할 수 있습니다. Windows, Mac, Linux 어디서나 씁니다.
  • MLX: Apple Silicon Mac에 맞춘 실행 방식과 그 형식입니다. Mac에서 쓰는 도구가 MLX를 지원하면 이 형식의 모델을 고를 수 있습니다.
  • Safetensors: 양자화하기 전의 원본에 가까운 형식입니다. 학습이나 변환에 주로 쓰며 파일이 큽니다.

Msty Studio가 지원하는 엔진과 GGUF 파일을 가져오는 방법은 Msty에서 Ollama 모델 쓰기에 있습니다.

Q4_K_M 같은 양자화 표기

Q 뒤의 숫자는 숫자 하나를 몇 비트로 저장했는지를 뜻합니다. Q4는 4비트, Q8은 8비트입니다. 숫자가 작을수록 파일이 작고 가볍지만 품질이 조금 내려갑니다. 뒤에 붙는 K_M, K_S 등은 같은 비트 안에서의 세부 방식과 크기 구분입니다. 자세한 설명은 양자화란 무엇인가에 있습니다.

받기 전에 확인할 것

  1. 크기: 내려받는 용량이 내 메모리보다 넉넉히 작은지 봅니다. 기준은 내 PC 사양으로 돌릴 수 있는 모델 고르기에 있습니다.
  2. 한국어: 모델 설명에 지원 언어가 적혀 있습니다. 적혀 있어도 품질은 다르므로 내 업무 문장으로 시험합니다.
  3. 입력 종류: 글만 받는지, 이미지도 받는지 확인합니다.
  4. 라이선스: 모델마다 사용 조건이 다릅니다. Apache 2.0, MIT처럼 제약이 적은 것도 있고, 상업적 이용에 조건을 붙인 것도 있습니다. 업무에 쓰기 전에 모델 페이지의 라이선스 항목을 읽습니다.
  5. 올린 사람: Hugging Face에는 원 제작사가 아닌 사람이 변환해 올린 파일이 많습니다. 내려받은 횟수와 원본 모델로의 연결이 표시되어 있는지 봅니다.

흔한 실수

  • 태그 없이 받았다가 예상보다 훨씬 큰 파일을 내려받는 경우
  • 크기 숫자만 보고 골랐는데 한국어 답이 어색한 경우
  • base 판을 받아 놓고 질문에 답하지 않는다고 생각하는 경우
  • 강의 자료나 블로그에 적힌 예전 모델 이름을 그대로 입력해 찾지 못하는 경우. 모델 이름은 자주 바뀌므로 받기 직전에 라이브러리에서 확인합니다.

다음에 읽을 글