내 PC 사양으로 돌릴 수 있는 모델 고르기

로컬 AI 기초 · 글 11편

로컬 AI 기초

이 글에서 다루는 것메모리와 그래픽카드를 확인하고 내 PC에 맞는 모델 크기를 고르는 방법입니다.

먼저 확인할 두 가지

로컬 모델이 돌아가는지는 주로 두 가지로 정해집니다.

메모리(RAM): 모델 파일 전체가 메모리에 올라갑니다.
그래픽카드 메모리(VRAM): 그래픽카드가 있으면 모델을 거기에 올려 훨씬 빠르게 답합니다. Apple Silicon Mac은 메모리를 그래픽과 함께 씁니다.

모델 파일 크기보다 메모리가 넉넉해야 합니다. 대화 내용을 담는 공간과 운영체제가 쓰는 몫이 더 필요하기 때문입니다.

Windows: Ctrl + Shift + Esc로 작업 관리자를 열고 성능 탭을 봅니다. 메모리에서 전체 용량을, GPU에서 전용 GPU 메모리를 확인합니다.

Mac: Apple 메뉴에서 이 Mac에 관하여를 엽니다. 칩 종류와 메모리 용량이 나옵니다.

모델 이름 뒤의 12b, 26b 같은 숫자는 매개변수 수(십억 단위)입니다. 숫자가 클수록 대체로 더 똑똑하지만 메모리가 더 필요하고 느립니다. 내려받는 크기는 양자화 방식에 따라 달라서 아래 표처럼 꼭 순서대로 커지지는 않습니다.

Ollama 라이브러리의 Gemma 4를 예로 들면 다음과 같습니다 (2026-10-10 확인).

같은 모델이라도 양자화 수준에 따라 크기가 달라집니다. 양자화는 모델의 숫자를 덜 정밀하게 저장해 파일을 줄이는 방법입니다. 많이 줄일수록 가볍고 빨라지지만 답의 품질이 조금 떨어집니다.

Msty Studio는 처음 켤 때 내 하드웨어를 확인해 모델을 추천하고, 추천 수준을 Light와 Powerful 사이에서 고르게 합니다. Model Hub의 Featured 탭에서도 모델마다 크기와 내 하드웨어에 맞는지를 보여 줍니다.

내 그래픽카드나 Mac을 넣으면 돌릴 수 있는 모델을 추려 주는 사이트가 있습니다. 모델 찾기의 “내 PC에서 돌아가는지 확인”에 모아 두었습니다. 사이트마다 추정 방식이 달라 결과는 어림값입니다.

문서 검색(RAG)에는 대화용 모델과 별도로 임베딩 모델이 필요합니다. 임베딩 모델은 대화용 모델보다 훨씬 작아서 사양이 낮은 PC에서도 돌아갑니다. Ollama의 임베딩 모델 목록과 성능 순위는 모델 찾기에서 볼 수 있습니다.