CPU, GPU, 메모리가 하는 일

부품마다 맡은 일이 다릅니다

로컬 모델이 “돌아가는가”와 “쓸 만하게 빠른가”는 서로 다른 부품이 정합니다.

부품	정하는 것
메모리(RAM)	어느 크기의 모델까지 올릴 수 있는가
그래픽카드 메모리(VRAM)	모델을 그래픽카드에 통째로 올릴 수 있는가
그래픽카드(GPU)	답이 얼마나 빨리 나오는가
CPU	그래픽카드가 없을 때의 속도
디스크	모델을 몇 개까지 받아 둘 수 있는가, 처음 불러올 때 걸리는 시간

받을 모델의 크기를 고르는 방법은 내 PC 사양으로 돌릴 수 있는 모델 고르기에 있습니다. 이 글은 각 부품이 왜 그런 영향을 주는지를 설명합니다.

메모리: 모델이 통째로 올라가는 자리

모델을 실행하면 모델 파일 전체가 메모리로 올라갑니다. 여기에 대화 내용을 담는 공간이 더 붙습니다. 그래서 실제로 차지하는 메모리는 파일 크기보다 큽니다. 강의에서 4B급 모델을 실행했을 때, 메모리에 올라간 크기가 9GB 안팎으로 표시되었습니다.

메모리가 모자라면 두 가지 중 하나가 일어납니다.

• 모델이 올라가지 않고 오류가 납니다.
• 올라가긴 하지만 디스크를 메모리처럼 빌려 쓰면서 극단적으로 느려집니다.

메모리는 모델만 쓰는 것이 아닙니다. 브라우저 탭 수십 개, 메신저, 문서 프로그램이 같이 쓰고 있습니다. 모델을 돌릴 때는 다른 프로그램을 닫는 것만으로도 차이가 납니다.

그래픽카드: 속도를 정하는 부품

언어 모델의 계산은 단순한 곱셈과 덧셈을 엄청나게 많이 반복하는 일입니다. 그래픽카드는 이런 계산을 한꺼번에 처리하도록 만들어진 부품이라 CPU보다 훨씬 빠릅니다.

중요한 것은 그래픽카드의 전용 메모리(VRAM)입니다.

상황	결과
모델 전체가 VRAM에 들어감	가장 빠름
일부만 VRAM에 들어감	나머지를 CPU가 처리하면서 속도가 크게 떨어짐
그래픽카드가 없거나 지원되지 않음	전부 CPU로 처리

노트북의 내장 그래픽은 전용 메모리가 따로 없이 일반 메모리를 나눠 씁니다. 이 경우 실행 도구가 그래픽 가속을 쓰지 못하고 CPU로 처리하는 일이 많습니다.

Ollama에서는 모델을 실행한 상태에서 다음 명령으로 지금 모델이 어디에 올라가 있는지 볼 수 있습니다.

ollama ps

출력에 모델 이름, 메모리에서 차지하는 크기, CPU와 GPU 중 어디에서 처리되는지가 나옵니다.

CPU만으로도 됩니다

그래픽카드가 없어도 작은 모델은 돌아갑니다. 강의에서 정리한 내용은 세 줄입니다.

• 1B~4B 수준의 작은 모델은 일반 사무용 PC의 CPU만으로 실행됩니다.
• 답이 나오는 속도는 온라인 서비스보다 몇 배 느립니다.
• 간단한 질의응답, 요약, 분류는 이 속도로도 쓸 수 있습니다.

CPU로 돌릴 때는 다음을 기억합니다.

1. 모델 크기를 한 단계 낮추는 것이 가장 효과가 큽니다. 4B가 느리면 2B나 1B로 내려갑니다.
2. 답을 짧게 받도록 지시합니다. “3줄 이내”, “한 단어로”처럼 정하면 걸리는 시간이 줄어듭니다.
3. 여러 건을 처리할 때는 사람이 기다리지 않는 방식으로 돌립니다. 퇴근 전에 걸어 두는 식입니다.

Apple Silicon Mac

M 시리즈 칩을 쓴 Mac은 구조가 다릅니다. 일반 메모리와 그래픽 메모리가 나뉘어 있지 않고 하나를 같이 씁니다(통합 메모리). 그래서 메모리가 넉넉한 Mac은 큰 모델도 그래픽 가속을 받으며 올릴 수 있습니다.

Mac에 맞춘 실행 방식인 MLX를 지원하는 도구도 있습니다. Msty Studio는 로컬 엔진으로 MLX를 지원합니다. 설치는 Mac에 설치하기를 참고하세요.

NPU는 무엇인가

최근 노트북과 스마트폰에는 NPU(신경망 처리 장치)라는 칩이 들어갑니다. AI 계산 전용 부품으로, 전기를 적게 쓰면서 작은 모델을 돌리는 데 쓰입니다. 온디바이스 AI가 퍼지는 배경이 이 칩입니다. 다만 내가 쓰는 실행 도구가 그 NPU를 지원해야 효과가 있습니다. NPU가 달려 있다고 해서 Ollama 같은 도구가 자동으로 빨라지는 것은 아닙니다.

내 PC의 속도를 직접 재 보기

사양표로 짐작하는 것보다 직접 재는 것이 정확합니다. 강의에서 쓰는 방법은 두 가지 시간을 화면에 찍는 것입니다.

• 첫 토큰까지 걸린 시간: 질문을 보낸 뒤 첫 글자가 나올 때까지입니다. 모델을 메모리로 불러오는 시간이 여기에 포함됩니다.
• 총 출력 시간: 답이 끝날 때까지입니다.

재는 순서는 다음과 같습니다.

1. 다른 프로그램을 닫습니다.
2. 같은 질문을 준비합니다. 예: “다음 글을 3줄로 요약하라”와 500자 정도의 글.
3. 모델을 실행하고 질문을 넣은 뒤 두 시간을 적습니다.
4. 같은 질문을 한 번 더 넣습니다. 두 번째는 모델이 이미 메모리에 있어 첫 토큰이 빨리 나옵니다.
5. 모델 크기를 바꿔 같은 과정을 반복하고 표로 정리합니다.

모델	첫 실행의 첫 토큰	두 번째 실행의 첫 토큰	총 출력 시간	답의 품질 메모
(1B급)
(4B급)

이 표가 있으면 “내 PC에서는 어느 크기까지가 쓸 만한가”를 숫자로 말할 수 있습니다. 코딩 도구로 Ollama 채팅 화면을 만들 때 이 두 시간을 표시하게 해 두면 편합니다.

처음 한 번이 유독 느린 이유

모델을 처음 부르면 디스크에서 메모리로 불러오는 시간이 듭니다. 이것을 콜드 스타트라고 합니다. 한 번 올라온 모델은 한동안 메모리에 남아 있어 다음 질문부터는 빨리 답합니다. 일정 시간 쓰지 않으면 메모리에서 내려가고, 다시 부르면 또 불러오는 시간이 듭니다.

엑셀이나 다른 프로그램에서 모델을 부를 때 첫 호출만 몇 초씩 멈추는 것이 이 때문입니다. 대응 방법은 Ollama가 느리거나 안 될 때 점검 순서에 있습니다.

장비를 살 때의 우선순위

새로 장비를 마련한다면 로컬 모델 기준의 우선순위는 대체로 다음과 같습니다.

1. 메모리 용량. 올릴 수 있는 모델 크기를 정합니다.
2. 그래픽카드의 전용 메모리. 속도를 정합니다. Mac이라면 통합 메모리 용량이 이 역할까지 합니다.
3. 디스크 여유. 모델 하나가 수 GB이므로 서너 개만 받아도 수십 GB가 찹니다.
4. CPU. 그래픽카드가 없을 때만 크게 영향을 줍니다.

사양별로 돌릴 수 있는 모델을 추려 주는 사이트는 모델 찾기에 모아 두었습니다.

다음에 읽을 글

• 양자화란 무엇인가
• Ollama 모델 관리: 받기, 확인, 정리