로컬 AI와 클라우드 AI는 무엇이 다른가

한 문장으로 구분하기

ChatGPT, Claude, Gemini 같은 서비스는 질문을 회사 밖 서버로 보내고 답을 받아 옵니다. 로컬 AI는 모델 파일을 내 컴퓨터에 내려받아 그 안에서 답을 만듭니다. 차이는 “어디에서 계산하느냐” 하나입니다.

강의에서는 이렇게 비유합니다. 클라우드 AI는 물어볼 때마다 본부에 무전을 치는 방식이고, 로컬 AI는 현장에서 바로 판단하는 방식입니다. 무전이 끊기면 본부 방식은 멈추지만 현장 방식은 계속 돌아갑니다. 그 대신 현장에는 본부만큼 큰 장비를 둘 수 없습니다.

용어 정리

비슷한 말이 여러 개 쓰입니다. 뜻은 조금씩 다릅니다.

용어	뜻
로컬 AI	내 PC나 사내 서버에서 모델을 직접 실행하는 방식 전체
온디바이스 AI	스마트폰, 노트북, 카메라처럼 기기 안에서 서버 없이 도는 AI
오픈소스(오픈 웨이트) LLM	모델 파일을 공개해 누구나 내려받아 실행할 수 있는 언어 모델
sLM, sLLM	매개변수가 대략 10억~100억 개 수준인 작은 언어 모델
폐쇄망	외부 인터넷과 끊어 놓은 업무망. 로컬 AI가 필요한 대표 환경

로컬 AI가 가능해진 것은 두 가지가 같이 일어났기 때문입니다. 하나는 모델 파일을 공개하는 회사가 늘어난 것이고, 다른 하나는 작은 모델의 성능이 올라간 것입니다. 예전에는 언어 모델을 돌리려면 큰 서버가 필요했지만, 지금은 수 GB짜리 모델이 사무용 노트북에서 요약과 분류를 해냅니다.

한눈에 비교

구분	클라우드 AI	로컬 AI
계산하는 곳	서비스 회사의 서버	내 PC 또는 사내 서버
질문과 문서의 이동	외부로 전송됨	PC 밖으로 나가지 않음
인터넷	반드시 필요	모델을 받을 때만 필요
모델 크기	매우 큼	PC가 감당하는 크기까지
답의 품질	복잡한 추론과 긴 글에 강함	요약, 분류, 추출 같은 단순 작업에 충분
속도	대체로 빠름	PC 사양에 따라 크게 다름
비용	구독료 또는 사용량 요금	모델과 도구는 무료, 장비는 내 것
관리	회사가 알아서 업데이트	모델 선택과 업데이트를 내가 함

어느 쪽이 더 좋다는 표가 아닙니다. 자료를 밖으로 보낼 수 있는지, 얼마나 어려운 일을 시킬 것인지에 따라 고르는 표입니다. 고르는 기준은 작업별로 로컬 모델과 온라인 모델 고르기에서 따로 다룹니다.

로컬 AI를 이루는 세 가지

로컬 AI를 쓰려면 세 가지가 필요합니다.

1. 모델 파일: Gemma, Llama, Phi, Qwen 같은 공개 모델입니다. 수백 MB에서 수십 GB까지 크기가 다양합니다. 모델 이름을 읽는 방법은 공개 모델 계열과 모델 이름 읽는 법에 있습니다.
2. 실행 도구: 모델 파일을 읽어서 실제로 답을 만들어 주는 프로그램입니다. Ollama, llama.cpp, LM Studio, Msty Studio가 여기에 해당합니다.
3. 쓰는 화면: 대화창일 수도 있고, 엑셀 셀일 수도 있고, 내가 만든 HTML 파일일 수도 있습니다. 실행 도구가 PC 안에서 주소(API)를 열어 주기 때문에 다른 프로그램이 모델을 불러 쓸 수 있습니다.

실행 도구는 무엇을 고르나

강의에서 소개하는 도구를 성격별로 나누면 다음과 같습니다.

도구	성격	맞는 사람
Ollama	터미널에서 명령 한 줄로 모델을 받고 실행. PC 안에 API 주소를 열어 줌	엑셀·파이썬·HTML 등 다른 프로그램과 연결하려는 사람
llama.cpp	Ollama보다 가벼운 실행 엔진. 직접 설정할 것이 많음	자원을 아껴야 하거나 세밀하게 조정하려는 사람
LM Studio	화면에서 모델을 검색하고 받아 대화하는 앱	명령어 없이 여러 모델을 시험해 보려는 사람
Msty Studio	로컬 모델과 온라인 모델을 한 화면에서 쓰는 작업 공간	문서 기반 답변, 모델 비교 등을 화면에서 하려는 사람

하나만 골라야 하는 것은 아닙니다. Ollama로 모델을 서버처럼 띄워 두고, 화면은 다른 앱으로 쓰는 조합이 흔합니다. Msty가 어떤 제품인지는 Msty란 무엇인가에, Ollama 설치는 Ollama 처음 시작하기에 있습니다.

처음 해 볼 때의 순서

1. 내 PC의 메모리와 그래픽카드를 확인합니다. 방법은 내 PC 사양으로 돌릴 수 있는 모델 고르기에 있습니다.
2. 실행 도구를 하나 설치합니다. 화면이 편하면 Msty Studio, 다른 프로그램과 연결할 계획이면 Ollama를 고릅니다.
3. 가장 작은 모델부터 받아 대화해 봅니다. 큰 모델은 내려받는 데 오래 걸리고, 사양이 부족하면 답이 매우 느립니다.
4. 인터넷을 끊고 같은 질문을 다시 해 봅니다. 답이 나오면 로컬에서 돌고 있다는 뜻입니다.
5. 요약, 분류, 번역처럼 내 업무에서 반복되는 작은 일 하나를 정해 시켜 봅니다.

자주 하는 오해

“로컬 AI는 ChatGPT의 무료 대체품이다.” 그렇지 않습니다. PC에서 도는 작은 모델은 복잡한 추론이나 긴 보고서 작성에서 큰 모델보다 약합니다. 쓰임새가 다릅니다.

“좋은 그래픽카드가 없으면 못 쓴다.” 작은 모델은 그래픽카드 없이 CPU만으로도 돕니다. 다만 느립니다. 자세한 내용은 CPU, GPU, 메모리가 하는 일을 참고하세요.

“로컬이면 무조건 안전하다.” 질문이 밖으로 나가지 않는다는 점은 맞습니다. 그러나 모델이 틀린 답을 그럴듯하게 만드는 문제는 로컬에서도 그대로입니다. 결과를 사람이 확인하는 절차는 여전히 필요합니다.

다음에 읽을 글

• 로컬에서 AI를 돌리는 이유와 한계
• 토큰, 컨텍스트 윈도우, 파라미터, 환각
• 용어 풀이