로컬에서 AI를 돌리는 이유와 한계

이유 1. 자료가 PC 밖으로 나가지 않습니다

온라인 AI 서비스에 질문을 넣으면 그 내용은 서비스 회사의 서버로 전송됩니다. 개인정보가 든 민원 내용, 공개 전 보고서, 계약서 같은 자료는 이 지점에서 막힙니다.

로컬 모델은 내 PC 안에서 계산합니다. 모델을 내려받을 때 한 번 인터넷을 쓰고, 그 뒤로는 외부와 통신하지 않습니다. 강의에서는 이 구조를 두 단계로 설명합니다.

• 외부망에서 한 번: 실행 도구 설치 파일과 모델 파일(수 GB)을 받습니다.
• 내부에서 계속: 설치가 끝나면 외부 통신 없이 횟수 제한 없이 부릅니다.

인터넷이 막힌 업무망에서 AI를 쓰는 구체적인 절차는 이 사이트의 폐쇄망 시리즈에서 따로 다룹니다.

이유 2. 부를 때마다 드는 요금이 없습니다

온라인 모델을 프로그램에서 불러 쓰면 글의 양(토큰)만큼 요금이 붙습니다. 설문 주관식 답변 수천 건을 분류하거나, 엑셀 수백 행을 한 줄씩 요약하는 일은 한 건은 작아도 합치면 양이 큽니다.

로컬 모델은 모델도 실행 도구도 무료로 공개된 것이 많고, 부르는 횟수에 요금이 붙지 않습니다. 드는 것은 내 PC의 전기와 시간입니다. 그래서 강의에서는 로컬 모델을 “단순하지만 양이 많은 반복 작업”에 먼저 쓰라고 안내합니다.

이유 3. 인터넷이 없어도 돌아갑니다

와이파이를 끄고 랜선을 뽑아도 모델은 답합니다. 이동 중이거나, 통신이 불안정한 현장이거나, 외부 접속이 아예 금지된 자리에서 쓸 수 있습니다. 서비스 장애나 요금제 변경의 영향도 받지 않습니다.

덧붙여, 한 회사의 모델에만 의존하지 않게 된다는 점도 있습니다. 온라인 서비스는 정책이나 가격이 바뀌면 따라갈 수밖에 없습니다. 내 PC에 받아 둔 모델은 그대로 남습니다.

한계 1. 느립니다

사무용 PC에서 그래픽카드 없이 돌리면 답이 한 글자씩 천천히 나옵니다. 강의에서 4B급 모델을 노트북에 올려 화면에 시간을 찍어 본 적이 있는데, 첫 글자가 나오기까지 1분 넘게 걸리고 답 전체에는 수 분이 걸렸습니다. 느리지만 되기는 한다는 것을 확인하는 시연이었습니다.

속도는 모델 크기, 메모리, 그래픽카드에 따라 크게 달라집니다. 내 PC에서 얼마나 걸리는지는 직접 재 보는 것이 가장 정확합니다. 재는 방법은 CPU, GPU, 메모리가 하는 일에 있습니다.

한계 2. 큰 모델보다 덜 똑똑합니다

PC에서 도는 모델은 온라인 서비스의 대형 모델보다 훨씬 작습니다. 차이가 드러나는 일은 다음과 같습니다.

• 여러 단계를 거쳐야 하는 복잡한 추론
• 수십 쪽짜리 문서를 한 번에 읽고 종합하기
• 긴 보고서를 구조를 잡아 처음부터 쓰기
• 긴 코드 작성

반대로 간단한 질의응답, 요약, 분류는 작은 모델로도 됩니다. 그리고 작은 모델은 지시가 막연하면 결과가 크게 흔들립니다. 이 부분은 작은 모델에서 더 중요한 프롬프트 기본기에서 다룹니다.

한계 3. 관리가 내 몫입니다

어떤 모델을 받을지, 언제 새 모델로 바꿀지, 디스크가 차면 무엇을 지울지를 직접 정해야 합니다. 여러 사람이 같이 쓰려면 PC 한 대를 서버처럼 열어 주는 설정도 필요합니다. 어렵지는 않지만 누가 대신 해 주지는 않습니다.

로컬 모델에 맡기기 좋은 일

강의 수강생들이 실제로 낸 활용 아이디어와 실습 시나리오를 모으면 다음과 같습니다.

작업	예	로컬이 맞는 이유
분류	민원 문장을 환경·교통·복지 등 범주로 나누기	문장에 개인정보가 섞여 있고 건수가 많음
요약	회의록, 긴 민원을 3줄로 줄이기	원문을 밖으로 보낼 수 없음
추출	계약서에서 금액, 기간만 뽑기	문서가 비공개임
번역 초안	외국어 메일을 한글로 옮기기	건수가 많고 초안이면 충분함
가림 처리	이름·전화번호·주민번호를 가린 뒤 외부 모델에 넘기기	가리기 전 원문은 밖에 나가면 안 됨
설문 정리	주관식 응답을 주제별로 묶기	응답자 정보가 포함됨
어투 교정	문서의 선택 부분을 다듬기	짧은 글이고 반복됨

공통점은 세 가지입니다. 한 건이 짧고, 건수가 많고, 자료를 밖으로 보내기 어렵습니다.

로컬 모델에 맡기기 어려운 일

• 최신 정보가 필요한 조사: 모델은 학습한 시점 이후의 일을 모릅니다. 검색이 붙은 온라인 서비스가 맞습니다.
• 사실 확인이 중요한 답: 법령 번호, 통계 수치, 인용문은 큰 모델도 틀립니다. 작은 모델은 더 자주 틀립니다.
• 긴 문서 여러 개를 한 번에 종합: 한 번에 읽을 수 있는 양이 작습니다. 문서를 쪼개 검색해 넣는 방식(RAG)을 같이 써야 합니다.

정리

로컬 모델은 온라인 모델을 대신하는 도구가 아니라 역할이 다른 도구입니다. 강의에서 내린 결론은 이렇습니다. 속도와 성능의 한계는 분명하지만, 개인정보를 보호해야 하거나 요금을 줄여야 하는 단순 반복 작업에는 잘 맞습니다.

다음에 읽을 글

• 작업별로 로컬 모델과 온라인 모델 고르기
• 업무에서 AI를 쓸 때의 안전 습관
• Ollama 처음 시작하기