외부 AI와 로컬 모델 중 무엇을 쓸지 정하는 기준

둘 중 하나만 고르는 문제가 아닙니다

외부 AI 서비스는 모델이 크고 웹 검색, 파일 생성, 전용 서비스 같은 기능이 많습니다. 로컬 모델은 작지만 질문과 문서가 내 PC 밖으로 나가지 않습니다. 대부분의 기관과 개인은 둘을 일에 따라 나눠 쓰게 됩니다.

교육과정 보드의 “보안 경계와 컨텍스트 설계” 모듈은 이 구분을 가장 먼저 다룹니다. AI에게 보여 줄 정보와 보여 주지 않을 정보를 나누고, 외부 서비스 사용과 폐쇄망 반입 기준을 정하는 내용입니다. 이 글은 그 모듈의 실습 항목을 따라 판단 순서를 정리했습니다.

판단 순서

일을 맡기기 전에 세 가지를 차례로 묻습니다.

1. 이 자료가 기관 밖으로 나가도 됩니까? 안 된다면 로컬 모델이나 기관 LLM을 씁니다. 여기서 결정이 끝납니다.
2. 웹의 최신 정보가 필요합니까? 필요하다면 외부망의 AI 검색을 씁니다. 로컬 모델은 웹을 찾아보지 못합니다.
3. 작은 모델로 되는 일입니까? 요약, 교정, 분류, 표 정리는 로컬로 충분한 경우가 많습니다. 긴 문서 여러 개를 한꺼번에 다루거나 복잡한 추론이 필요하면 외부 모델이 낫습니다.

1번이 가장 앞에 있는 이유는 나머지 둘이 편의의 문제인 데 비해 1번은 규정의 문제이기 때문입니다.

자료 등급별 판단표 만들기

보드는 “공개·내부·비공개 자료 등급별 AI 사용 판단표”를 산출물로 둡니다. 아래는 형식을 보여 주는 예시입니다. 실제 기준은 기관의 AI 이용 지침과 보안 규정이 정하며, 이 표보다 지침이 우선합니다.

자료 등급	예	외부 AI 서비스	로컬 모델·기관 LLM
공개	보도자료, 공개된 통계, 게시된 안내문	사용	사용
내부	검토 중인 보고서, 내부 회의 메모	기관 지침 확인. 넣는다면 요약·가공본으로	사용
비공개	개인정보가 든 명단, 감사·인사 자료	사용하지 않음	기관 기준 확인 후 사용

표를 만들 때 함께 정할 것이 있습니다. 모두 보드의 실습 항목입니다.

• 붙여넣기 전 마스킹 규칙. 이름, 연락처, 주민번호 같은 값을 어떻게 가릴지 정하고 체크리스트로 만듭니다.
• 가상값 실습자료. 연습할 때는 개인정보를 가상값으로 바꾼 자료를 씁니다.
• 요약·가공본 기준. 외부 AI에 원문 대신 무엇을 넣을지 정합니다. 예를 들어 기관명과 수치를 뺀 구조만 넣고 문장 다듬기를 받는 식입니다.
• 학습 데이터 사용 설정. 외부 서비스마다 입력 내용을 학습에 쓰는지 설정이 있습니다. 확인하고 끕니다.

작업 종류별로 보면

보드의 망 환경 표시를 기준으로 나누면 다음과 같습니다.

작업	로컬로 되는가	메모
문서 초안·요약·문체 변환	됨	긴 문서는 나눠서 넣습니다
맞춤법·쉬운 말·번역	됨	용어집을 함께 주면 표기가 통일됩니다
메모에서 이름·날짜·금액 뽑아 표 만들기	됨	결과를 원문과 대조합니다
수식·매크로·스크립트 코드 받기	됨	실행해 보고 오류 메시지를 다시 넣어 고칩니다
내 문서를 근거로 한 질의응답	됨	지식 베이스나 RAG 구성이 필요합니다
민원·설문 수천 건 분류	됨	코드로 모델을 부릅니다. 시간이 걸립니다
웹 검색·최신 동향 조사	안 됨	외부망에서 합니다
사진·스캔 이미지 읽기	보드는 외부망으로 표시	글자만 읽는 일은 기기 안 글자 인식으로 됩니다
이미지·영상·슬라이드 생성	대화창에서는 안 됨	별도 모델을 설치하거나 코드로 만듭니다

자세한 목록은 폐쇄망에서 할 수 있는 AI 업무와 할 수 없는 업무에 있습니다.

직접 비교해 보기

어느 쪽이 나은지는 내 업무로 직접 비교해야 알 수 있습니다. 보드에도 “같은 업무 질문을 외부 AI와 로컬 AI에 던져 답 비교하기” 실습이 있습니다.

1. 공개해도 되는 자료로 업무 질문을 세 개 만듭니다. 요약 하나, 교정 하나, 표 정리 하나가 좋습니다.
2. 같은 프롬프트를 외부 AI와 로컬 모델에 넣습니다.
3. 아래 표에 결과를 적습니다.

볼 것	외부 AI	로컬 모델
지시한 형식을 지켰는가
원문에 없는 내용을 덧붙였는가
숫자·날짜·고유명사가 맞는가
답이 나오기까지 걸린 시간
그대로 쓸 수 있는가, 고쳐야 하는가

Msty Studio에는 여러 모델을 나란히 놓고 답을 비교하는 Split Chats 기능이 있고, 로컬 모델과 온라인 모델을 대화마다 골라 쓸 수 있습니다. 비교 실습을 한 화면에서 하기에 알맞습니다. 단, 온라인 모델을 고른 대화는 질문이 해당 업체 서버로 전송되므로 비교에는 공개 자료만 씁니다.

이 비교를 해 두면 “우리 부서 요약 업무는 로컬로 충분하다”처럼 업무별 결론이 나옵니다. 보드는 이것을 “업무별 모델 선택표”로 남기게 합니다.

비용도 따져야 한다면

외부 AI를 프로그램에서 불러 쓰면 사용량만큼 요금이 나갑니다. 요금과 한 번에 넣을 수 있는 분량은 토큰으로 정해집니다. 로컬 모델은 호출마다 드는 요금이 없지만 PC나 서버를 갖추는 비용과 관리하는 수고가 듭니다.

보드의 비용 관리 모듈은 다음을 실습으로 둡니다.

• 문서 한 건 처리에 드는 토큰과 비용 계산
• 작업 난이도에 따라 저가·고가 모델 나눠 쓰기
• API 키별 월 사용 상한과 알림 설정
• 로컬 LLM 서버 구축비와 API 비용 비교

건수가 적은 일은 외부 서비스가 간단하고, 같은 일을 날마다 대량으로 돌린다면 로컬이 유리해질 수 있습니다. 실제 손익은 처리 건수와 장비에 따라 달라지므로 직접 계산해 봅니다.

섞어 쓰는 방법

둘을 이어서 쓰는 방식이 있습니다.

외부망에서 만들고 폐쇄망에서 돌리기. 보드의 대량 텍스트 분석 모듈은 “외부망은 API로, 비공개 자료와 폐쇄망은 로컬 모델로 같은 코드를 씁니다”라고 설명합니다. 공개 표본으로 외부망에서 코드와 분류 기준을 다듬은 뒤, 모델 주소만 로컬로 바꿔 실제 자료에 돌립니다.

구조는 외부, 내용은 로컬. 보고서 목차나 프롬프트 틀처럼 내용이 들어 있지 않은 부분은 외부 AI에 맡기고, 실제 자료를 넣는 단계는 로컬에서 합니다.

검토만 사람이. 로컬 모델이 분류한 결과에서 표본을 뽑아 사람이 확인합니다. 방법은 작은 로컬 모델의 한계와 검수 방법에 있습니다.

설치를 앞두고 있다면 로컬 AI 설치 전에 전산·보안 담당자에게 물어볼 것을 먼저 봅니다.