작업별로 로컬 모델과 온라인 모델 고르기

모델을 먼저 고르지 않습니다

강의에서 모델 비교를 다룰 때 가장 먼저 하는 말은 순서에 관한 것입니다. 업무의 성격을 먼저 정하고, 그다음에 맞는 모델을 고릅니다. 반대로 하면 좋아 보이는 모델 하나에 모든 일을 밀어 넣게 됩니다.

같은 원칙이 로컬과 온라인 사이에도 그대로 적용됩니다. 물어야 할 것은 두 가지입니다.

1. 이 자료를 회사 밖 서버로 보내도 되는가.
2. 이 일이 작은 모델로 되는 일인가.

두 질문으로 나누기

	작은 모델로 되는 일	큰 모델이 필요한 일
밖으로 보내면 안 되는 자료	로컬 모델	가림 처리 후 온라인 모델, 또는 구조만 보내기
밖으로 보내도 되는 자료	어느 쪽이든. 양이 많으면 로컬	온라인 모델

네 칸을 하나씩 봅니다.

민감한 자료 + 단순한 일. 개인정보가 섞인 민원 문장을 범주로 나누기, 비공개 회의록 요약하기가 여기에 듭니다. 로컬 모델이 가장 잘 맞는 자리입니다.

민감한 자료 + 어려운 일. 비공개 자료로 긴 보고서를 써야 하는 경우입니다. 그대로는 온라인 모델에 넣을 수 없으므로 아래의 “섞어 쓰는 방법”을 씁니다.

공개 자료 + 단순한 일. 어느 쪽으로 해도 됩니다. 건수가 많아 요금이 걱정되면 로컬로 돌립니다.

공개 자료 + 어려운 일. 공개된 통계로 기획안을 쓰거나 긴 코드를 짜는 일입니다. 온라인의 큰 모델을 쓰는 것이 맞습니다.

작은 모델로 되는 일인지 판단하기

다음에 해당하면 로컬의 작은 모델로 충분한 경우가 많습니다.

• 입력이 짧습니다. 한 건이 몇 문장에서 한두 쪽입니다.
• 답의 형태가 정해져 있습니다. 범주 하나, 세 줄, 표 한 줄처럼 고정됩니다.
• 답에 필요한 정보가 입력 안에 다 들어 있습니다. 모델이 따로 알고 있어야 할 지식이 없습니다.
• 같은 형태의 일이 수십, 수백 번 반복됩니다.

다음에 해당하면 큰 모델을 쓰는 편이 낫습니다.

• 여러 문서를 읽고 종합해야 합니다.
• 최신 정보나 검색이 필요합니다.
• 결과물이 길고 구조를 직접 잡아야 합니다.
• 조건이 여러 겹이라 단계별로 따져야 합니다.

경계에 있는 일은 직접 해 보는 수밖에 없습니다. 실제 업무 문장 열 개를 뽑아 로컬 모델에 시키고, 사람이 한 결과와 비교합니다. 여덟아홉 개가 맞으면 맡기고, 절반이 틀리면 모델을 키우거나 프롬프트를 고칩니다.

온라인 모델끼리도 성격이 다릅니다

온라인 모델을 쓰기로 했다면 그 안에서도 고릅니다. 강의에서 정리한 선택 기준은 이렇습니다.

작업	맞는 유형
긴 문서 읽기, 긴 글쓰기	한 번에 읽을 수 있는 양이 크고 글쓰기에 강한 모델
일반 사무 작업	범용 대화 서비스
조사, 사실 확인	출처를 함께 보여 주는 검색형 서비스

덧붙이는 조언이 두 가지 있습니다.

• 교차 확인: 사실이 중요한 질문은 두세 개 모델에 똑같이 넣고 답을 비교합니다. 한 모델의 답에만 기대지 않습니다.
• 고정하지 않기: 모델의 순위는 한두 달 단위로 바뀝니다. 특정 회사에 묶이지 말고 흐름을 따라갑니다.

섞어 쓰는 방법 세 가지

로컬과 온라인은 하나만 골라야 하는 것이 아닙니다. 실무에서는 이어 붙여 씁니다.

1. 로컬에서 가리고, 온라인에 넘기기

로컬 모델이나 간단한 프로그램으로 이름, 전화번호, 주민번호, 주소를 먼저 가립니다. 가린 결과만 온라인 모델에 넘겨 어려운 작업을 시킵니다. 수강생들이 로컬 모델의 쓰임새로 가장 많이 꼽은 것이 이 전처리 단계였습니다.

주의할 점이 있습니다. 가림 처리를 모델에만 맡기면 놓치는 것이 생깁니다. 전화번호나 주민번호처럼 형식이 일정한 것은 규칙 기반 프로그램으로 가리고, 모델은 보조로 쓰며, 넘기기 전에 사람이 한 번 훑어봅니다.

2. 자료는 두고 구조만 보내기

엑셀 자료를 분석할 때 강의에서 쓰는 방법입니다. 자료 전체를 올리지 않고 다음만 온라인 모델에 알려 줍니다.

• 열 이름과 각 열의 뜻
• 자료의 형태(날짜 형식, 숫자 단위, 행의 개수)
• 가짜 값으로 바꾼 예시 두세 행
• 얻고 싶은 결과

그러면 모델이 수식이나 코드를 만들어 줍니다. 그 코드를 내 PC에서 실제 자료에 실행합니다. 자료는 한 줄도 밖으로 나가지 않고, 어려운 부분인 코드 작성만 큰 모델의 도움을 받습니다.

예시 프롬프트입니다.

엑셀 시트에 다음 열이 있습니다.
A: 접수일(2026-01-05 형식), B: 접수 유형(문자), C: 처리 일수(정수), D: 담당 부서(문자)
약 3,000행입니다. 실제 자료는 보여 줄 수 없습니다.

부서별·월별 평균 처리 일수를 구하는 피벗 표를 만드는 VBA 코드를 작성해 주세요.

3. 온라인에서 설계하고, 로컬에서 반복 실행하기

프롬프트를 다듬는 일은 온라인의 큰 모델과 같이 합니다. 분류 기준을 어떻게 적을지, 출력 형식을 어떻게 고정할지를 정합니다. 이때는 실제 자료 대신 지어낸 예문을 씁니다. 완성된 프롬프트를 로컬 모델의 시스템 프롬프트로 넣고, 실제 자료 수천 건은 로컬에서 돌립니다.

한 화면에서 비교하기

같은 질문을 로컬 모델과 온라인 모델에 나란히 넣어 보면 차이를 빨리 알 수 있습니다. Msty Studio에는 여러 모델을 나란히 놓고 답을 비교하는 Split Chats 기능이 있고, 로컬 모델과 온라인 모델을 대화마다 골라 쓸 수 있습니다. 설정은 첫 실행과 모델 받기를 참고하세요. 온라인 모델을 연결하면 그 대화의 질문은 해당 회사의 서버로 전송된다는 점을 잊지 않습니다.

판단표

업무를 받았을 때 위에서부터 차례로 확인합니다.

1. 자료에 개인정보나 비공개 내용이 있는가. 있으면 온라인 모델에 그대로 넣지 않습니다.
2. 조직의 규정이 온라인 AI 사용을 어디까지 허용하는가. 규정이 먼저입니다.
3. 입력이 짧고 답의 형태가 정해져 있는가. 그렇다면 로컬 모델로 시험합니다.
4. 로컬 결과가 부족한가. 프롬프트를 고치고, 그래도 부족하면 모델을 한 단계 키웁니다.
5. 그래도 안 되는가. 가림 처리나 구조만 보내는 방법으로 온라인 모델의 도움을 받습니다.
6. 어느 경우든 결과는 사람이 확인합니다.

다음에 읽을 글

• 작은 모델에서 더 중요한 프롬프트 기본기
• 업무에서 AI를 쓸 때의 안전 습관