작은 로컬 모델의 한계와 검수 방법

기대를 먼저 맞춥니다

업무 PC에서 돌릴 수 있는 모델은 외부 AI 서비스의 모델보다 훨씬 작습니다. 같은 질문에 같은 수준의 답이 나오지 않습니다. 교육과정 보드가 로컬 대화창을 준비하는 실습에 “같은 업무 질문을 외부 AI와 로컬 AI에 던져 답 비교하기”를 넣어 둔 것도 이 차이를 직접 확인하게 하려는 것입니다.

그렇다고 쓸모가 없는 것은 아닙니다. 범위가 분명한 일에서는 충분히 쓸 수 있습니다. 이 글은 어디까지 맡기고 무엇을 확인해야 하는지를 정리합니다.

잘 맞는 일과 잘 맞지 않는 일

보드의 “LLM이 잘하는 일” 모듈과 망 환경 표시를 바탕으로 나누면 다음과 같습니다.

잘 맞는 일	잘 맞지 않는 일
붙여 넣은 글 요약하기	최신 소식이나 웹 자료가 필요한 조사
맞춤법·문체 교정	넣어 주지 않은 법령·통계를 기억으로 답하기
글에서 이름·날짜·금액 뽑아 표 만들기	긴 문서 여러 개를 한 번에 비교하기
기준을 주고 유형 분류하기	여러 단계를 거치는 복잡한 계산
메모를 논리 순서로 조합하기	지시가 열 개 넘게 붙은 긴 작업을 한 번에
번역 초안	전문 분야의 정확한 번역을 검토 없이

왼쪽의 공통점은 필요한 내용이 입력 안에 다 들어 있다는 것입니다. 모델이 기억에서 꺼내야 하는 일은 작은 모델일수록 틀리기 쉽습니다.

한계 여섯 가지

1. 한 번에 읽을 수 있는 분량이 정해져 있습니다

모델이 한 번에 참고하는 입력을 컨텍스트라고 합니다. 분량을 넘기면 입력이 너무 길다는 오류가 나거나, 오류 없이 앞부분을 놓칩니다. 뒤쪽이 더 위험합니다. 답은 나오는데 문서 앞쪽 내용이 빠져 있기 때문입니다.

용어 사전은 이 오류에 대해 이렇게 말하라고 안내합니다. “입력이 너무 길다고 나옵니다. 문서를 나눠 요약한 뒤 합치거나, 관련 부분만 찾아 넣는 방식으로 바꿔 주세요.” 앞의 방법은 로컬 모델로 문서 업무 하기에, 뒤의 방법은 부서 문서를 로컬에서 검색하고 근거로 답하게 하기에 있습니다.

2. 모르는 것을 아는 것처럼 답합니다

그럴듯하지만 사실과 다른 답을 환각이라고 합니다. 숫자, 날짜, 고유명사, 법령 조문, 출처에서 자주 나옵니다. 보드는 “법령 조문·논문의 실재 여부 확인”을 검증 실습에 넣어 두었습니다. 있지도 않은 조문을 번호까지 붙여 답하는 경우가 있기 때문입니다.

3. 웹을 찾아보지 못합니다

로컬 모델은 학습이 끝난 시점까지의 내용만 가지고 있고, 폐쇄망에서는 검색도 붙일 수 없습니다. 최근 개정된 규정이나 올해 통계를 물으면 옛 내용으로 답하거나 지어냅니다. 필요한 자료는 직접 넣어 줍니다.

4. 계산을 틀립니다

언어 모델은 계산기가 아닙니다. 합계, 증감률, 비중을 문장으로 쓰게 하면 틀린 숫자가 섞일 수 있습니다. 계산은 Excel에서 하고, 모델에게는 수식을 받거나 계산된 숫자로 문장을 쓰게 합니다.

5. 한국어 품질이 모델마다 다릅니다

보드는 모델을 고를 때 “PC 메모리·그래픽카드에 맞는 모델 크기와 한국어 성능 비교표 만들기”를 실습으로 둡니다. 크기가 같아도 한국어 문장의 자연스러움과 행정 용어 이해가 모델마다 다릅니다. 후보 두세 개를 같은 업무 문서로 비교해 고릅니다. 모델 후보는 모델 찾기에서 볼 수 있습니다.

6. 느립니다

그래픽카드가 없거나 모델이 사양보다 크면 답이 한 글자씩 천천히 나옵니다. 보드는 “응답 속도·메모리 사용량 점검과 모델 바꾸기”를 실습에 넣어 두었습니다. 견디기 어려울 만큼 느리면 더 작은 모델이나 더 많이 양자화한 모델로 바꿉니다. 대신 답의 품질은 조금 내려갑니다. 사양별 선택은 내 PC 사양으로 돌릴 수 있는 모델 고르기를 봅니다.

증상별 대처

증상	먼저 해 볼 것
지시한 형식을 지키지 않음	지시를 줄이고, 원하는 결과의 예시를 하나 붙입니다
원문에 없는 내용을 덧붙임	“원문에 없는 내용은 쓰지 않습니다”를 넣고, 근거 문장을 함께 적게 합니다
긴 문서의 앞부분이 빠짐	문서를 나눠 넣습니다
대화가 길어지며 앞서 정한 것을 잊음	요구사항을 요약시키고 새 대화에서 이어 갑니다
여러 일을 한꺼번에 시키면 일부를 빠뜨림	단계별로 나눠 하나씩 시킵니다
같은 질문에 답이 매번 다름	형식을 표로 고정하고, 판단 기준을 글로 적어 줍니다
영어가 섞여 나옴	“한국어로만 답합니다”를 넣고, 그래도 섞이면 모델을 바꿉니다

단계별로 나눠 시키는 방법을 보드의 프롬프트 모듈은 “긴 작업을 단계별 프롬프트 체인으로 나누기”라고 부릅니다. 큰 모델에서는 한 번에 되던 일도 작은 모델에서는 나눠야 되는 경우가 많습니다.

검수하는 방법

보드의 “결과 검증과 환각 점검” 모듈은 일곱 가지 실습을 둡니다. 폐쇄망에서도 되는 것으로 표시된 모듈입니다.

1. 인용 출처를 원문에서 역추적합니다. 답에 나온 문장이 원문 어디에 있는지 찾습니다.
2. 표·통계 숫자를 계산기와 Excel로 다시 계산합니다.
3. 두 AI에 같은 질문을 하고 차이를 비교합니다. 로컬 모델 두 개로도 할 수 있습니다. 답이 갈리는 곳이 확인할 곳입니다.
4. 법령 조문·논문이 실제로 있는지 확인합니다.
5. AI에게 스스로 반론과 약점을 찾게 합니다.
6. 업무별 검수 체크리스트를 만듭니다.
7. 숫자·날짜·고유명사만 따로 뽑아 원문과 대조합니다.

5번과 7번은 프롬프트로 바로 할 수 있습니다.

방금 쓴 요약에서 숫자, 날짜, 고유명사만 뽑아 표로 만들어 주세요.
열: 항목 / 요약에 적힌 값 / 원문에서 해당하는 문장
원문에서 찾지 못한 항목은 "원문에 없음"이라고 적어 주세요.

방금 쓴 답변을 반대 입장에서 검토해 주세요.
틀렸을 가능성이 있는 부분 세 곳과, 각각 무엇을 확인하면 되는지 적어 주세요.

모델이 만든 대조표도 틀릴 수 있습니다. 표는 사람이 원문을 찾아가기 쉽게 해 주는 도구로만 씁니다.

업무별 검수표 예시

모듈의 산출물은 “업무별 AI 결과 검수표”입니다. 아래는 형식의 예이며 부서 업무에 맞게 고쳐 씁니다.

업무	반드시 확인할 것	확인 방법
회의록	담당자, 기한, 결정사항	메모·녹음과 대조, 참석자 확인
보고서 요약	수치, 날짜, 결론의 방향	원문에서 해당 문장 찾기
공문 교정	뜻이 바뀐 곳, 기관명·직위	수정 이유 표 읽기
민원 회신 초안	근거 규정, 처리 결과	규정 원문과 대조
번역	용어, 숫자, 빠진 문장	번역문을 다시 한국어로 옮겨 비교
의견 분류	유형 판정	표본을 뽑아 사람이 다시 분류
문서 질의응답	근거 문서, 최신본 여부	표시된 출처 열어 보기

책임은 사람에게 남습니다

로컬 모델이 만든 것은 초안입니다. 보드도 위임 결과를 기관 양식으로 옮길 때 한계를 함께 적게 합니다. 결재 문서, 대외 발송 문서, 수치가 들어간 보고에는 사람이 확인한 뒤에 씁니다.

검수에 드는 시간이 직접 쓰는 시간보다 길다면 그 일은 지금 모델에 맞지 않는 일입니다. 외부 AI를 쓸 수 있는 자료인지 다시 따져 보는 방법은 외부 AI와 로컬 모델 중 무엇을 쓸지 정하는 기준에 있습니다.