로컬 AI 기초 · 글 11편
로컬 AI 기초이 글에서 다루는 것로컬 AI를 처음 시작하는 사람이 어떤 순서로 익히면 좋은지 여덟 단계로 정리하고, 단계마다 이 사이트에서 읽을 글을 연결합니다.
이 글의 쓰임
로컬 AI는 익힐 것이 여러 갈래로 흩어져 있습니다. 모델 고르기, 설치, 대화, 문서 검색, 코드 실행이 한꺼번에 나와 어디서부터 손댈지 정하기 어렵습니다.
이 글은 AI 업무 활용 교육과정 보드가 역량을 배치한 순서와, 그 보드의 폐쇄망 기관용 예시 과정을 바탕으로 학습 순서를 정리한 것입니다. 단계마다 이 사이트에서 읽을 곳을 붙였습니다.
AI를 쓰는 네 가지 방법
보드는 AI를 쓰는 방법을 네 가지로 나눕니다. 난이도가 아니라 어떤 화면에서 쓰느냐로 나눈 것입니다.
| 방법 | 뜻 | 로컬 AI에서는 |
|---|---|---|
| 대화형 | AI 대화창에서 묻고 맡기기 | Msty, Ollama 같은 로컬 대화창에서 요약·초안·표 정리 |
| 위임형 | 대화창 밖 전용 AI 서비스에 맡기기 | 외부망 전용입니다. 폐쇄망에서는 이 칸이 비어 있습니다 |
| 제작형 | AI가 짜 준 코드를 붙여 넣어 실행하기 | 같은 코드에서 주소만 로컬 모델로 바꿔 일괄 처리 |
| 구축형 | 에이전트나 시스템을 직접 만들기 | 문서 질의응답, 회의록 자동화, 업무 에이전트 |
로컬 AI만 쓰는 환경에서는 대화형에서 제작형으로 건너가게 됩니다. 위임형에 해당하는 편리한 서비스가 없기 때문입니다. 그 빈자리는 전산 담당자가 구축형으로 만들어 채우고, 직원은 그 위에서 쓰는 구조가 됩니다.
권장 순서 여덟 단계
| 단계 | 익힐 것 | 읽을 곳 |
|---|---|---|
| 1 | 로컬 AI가 무엇이고 외부 AI와 무엇이 다른지 | Msty란 무엇인가 |
| 2 | 내 PC의 메모리와 그래픽카드 확인, 모델 크기 고르기 | 내 PC 사양으로 돌릴 수 있는 모델 고르기, 모델 찾기 |
| 3 | 설치하고 첫 대화 해 보기 | 사용 가이드, Ollama 처음 시작하기 |
| 4 | 언어 모델이 잘하는 일 익히기 | 아래 “4단계에서 해 볼 실습” |
| 5 | 답을 검증하는 습관 들이기 | 작은 로컬 모델의 한계와 검수 방법 |
| 6 | 내 문서를 근거로 답하게 하기 | 부서 문서를 로컬에서 검색하고 근거로 답하게 하기 |
| 7 | 코드로 여러 건을 한 번에 처리하기 | 로컬 모델로 데이터 정리와 회의록 만들기 |
| 8 | 부서가 함께 쓰는 흐름 만들기 | 폐쇄망에서 할 수 있는 AI 업무와 할 수 없는 업무 |
13단계는 준비입니다. 설치 화면을 따라가면 끝나므로 오래 머물 필요가 없습니다. 시간을 가장 많이 쓸 곳은 46단계입니다.
4단계에서 해 볼 실습
보드는 에이전트나 코드 없이 모델 자체가 잘하는 일을 먼저 익히게 합니다. 로컬 대화창에서 아래 일을 하나씩 해 보면 내 모델이 어디까지 되는지 알 수 있습니다.
- 비정형 텍스트에서 이름·날짜·금액을 뽑아 표로 만들기
- 흩어진 메모 여러 개를 논리 순서로 조합해 개요 만들기
- 주장마다 근거 문장과 위치 달기
- 맞춤법·띄어쓰기·공문체 교정과 수정 이유 표시
- 번역과 대상별 어조 조정
- 엑셀 수식을 VBA나 Python으로 바꾸기
- 분류 기준을 주고 여러 건에 태그 달기
구체적인 프롬프트는 로컬 모델로 문서 업무 하기에 있습니다.
폐쇄망 기관 2일 과정 예시
보드에는 폐쇄망 기관용 2일 과정 예시가 있습니다. 혼자 공부할 때도 이 순서를 따라가면 됩니다.
| 시간 | 다루는 내용 |
|---|---|
| 1일차 오전 | 로컬 AI 대화창 준비, 보안 경계와 컨텍스트 설계, 모델이 잘하는 일, 문서 초안·요약, 나만의 문서 도우미 설정 |
| 1일차 오후 | 문서 파일 일괄 처리, AI와 함께 쓰는 Excel, Python 데이터 정제·분석, Office VBA 업무 도구 |
| 2일차 오전 | 브라우저에서 돌아가는 HTML 도구, PC 파일·반복작업 자동화, Excel 자동화 |
| 2일차 오후 | RAG로 기관 지식 연결, 폐쇄망 회의록·문서 요약 파이프라인, 업무 에이전트 구축 |
1일차 오전이 대화형, 1일차 오후부터 2일차 오전이 제작형, 2일차 오후가 구축형입니다. 위임형은 과정에 없습니다.
설치 전에 먼저 해 볼 수 있는 것
설치 권한이 없거나 어떤 느낌인지 먼저 보고 싶다면 실습의 브라우저 데모를 엽니다. 작은 언어 모델 대화, 받아쓰기, 사진 속 글자 읽기, 문서 검색을 내 기기 안에서 실행해 볼 수 있습니다. 처음 열 때 모델을 내려받으므로 인터넷이 되는 PC에서 해 봅니다.
모르는 말이 나오면
양자화, 임베딩, 컨텍스트 같은 용어는 용어 풀이에 쉬운 말로 풀어 두었습니다. 용어마다 AI에게 그대로 말할 수 있는 문장을 함께 적었습니다.
업무 환경이 폐쇄망이라면
공공기관처럼 업무 PC에서 인터넷이 되지 않는 환경이라면 아래 글을 순서대로 읽습니다.