로컬 AI 기초 · 글 11편로컬 AI 기초
  1. 로컬 AI 학습 순서 한눈에 보기
  2. 로컬 AI와 클라우드 AI는 무엇이 다른가
  3. 로컬에서 AI를 돌리는 이유와 한계
  4. 내 PC 사양으로 돌릴 수 있는 모델 고르기
  5. 토큰, 컨텍스트 윈도우, 파라미터, 환각
  6. 공개 모델 계열과 모델 이름 읽는 법
  7. 양자화란 무엇인가
  8. CPU, GPU, 메모리가 하는 일
  9. 작업별로 로컬 모델과 온라인 모델 고르기
  10. 작은 모델에서 더 중요한 프롬프트 기본기
  11. 업무에서 AI를 쓸 때의 안전 습관

이 글에서 다루는 것로컬 AI를 처음 시작하는 사람이 어떤 순서로 익히면 좋은지 여덟 단계로 정리하고, 단계마다 이 사이트에서 읽을 글을 연결합니다.

이 글의 쓰임

로컬 AI는 익힐 것이 여러 갈래로 흩어져 있습니다. 모델 고르기, 설치, 대화, 문서 검색, 코드 실행이 한꺼번에 나와 어디서부터 손댈지 정하기 어렵습니다.

이 글은 AI 업무 활용 교육과정 보드가 역량을 배치한 순서와, 그 보드의 폐쇄망 기관용 예시 과정을 바탕으로 학습 순서를 정리한 것입니다. 단계마다 이 사이트에서 읽을 곳을 붙였습니다.

AI를 쓰는 네 가지 방법

보드는 AI를 쓰는 방법을 네 가지로 나눕니다. 난이도가 아니라 어떤 화면에서 쓰느냐로 나눈 것입니다.

방법 뜻 로컬 AI에서는
대화형 AI 대화창에서 묻고 맡기기 Msty, Ollama 같은 로컬 대화창에서 요약·초안·표 정리
위임형 대화창 밖 전용 AI 서비스에 맡기기 외부망 전용입니다. 폐쇄망에서는 이 칸이 비어 있습니다
제작형 AI가 짜 준 코드를 붙여 넣어 실행하기 같은 코드에서 주소만 로컬 모델로 바꿔 일괄 처리
구축형 에이전트나 시스템을 직접 만들기 문서 질의응답, 회의록 자동화, 업무 에이전트

로컬 AI만 쓰는 환경에서는 대화형에서 제작형으로 건너가게 됩니다. 위임형에 해당하는 편리한 서비스가 없기 때문입니다. 그 빈자리는 전산 담당자가 구축형으로 만들어 채우고, 직원은 그 위에서 쓰는 구조가 됩니다.

권장 순서 여덟 단계

단계 익힐 것 읽을 곳
1 로컬 AI가 무엇이고 외부 AI와 무엇이 다른지 Msty란 무엇인가
2 내 PC의 메모리와 그래픽카드 확인, 모델 크기 고르기 내 PC 사양으로 돌릴 수 있는 모델 고르기, 모델 찾기
3 설치하고 첫 대화 해 보기 사용 가이드, Ollama 처음 시작하기
4 언어 모델이 잘하는 일 익히기 아래 “4단계에서 해 볼 실습”
5 답을 검증하는 습관 들이기 작은 로컬 모델의 한계와 검수 방법
6 내 문서를 근거로 답하게 하기 부서 문서를 로컬에서 검색하고 근거로 답하게 하기
7 코드로 여러 건을 한 번에 처리하기 로컬 모델로 데이터 정리와 회의록 만들기
8 부서가 함께 쓰는 흐름 만들기 폐쇄망에서 할 수 있는 AI 업무와 할 수 없는 업무

13단계는 준비입니다. 설치 화면을 따라가면 끝나므로 오래 머물 필요가 없습니다. 시간을 가장 많이 쓸 곳은 46단계입니다.

4단계에서 해 볼 실습

보드는 에이전트나 코드 없이 모델 자체가 잘하는 일을 먼저 익히게 합니다. 로컬 대화창에서 아래 일을 하나씩 해 보면 내 모델이 어디까지 되는지 알 수 있습니다.

  • 비정형 텍스트에서 이름·날짜·금액을 뽑아 표로 만들기
  • 흩어진 메모 여러 개를 논리 순서로 조합해 개요 만들기
  • 주장마다 근거 문장과 위치 달기
  • 맞춤법·띄어쓰기·공문체 교정과 수정 이유 표시
  • 번역과 대상별 어조 조정
  • 엑셀 수식을 VBA나 Python으로 바꾸기
  • 분류 기준을 주고 여러 건에 태그 달기

구체적인 프롬프트는 로컬 모델로 문서 업무 하기에 있습니다.

폐쇄망 기관 2일 과정 예시

보드에는 폐쇄망 기관용 2일 과정 예시가 있습니다. 혼자 공부할 때도 이 순서를 따라가면 됩니다.

시간 다루는 내용
1일차 오전 로컬 AI 대화창 준비, 보안 경계와 컨텍스트 설계, 모델이 잘하는 일, 문서 초안·요약, 나만의 문서 도우미 설정
1일차 오후 문서 파일 일괄 처리, AI와 함께 쓰는 Excel, Python 데이터 정제·분석, Office VBA 업무 도구
2일차 오전 브라우저에서 돌아가는 HTML 도구, PC 파일·반복작업 자동화, Excel 자동화
2일차 오후 RAG로 기관 지식 연결, 폐쇄망 회의록·문서 요약 파이프라인, 업무 에이전트 구축

1일차 오전이 대화형, 1일차 오후부터 2일차 오전이 제작형, 2일차 오후가 구축형입니다. 위임형은 과정에 없습니다.

설치 전에 먼저 해 볼 수 있는 것

설치 권한이 없거나 어떤 느낌인지 먼저 보고 싶다면 실습의 브라우저 데모를 엽니다. 작은 언어 모델 대화, 받아쓰기, 사진 속 글자 읽기, 문서 검색을 내 기기 안에서 실행해 볼 수 있습니다. 처음 열 때 모델을 내려받으므로 인터넷이 되는 PC에서 해 봅니다.

모르는 말이 나오면

양자화, 임베딩, 컨텍스트 같은 용어는 용어 풀이에 쉬운 말로 풀어 두었습니다. 용어마다 AI에게 그대로 말할 수 있는 문장을 함께 적었습니다.

업무 환경이 폐쇄망이라면

공공기관처럼 업무 PC에서 인터넷이 되지 않는 환경이라면 아래 글을 순서대로 읽습니다.

  1. 폐쇄망에서 할 수 있는 AI 업무와 할 수 없는 업무
  2. 외부 전용 AI 서비스를 폐쇄망에서 대신하는 방법
  3. 로컬 AI 설치 전에 전산·보안 담당자에게 물어볼 것
  4. 외부 AI와 로컬 모델 중 무엇을 쓸지 정하는 기준