용어 풀이

로컬 AI를 쓸 때 자주 만나는 용어를 쉬운 말로 풉니다.

모델 기본 대화와 프롬프트 문서 검색과 자료 변환 실행 도구와 연결 PC 사양과 브라우저 폐쇄망과 보안

1모델 기본11개

LLM (대규모 언어 모델): 대량의 글로 학습해 글을 이해하고 만들어 내는 AI 모델입니다. 요약, 분류, 초안 작성, 번역 같은 일을 합니다.
AI에게 이렇게 말하기: 응답이 늦거나 실패할 때 화면에 보여 줄 문구도 함께 만들어 주세요.
로컬 LLM: 인터넷 없이 내 PC나 기관 서버에서 돌리는 LLM입니다. 폐쇄망에서 요약·질의응답을 하거나 밖으로 내보낼 수 없는 문서를 다룰 때 씁니다. Ollama, LM Studio, Msty 같은 도구로 실행합니다.
AI에게 이렇게 말하기: Ollama에 설치한 모델을 쓰도록 만들고, 모델 이름은 설정 파일에서 바꿀 수 있게 해 주세요.
소형 언어 모델 (SLM): 크기를 줄여 일반 PC에서도 돌아가게 만든 언어 모델입니다. 큰 모델보다 답의 품질은 낮지만 요약, 교정, 분류처럼 범위가 분명한 일에는 쓸 수 있습니다. sLLM이라고도 부릅니다.
매개변수 (파라미터): 모델이 학습으로 얻은 숫자들입니다. 모델 이름 뒤의 4b, 12b 같은 표기는 매개변수 수를 십억 단위로 적은 것입니다. 많을수록 대체로 답이 좋아지지만 메모리가 더 필요하고 느려집니다.
가중치 (모델 파일): 학습이 끝난 모델의 매개변수를 저장한 파일입니다. 로컬 AI에서 모델을 받는다는 말은 이 파일을 내려받는다는 뜻입니다. 크기가 수 GB에서 수십 GB에 이릅니다.
오픈 웨이트 (공개 가중치): 가중치 파일을 누구나 내려받을 수 있게 공개한 모델입니다. 내 PC에서 직접 돌릴 수 있습니다. 공개되어 있어도 사용 조건은 모델마다 다르므로 라이선스를 따로 확인해야 합니다.
양자화: 모델의 숫자를 덜 정밀하게 저장해 파일 크기와 메모리 사용량을 줄이는 방법입니다. 많이 줄일수록 가볍고 빨라지지만 답의 품질이 조금 떨어집니다.
GGUF: 로컬에서 돌리는 언어 모델을 파일 하나에 담는 형식입니다. llama.cpp와 이를 바탕으로 한 도구들이 이 형식의 파일을 읽습니다. Msty Studio에서는 가지고 있는 GGUF 파일을 가져와 쓸 수 있습니다.
추론: 학습이 끝난 모델에 입력을 넣어 답을 얻는 일입니다. 로컬 AI에서 '모델을 돌린다'는 말은 추론을 내 PC에서 한다는 뜻입니다.
멀티모달: 글뿐 아니라 사진, 스캔 문서, 그래프, 음성 같은 여러 종류의 입력을 함께 다루는 것입니다. 모델마다 받을 수 있는 입력 종류가 다릅니다.
임베딩 모델: 글을 임베딩으로 바꾸는 일만 하는 모델입니다. 대화용 모델보다 훨씬 작아 사양이 낮은 PC에서도 돌아갑니다. 문서 검색(RAG)에는 대화용 모델과 별도로 임베딩 모델이 필요합니다.

2대화와 프롬프트9개

토큰: LLM이 글을 나누어 세는 단위입니다. 한 번에 넣을 수 있는 분량과 외부 서비스의 요금이 토큰으로 정해집니다.
AI에게 이렇게 말하기: 문서가 길면 나눠서 요약한 뒤 합치는 방식으로 만들고, 호출당 예상 토큰을 알려 주세요.
컨텍스트 (컨텍스트 창): LLM이 한 번에 참고하는 입력 전체입니다. 한 번에 받을 수 있는 분량의 한도를 컨텍스트 창이라고 합니다. 대화가 길어지면 앞부분을 놓칠 수 있고, 한도를 넘으면 '입력이 너무 길다'는 오류가 납니다.
AI에게 이렇게 말하기: 지금까지 정한 요구사항을 10줄로 요약해 주세요. 새 대화에서 이 요약으로 이어 가겠습니다.
프롬프트: AI에게 주는 지시문입니다. 목적, 조건, 출력 형식, 하지 말 것을 적으면 결과가 안정됩니다.
AI에게 이렇게 말하기: 제가 준 요구사항을 다시 정리해서 보여 주고, 빠진 조건을 질문해 주세요.
시스템 프롬프트: 대화를 시작하기 전에 모델에게 미리 주는 지시문입니다. 역할, 말투, 지켜야 할 규칙을 적어 둡니다. 한 줄만 바꿔도 말투와 역할이 달라집니다.
메타 프롬프트: 좋은 프롬프트를 AI에게 대신 만들게 하는 프롬프트입니다. 무엇을 어떻게 물어야 할지 모를 때 내 상황·목표·제약을 먼저 설명하고 프롬프트를 쓰게 합니다.
AI에게 이렇게 말하기: 이 작업에 쓸 프롬프트를 만들어 주세요. 먼저 필요한 정보를 질문하고, 완성본은 복사할 수 있게 코드 블록으로 주세요.
컨텍스트 주입: 질문에 맞는 자료를 골라 프롬프트에 함께 넣어 AI가 내 자료로 답하게 하는 방법입니다. 조회 결과 표, 지침 문단, 회의 메모를 붙여 넣는 것이 가장 단순한 형태이고, 자료를 자동으로 찾아 넣으면 RAG가 됩니다.
환각 (할루시네이션): AI가 그럴듯하지만 사실과 다른 내용을 답하는 일입니다. 숫자, 날짜, 고유명사, 법령 조문, 출처에서 자주 생깁니다. 원문과 대조하고 숫자는 다시 계산해 확인해야 합니다.
AI에게 이렇게 말하기: 방금 답에서 숫자·날짜·고유명사만 따로 뽑아 표로 보여 주세요. 원문과 대조하겠습니다.
에이전트: 목표를 주면 계획을 세우고 도구를 써 가며 여러 단계를 스스로 실행하는 AI입니다. 맡길 때는 목표·범위·결과 형식과, 사람 확인을 받을 지점을 함께 정해 줍니다.
코딩에이전트: 내 폴더의 파일을 직접 읽고 고치고 명령을 실행하는 AI 도구입니다. 여러 파일로 된 프로그램을 만들거나 고칠 때 씁니다.
AI에게 이렇게 말하기: 파일을 고치기 전에 계획을 먼저 보여 주고, 끝나면 바꾼 파일 목록과 확인 방법을 알려 주세요.

3문서 검색과 자료 변환14개

RAG (검색 증강 생성): 질문과 관련된 문서 조각을 먼저 찾아서 LLM에 함께 넣어 답하게 하는 방식입니다. 답변에 근거 문서를 표시할 수 있어 규정·매뉴얼 질의응답에 씁니다.
AI에게 이렇게 말하기: 문서를 나눠 검색하는 RAG로 만들고, 답변마다 근거 문서 이름과 쪽수를 붙여 주세요.
임베딩: 글의 의미를 숫자 목록으로 바꾼 것입니다. 뜻이 비슷한 문장을 찾는 데 씁니다. RAG의 문서 검색과 비슷한 민원 찾기에 들어갑니다.
AI에게 이렇게 말하기: 문서를 500자 단위로 나눠 임베딩하고, 질문과 가장 가까운 5개를 찾게 해 주세요.
벡터: 숫자를 순서대로 늘어놓은 묶음입니다. 임베딩 결과가 벡터입니다. 두 벡터가 가까우면 두 글의 뜻이 비슷하다고 봅니다.
벡터 DB: 임베딩 벡터를 저장해 두고, 질문과 가까운 벡터를 빨리 찾아 주는 저장소입니다. 문서가 많은 RAG에서 씁니다.
청크 (청킹): 긴 문서를 검색하기 좋게 나눈 조각입니다. 나누는 일을 청킹이라고 합니다. 조각이 너무 크면 관련 없는 내용이 섞이고, 너무 작으면 앞뒤 맥락이 끊깁니다.
의미 검색: 단어가 똑같지 않아도 뜻이 비슷한 글을 찾는 검색입니다. 임베딩을 써서 질문과 가까운 문단을 고릅니다.
단어 검색 (BM25): 질문에 든 단어가 얼마나 들어 있는지로 문서를 찾는 검색입니다. BM25는 그 점수를 매기는 대표적인 방식입니다. 문서번호, 조항, 고유명사처럼 정확한 단어를 찾을 때 강합니다.
하이브리드 검색: 의미 검색과 단어 검색을 함께 쓰는 방법입니다. 뜻이 비슷한 문단과 정확한 단어가 든 문단을 모두 후보로 올립니다.
색인 (인덱스): 문서를 빨리 찾으려고 미리 만들어 두는 찾아보기입니다. 문서를 고치거나 새로 넣으면 색인도 다시 만들어야 검색 결과에 반영됩니다.
지식 베이스: AI가 답할 때 근거로 삼도록 넣어 둔 문서 묶음입니다. 부서 양식, 지침, 용어집을 넣어 둡니다. Msty Studio에서는 Knowledge Stacks가 이 역할을 합니다.
OCR (글자 인식): 사진이나 스캔 이미지 속 글자를 텍스트로 바꾸는 기술입니다. 스캔한 문서는 OCR을 거쳐야 검색하거나 AI에 넣을 수 있습니다.
전사 (STT): 음성을 글로 바꾸는 일입니다. 회의 녹음을 글로 바꿔 회의록을 만들 때 씁니다. Whisper는 전사에 쓰는 모델 이름입니다.
음성 합성 (TTS): 글을 목소리로 바꾸는 일입니다. 안내 방송이나 음성 안내 파일을 만들 때 씁니다.
HWPX: 한글 문서를 XML 파일 묶음(zip)으로 저장하는 형식입니다. 코드로 열고 고칠 수 있어 문서 검색 색인을 만들거나 양식을 자동으로 채울 때 다루기 쉽습니다.
AI에게 이렇게 말하기: 기존 HWPX 양식 파일을 열어 표시한 칸만 바꾸고, 서식은 그대로 두는 방식으로 만들어 주세요.

4실행 도구와 연결13개

Ollama: 언어 모델을 내 컴퓨터에 받아 실행하는 오픈소스 도구입니다. 터미널에서 명령 한 줄로 모델을 받고 대화할 수 있으며, 다른 프로그램이 모델을 불러 쓸 수 있게 내 PC에서 API를 제공합니다.
llama.cpp: 언어 모델을 일반 PC에서 돌리게 해 주는 오픈소스 실행 엔진입니다. 여러 로컬 AI 도구가 이 엔진을 바탕으로 합니다.
Msty: 로컬 모델과 온라인 모델을 한 화면에서 쓰게 해 주는 도구입니다. 모델을 받고 실행하고 대화하는 일을 앱 안에서 처리합니다.
API: 다른 프로그램의 기능이나 데이터를 정해진 방식으로 불러 쓰는 통로입니다. 로컬 AI에서는 내가 만든 도구나 다른 앱이 Ollama 같은 실행 도구의 모델을 불러 쓸 때 나옵니다.
AI에게 이렇게 말하기: 요청 예시 하나를 먼저 만들고, 응답을 확인한 뒤 화면에 붙여 주세요.
API 키: API를 쓸 자격을 증명하는 문자열입니다. 외부 AI 서비스를 프로그램에서 부를 때 필요하고, 남이 알면 내 이름으로 요금이 나갑니다. 내 PC의 로컬 모델을 부를 때는 보통 키가 필요 없습니다.
AI에게 이렇게 말하기: API 키는 코드에 적지 말고 환경변수에서 읽게 해 주세요.
엔드포인트: API에서 특정 기능을 부르는 주소 하나입니다. 외부 서비스를 부르던 코드에서 주소를 로컬 주소로 바꾸면 같은 코드로 로컬 모델을 쓸 수 있는 경우가 많습니다.
localhost (로컬호스트): 내 PC 자신을 가리키는 주소입니다. 주소가 localhost로 시작하면 요청이 내 PC 밖으로 나가지 않습니다. Ollama의 공식 예시 주소도 localhost로 시작합니다.
포트: 한 PC 안에서 프로그램을 구분하는 번호입니다. 주소 뒤에 :11434처럼 붙습니다. 같은 포트를 다른 프로그램이 쓰고 있으면 '이미 사용 중'이라는 오류가 납니다.
AI에게 이렇게 말하기: 포트가 사용 중이라고 나옵니다. 다른 포트로 실행하거나 기존 프로세스를 끄는 방법을 알려 주세요.
터미널: 명령어를 입력해 프로그램을 실행하는 창입니다. 윈도우에서는 PowerShell이나 명령 프롬프트(CMD)를 씁니다. Ollama로 모델을 받고 실행할 때 엽니다.
AI에게 이렇게 말하기: 입력할 명령을 한 줄씩 나눠 주고, 각 명령이 무엇을 하는지 한 문장으로 알려 주세요.
오류 메시지: 프로그램이 멈춘 이유를 적은 문장입니다. 마지막 몇 줄에 원인이 적혀 있는 경우가 많습니다.
AI에게 이렇게 말하기: 오류 전체를 그대로 붙여 넣습니다. 원인을 먼저 설명하고, 고칠 부분만 바꿔 주세요.
로그: 프로그램이 실행되면서 남기는 기록입니다. 언제 무엇이 일어났는지 알 수 있어 모델이 뜨지 않거나 답이 오지 않을 때 원인을 찾는 데 씁니다.
MCP: AI가 파일, DB, 업무 시스템 같은 외부 도구와 데이터를 정해진 방식으로 호출하게 하는 연결 규격입니다.
AI에게 이렇게 말하기: 먼저 이미 만들어진 MCP 서버가 있는지 찾아 주고, 없으면 조회 기능 하나만 있는 MCP 서버부터 만들어 주세요.
JSON: { "이름": "값" } 형태로 데이터를 적는 형식입니다. API 응답과 설정 파일에 많이 쓰고, AI에게 정해진 칸에 맞춰 답하게 할 때도 씁니다.
AI에게 이렇게 말하기: 결과를 설명 없이 JSON으로만 출력하고, 필드 이름과 형식을 먼저 정해 주세요.

5PC 사양과 브라우저6개

메모리 (RAM): 프로그램이 실행되는 동안 쓰는 작업 공간입니다. 로컬 모델은 파일 전체가 메모리에 올라가므로, 모델 파일 크기보다 메모리가 넉넉해야 합니다.
GPU (그래픽카드): 많은 계산을 한꺼번에 처리하는 장치입니다. 모델을 그래픽카드에 올리면 CPU만 쓸 때보다 훨씬 빠르게 답합니다.
VRAM (그래픽카드 메모리): 그래픽카드에 달린 전용 메모리입니다. 이 용량 안에 들어가는 모델이어야 그래픽카드로 빠르게 돌릴 수 있습니다. Apple Silicon Mac은 메모리를 그래픽과 함께 씁니다.
온디바이스: 서버로 보내지 않고 지금 쓰는 기기 안에서 처리하는 방식입니다. 입력한 글, 사진, 음성이 기기 밖으로 나가지 않습니다.
WebGPU: 웹페이지가 내 PC의 그래픽카드를 쓰게 해 주는 브라우저 기능입니다. 이 기능이 있어 작은 언어 모델을 브라우저 안에서 돌릴 수 있습니다. 최신 크롬·엣지에서 됩니다.
WebAssembly (WASM): 브라우저 안에서 프로그램을 빠르게 실행하게 해 주는 기술입니다. 영상 처리 도구나 데이터베이스, 인식 모델을 설치 없이 웹페이지에서 돌릴 때 씁니다.

6폐쇄망과 보안10개

폐쇄망 (내부망): 인터넷과 분리된 기관 업무망입니다. 외부 AI 서비스와 외부 API를 쓸 수 없고, 웹페이지가 인터넷에서 불러오는 파일(CDN)도 받지 못합니다.
AI에게 이렇게 말하기: 폐쇄망에서 돌아가야 합니다. 외부 CDN·API 없이 파일만으로 동작하게 만들어 주세요.
망분리: 업무용 망과 인터넷용 망을 나누어 쓰는 방식입니다. 업무 PC에서는 인터넷이 되지 않으므로, 외부망에서 받은 자료는 기관 절차에 따라 옮겨야 합니다.
반입: 외부망에서 받은 설치 파일, 모델, 코드를 기관 절차에 따라 폐쇄망 안으로 옮기는 일입니다. 로컬 AI는 설치 파일과 모델 파일을 함께 반입해야 씁니다.
AI에게 이렇게 말하기: 폐쇄망에 반입할 수 있게 필요한 라이브러리를 모두 포함한 설치 파일 묶음으로 만들어 주세요.
온프레미스: 외부 클라우드가 아니라 기관이 직접 가진 서버나 PC에 설치해 운영하는 방식입니다. 기관 서버에 모델을 올려 직원들이 내부망에서 함께 쓰는 구성이 여기에 듭니다.
개인정보: 이름, 연락처, 주민번호처럼 사람을 알아볼 수 있는 정보입니다. AI에 문서를 넣기 전에 들어 있는지 확인해야 합니다.
AI에게 이렇게 말하기: 개인정보는 필요한 칸만 받고, AI에 보내기 전에 이름·연락처를 가리는 단계를 넣어 주세요.
마스킹 (비식별): 이름, 연락처 같은 값을 가리거나 가상값으로 바꿔 누구인지 알 수 없게 하는 일입니다. 외부 AI에 자료를 넣어야 할 때 먼저 합니다.
비밀값: API 키, 비밀번호처럼 남에게 알려지면 안 되는 값입니다. 코드나 문서에 적어 두지 않고 따로 보관합니다.
AI에게 이렇게 말하기: 코드 전체에서 비밀값이 적힌 곳을 찾아 환경변수로 옮기고, 목록을 알려 주세요.
라이선스: 모델, 코드, 글꼴, 이미지를 써도 되는 조건입니다. 상업 사용, 수정, 출처 표시 조건이 저마다 다릅니다. 공개된 모델도 업무에 쓰기 전에 라이선스를 확인합니다.
AI에게 이렇게 말하기: 이 프로젝트에 쓴 모델과 라이브러리의 라이선스를 표로 정리해 주세요.
접근 권한 (최소 권한): 사람과 프로그램에 꼭 필요한 권한만 주는 원칙입니다. AI가 문서를 읽기만 하면 되는 일에는 읽기 권한만 줍니다.
AI에게 이렇게 말하기: 이 도구에는 읽기 전용 계정만 쓰고, 쓰기·삭제 기능은 만들지 말아 주세요.
백신 오탐: 문제없는 프로그램을 백신이 악성으로 잘못 판단해 막는 일입니다. 직접 만든 실행 파일이나 새로 반입한 프로그램이 실행되지 않거나 삭제될 때 의심해 봅니다. 임의로 백신을 끄지 말고 전산 담당자에게 확인합니다.