로컬 AI 기초 · 글 11편로컬 AI 기초
  1. 로컬 AI 학습 순서 한눈에 보기
  2. 로컬 AI와 클라우드 AI는 무엇이 다른가
  3. 로컬에서 AI를 돌리는 이유와 한계
  4. 내 PC 사양으로 돌릴 수 있는 모델 고르기
  5. 토큰, 컨텍스트 윈도우, 파라미터, 환각
  6. 공개 모델 계열과 모델 이름 읽는 법
  7. 양자화란 무엇인가
  8. CPU, GPU, 메모리가 하는 일
  9. 작업별로 로컬 모델과 온라인 모델 고르기
  10. 작은 모델에서 더 중요한 프롬프트 기본기
  11. 업무에서 AI를 쓸 때의 안전 습관

이 글에서 다루는 것무엇을 넣으면 안 되는지, 로컬이라도 조심할 것은 무엇인지, 결과를 어떻게 확인하는지를 습관 단위로 정리합니다.

먼저 구분할 것: 어디에서 계산되는가

같은 대화창처럼 보여도 질문이 가는 곳은 다릅니다. 입력하기 전에 지금 쓰는 모델이 어느 쪽인지 확인합니다.

쓰는 방식 질문이 가는 곳
웹의 AI 대화 서비스 서비스 회사의 서버
프로그램에서 온라인 모델 API 호출 서비스 회사의 서버
내 PC의 로컬 모델 내 PC 안
다른 PC에 띄운 로컬 모델을 사내망으로 호출 그 PC. 사내망 안에서 이동

한 앱 안에서 로컬 모델과 온라인 모델을 바꿔 가며 쓸 수 있는 도구에서는 특히 주의합니다. 모델 선택 칸을 보지 않고 입력하면 로컬이라고 생각한 질문이 밖으로 나갑니다.

습관 1. 온라인 모델에 넣지 않는 것을 정해 둡니다

강의 교재의 문장은 짧습니다. 개인정보와 미공개 자료를 프롬프트에 입력하지 않습니다. 구체적으로는 다음과 같습니다.

  • 이름, 주민등록번호, 전화번호, 주소, 계좌번호
  • 민원 원문, 상담 기록, 인사 자료
  • 공개 전 보고서, 계약서, 내부 회의록
  • 비밀번호, 접속 키, 서버 주소

조직에 AI 사용 규정이 있으면 그것이 먼저입니다. 규정이 없거나 모호하면 담당 부서에 묻고, 답을 받기 전에는 넣지 않습니다.

습관 2. 자료 대신 구조를 보냅니다

온라인 모델의 도움이 필요한데 자료를 보낼 수 없을 때 쓰는 방법입니다.

  1. 열 이름, 자료 형태, 행의 개수만 설명합니다.
  2. 예시가 필요하면 가짜 값으로 두세 행을 만듭니다.
  3. 원하는 결과를 말하고 수식이나 코드를 받습니다.
  4. 받은 코드를 내 PC에서 실제 자료에 실행합니다.

자료는 PC에 그대로 있고, 밖으로 나간 것은 표의 생김새뿐입니다. 자세한 예시는 작업별로 로컬 모델과 온라인 모델 고르기에 있습니다.

습관 3. 가리고 나서 보냅니다

원문 자체가 필요한 작업이라면 식별 정보를 먼저 가립니다.

가릴 것 바꾸는 예
이름 [이름1], [이름2]
전화번호, 주민번호 [전화], [주민번호]
주소 시·군·구까지만 남기기
기관·회사 이름 [기관A], [업체B]
금액, 날짜 필요한 경우 범위로 바꾸기

형식이 일정한 번호류는 프로그램의 규칙으로 가리는 것이 정확합니다. 모델에게만 맡기면 일부를 놓칩니다. 가린 뒤에는 보내기 전에 한 번 읽어 봅니다. 이름을 가려도 직책과 날짜, 장소가 겹치면 누구인지 드러나는 경우가 있습니다.

습관 4. 결과를 확인하고 씁니다

모델은 틀린 내용을 자신 있게 씁니다. 로컬 모델이든 온라인 모델이든 같습니다. 강의에서 반복하는 원칙은 AI의 답을 결재 문서에 그대로 올리지 않는다는 것입니다.

확인할 것은 정해져 있습니다.

  • 숫자: 금액, 건수, 비율은 원자료와 대조합니다.
  • 날짜와 기한: 요약 과정에서 바뀌는 일이 있습니다.
  • 법령·규정 번호: 존재하지 않는 조항을 만들어 내는 일이 흔합니다. 원문을 찾아 확인합니다.
  • 고유명사: 사람 이름, 기관 이름, 제품 이름의 철자를 봅니다.
  • 인용문: 원문에 실제로 그 문장이 있는지 찾습니다.

사실이 중요한 질문은 두세 개 모델에 똑같이 넣어 봅니다. 답이 서로 다르면 사람이 직접 확인해야 한다는 신호입니다.

많은 건수를 한꺼번에 처리했다면 전부 볼 수 없으므로 일부를 뽑아 확인합니다. 100건 중 10건을 무작위로 골라 사람이 한 결과와 비교하고, 틀린 비율이 높으면 프롬프트를 고쳐 다시 돌립니다.

습관 5. 로컬이라도 확인할 것이 있습니다

질문이 밖으로 나가지 않는다고 해서 모든 것이 해결되지는 않습니다.

모델을 어디서 받았는가. Ollama 라이브러리와 Hugging Face의 원 제작사 페이지처럼 출처가 분명한 곳에서 받습니다. 누가 변환해 올렸는지 알 수 없는 파일은 피합니다.

라이선스가 업무 사용을 허용하는가. 공개 모델이라도 사용 조건은 제각각입니다. 모델 페이지의 라이선스 항목을 읽습니다.

연결한 프로그램이 밖으로 보내지 않는가. 모델은 로컬이어도, 그것을 부르는 화면이나 스크립트가 외부 주소로 통신할 수 있습니다. AI가 만들어 준 코드를 쓸 때는 강의의 점검 항목을 확인합니다.

  • 코드 안에 외부 주소로 보내는 호출이 없는가. 주소가 localhost인지 봅니다.
  • 내려받아 쓰는 외부 라이브러리가 무엇인지 목록으로 확인했는가.
  • 모델이 꺼져 있을 때 오류 안내가 나오는가. 조용히 다른 곳으로 넘어가지 않아야 합니다.

API를 사내망에 열었는가. PC 한 대의 모델을 여러 사람이 쓰도록 열면 편하지만, 기본 상태의 Ollama API에는 사용자 확인 절차가 없습니다. 주소를 아는 사람은 누구나 부를 수 있습니다. 열기 전에 사무실 네트워크에서 한 대의 모델 같이 쓰기의 주의 사항을 읽습니다.

대화 기록이 PC에 남는다는 점. 로컬 앱은 대화 내용을 내 PC에 저장합니다. 여럿이 쓰는 PC라면 민감한 대화는 끝난 뒤 지웁니다. 노트북을 잃어버리면 그 안의 기록도 같이 나갑니다.

습관 6. 받은 코드는 작은 자료로 먼저 돌립니다

AI가 만든 매크로나 스크립트를 실제 자료에 바로 실행하지 않습니다.

  1. 원본 파일을 복사해 둡니다.
  2. 열 줄 정도의 작은 자료로 먼저 돌립니다.
  3. 결과가 맞는지 손으로 확인합니다.
  4. 전체 자료에 실행합니다.

파일을 지우거나 덮어쓰는 코드는 특히 조심합니다. 무엇을 하는 코드인지 모르겠으면 모델에게 한 줄씩 설명해 달라고 요청한 뒤 실행합니다.

입력하기 전 5초 점검

  • 지금 선택된 모델이 로컬인가, 온라인인가
  • 붙여 넣으려는 글에 이름, 번호, 주소가 있는가
  • 이 자료를 밖으로 보내도 된다는 근거가 있는가
  • 결과를 어디에 쓸 것이며, 누가 확인할 것인가

다음에 읽을 글