Msty Nexus · 글 19편Msty Nexus
  1. Msty Nexus 설치부터 첫 요청까지
  2. Fleet으로 여러 기기 관리하기
  3. Providers에서 제공업체와 엔드포인트 연결하기
  4. Local Runtimes로 로컬 엔진 설치하고 관리하기
  5. Models에서 모델 카탈로그 관리하기
  6. Presets와 route pack으로 모델 설정 고정하기
  7. Smart Routes로 요청 나눠 보내기
  8. Smart Balancer로 여러 기기에 요청 분산하기
  9. Cluster로 여러 Mac을 묶어 큰 모델 돌리기
  10. Chat Lab으로 앱 연결 전에 시험하기
  11. Data Protection으로 민감 정보 걸러 내기
  12. 게이트웨이 API로 앱 연결하기
  13. Client Tokens로 앱별 접근 관리하기
  14. Teams로 팀별 기기 접근 정하기
  15. Usage, Gauge, Activity로 사용 현황 보기
  16. Nexus Settings 항목별 안내
  17. Nexus 보안 모델 이해하기
  18. Nexus 문제 해결
  19. Nexus 요금제별 기능 차이

이 글에서 다루는 것Nexus Console의 Chat Lab에서 모델, 프리셋, route를 직접 불러 보고 응답과 성능 수치를 확인하는 방법, 생성 설정, 세션이 지워지는 조건을 정리합니다.

무엇을 하는 화면인가

모델 하나가 제대로 되는지 보려고 앱을 통째로 연결해 볼 필요는 없습니다. Chat Lab은 설정해 둔 모델, 프리셋, route pack을 Console 안에서 바로 불러 보는 화면입니다. 이때도 Nexus는 같은 게이트웨이, 토큰, 정책을 그대로 씁니다.

기기 사이드바의 Serving 묶음에 있습니다. 문서는 이 화면을 “확인을 위한 실험실”이라고 못박습니다. 별도의 챗 제품이 아닙니다. 일상 대화용으로는 Msty Studio가 따로 있습니다.

Chat Lab에서 고르는 대상은 밖의 앱이 부를 때와 같은 값입니다.

형식 종류
openai/gpt-test 모델 ID (문서의 예시 값)
default-chat 별칭 (문서의 예시 값)
@preset/<slug> 프리셋
@route/<slug> route pack

한 화면에 모인 것

  • 모델, 프리셋, route pack을 고르는 대상 선택기
  • 요청의 신원이 될 클라이언트 토큰 선택기
  • 빠른 비교를 위한 생성 설정
  • 실시간 사고 과정, 도구 활동, 성능 수치

보내기를 누르면 Nexus는 대상을 찾고, 엔드포인트 계열을 확인하고, Runtime이 가진 자격 증명으로 전달합니다. 밖에서 POST /v1/chat/completions를 부를 때와 똑같은 경로입니다.

준비

  1. Serving 아래의 Chat Lab을 엽니다.
  2. Runtime에 닿는지 확인합니다. 접근이 거부되면 기기를 새로 고친 뒤 다시 시도합니다.
  3. 클라이언트 토큰을 고릅니다. 없으면 Client Tokens에서 하나 만듭니다.
  4. 대화가 되는 대상을 고릅니다. 숨긴 모델은 선택기에 나오지 않습니다.
  5. 짧은 인사 프롬프트를 보내 경로가 통하는지 확인합니다.

고를 수 있는 대상이 없으면 먼저 Models에서 모델을 추가하거나 동기화한 뒤 돌아옵니다.

시험 순서

문서는 작게 시작하라고 권합니다. 모델 하나, 프리셋 하나, route 하나의 순서입니다.

  1. 보이는 로컬 모델이나 제공업체 모델 같은 모델 하나를 직접 고릅니다.
  2. Say hello in one line.을 보냅니다.
  3. @preset/<slug>로 바꿔 프리셋의 기본값과 덮어쓰기가 먹히는지 봅니다.
  4. @route/<slug>로 바꿔 fallback과 lane 선택을 봅니다.

Models, Presets, Smart Routes 화면에 있는 Try in chat을 누르면 그 대상이 미리 선택된 채로 Chat Lab이 열립니다.

첫 시험은 일부러 좁게 잡습니다. 믿을 만한 대상 하나와 대표적인 프롬프트 하나입니다. 기본 경로가 성공한 뒤에 변형을 늘립니다.

대상별로 확인할 것

대상 선택기는 Nexus가 무엇을 내놓을지를 고르고, 메시지는 무엇을 해 달라고 할지를 고릅니다.

대상 확인하기 좋은 것 예
모델 직접 선택 모델 하나가 닿는지 새로 받은 로컬 모델 점검
프리셋 앱을 고치지 않고 재사용 기본값이 맞는지 온도나 최대 토큰 동작 비교
route pack fallback과 경로 정책 트래픽이 의도한 lane으로 가는지 확인

같은 이름이 모델 ID와 별칭 양쪽에 있으면 모델 ID가 우선합니다. route pack은 맞는 lane이 없거나 고른 대상을 쓸 수 없으면 fallback으로 갑니다.

앱을 연결하기 전에 해 볼 네 가지

  • 대상에 대한 뻔한 인사 프롬프트
  • 실제 업무를 닮은 더 긴 프롬프트
  • 프리셋 값 덮어쓰기. 예를 들어 한 턴만 온도를 다르게
  • fallback으로 가야 하는 route pack 프롬프트

응답이 이상하면 프롬프트를 바꾸기 전에 Presets나 Smart Routes에서 대상 설정부터 고칩니다. Chat Lab은 제공 동작을 보여 줄 뿐, 대상의 정책을 저장하지 않습니다.

응답 읽기

영역 내용
Reply 스트리밍되는 글, 모델이 알려 주는 경우의 사고 요약, 도구 활동
Performance 토큰 수, 생성 속도, 시간(제공되는 경우)
History 비교와 재시도를 위해 지금 세션을 메모리에만 보관

History는 저장되지 않는다는 점을 기억해야 합니다. 다음 가운데 하나만 해도 지워집니다.

  • New chat
  • 토큰 바꾸기
  • 대상 바꾸기
  • 기기 바꾸기
  • 새로 고침

지난 세션 목록은 없습니다. 시험 결과를 남겨야 하면 따로 옮겨 적어야 합니다.

버튼은 세 가지입니다. Stop은 느린 턴을 멈추고, Retry는 마지막 응답을 다시 만들고, New chat은 세션 연속성을 지우고 새로 시작합니다.

요청 기록과 Usage에는 집계와 수치만 남고 프롬프트나 응답 본문은 저장되지 않습니다.

세션의 연속성

Nexus는 이어지는 턴을 쓸모 있는 같은 대상에 두려고 합니다. 캐시가 데워진 상태를 살리고, 바뀌지 않는 앞부분을 다른 곳에서 다시 처리하지 않기 위해서입니다.

일의 성격이 크게 바뀌면, 긴 세션 하나로 관계없는 작업까지 끌고 가지 말고 더 알맞은 대상을 직접 고르라고 문서는 권합니다.

생성 설정

설정 내용
Temperature 턴 사이의 답변 변화 폭
Maximum output tokens 최대 출력 토큰. 사고 토큰을 포함합니다
Thinking display 모델이 알려 주는 경우의 사고 표시
Current time tool 시간을 반영한 답을 위한 현재 시각 도구

Chat Lab에서 바꾼 값은 그 세션에만 적용됩니다. 저장된 프리셋의 기본값은 그대로입니다. 프리셋을 크게 바꾸려면 앱에서 기대기 전에 Presets에서 검증합니다.

관련 글은 다음과 같습니다.

한도와 접근

Chat Lab을 쓰려면 그 기기의 게이트웨이 접근 권한과 유효한 클라이언트 토큰이 필요합니다. 토큰 폐기, 모델 숨김, 추론 용량, 도구 정책은 Chat Lab에서도 그대로 적용됩니다. 관리 화면 안이라고 해서 정책을 건너뛰지 않습니다.

기기 업데이트가 필요하다고 나오면 Runtime을 업데이트한 뒤 다시 시도합니다. 기존 세션은 앞서 받은 결과를 유지하고, 새 턴부터 지금의 접근 권한과 정책을 따릅니다.

벤치마크에 관하여

Nexus 사이트와 0.6.0 변경 기록은 모델, 프리셋, cluster, load balancer, Smart Route에 대해 벤치마크를 돌릴 수 있다고 안내합니다. 그러나 Chat Lab 문서에는 벤치마크 화면의 위치나 사용법이 없고, 별도 문서 페이지도 없습니다. 이 부분은 공식 문서에는 설명이 없습니다.

참고한 문서