Msty Nexus · 글 19편Msty Nexus
  1. Msty Nexus 설치부터 첫 요청까지
  2. Fleet으로 여러 기기 관리하기
  3. Providers에서 제공업체와 엔드포인트 연결하기
  4. Local Runtimes로 로컬 엔진 설치하고 관리하기
  5. Models에서 모델 카탈로그 관리하기
  6. Presets와 route pack으로 모델 설정 고정하기
  7. Smart Routes로 요청 나눠 보내기
  8. Smart Balancer로 여러 기기에 요청 분산하기
  9. Cluster로 여러 Mac을 묶어 큰 모델 돌리기
  10. Chat Lab으로 앱 연결 전에 시험하기
  11. Data Protection으로 민감 정보 걸러 내기
  12. 게이트웨이 API로 앱 연결하기
  13. Client Tokens로 앱별 접근 관리하기
  14. Teams로 팀별 기기 접근 정하기
  15. Usage, Gauge, Activity로 사용 현황 보기
  16. Nexus Settings 항목별 안내
  17. Nexus 보안 모델 이해하기
  18. Nexus 문제 해결
  19. Nexus 요금제별 기능 차이

이 글에서 다루는 것Nexus Console의 Observe 묶음에 있는 세 화면, 요청과 토큰을 집계하는 Usage, 계정 한도와 지출을 추적하는 Gauge, 실시간 사건과 작업과 감사 로그를 보는 Activity를 한 번에 정리합니다.

세 화면의 역할

Console 왼쪽 메뉴의 Observe 묶음에는 화면이 세 개 있습니다. 이름이 비슷해 보여도 보는 대상이 다릅니다.

화면 답해 주는 질문
Usage 이 기기의 Nexus를 지나간 요청이 얼마나 되고, 모델은 얼마나 빨랐는가
Gauge 내 AI 계정의 한도와 잔여량, 지출은 어떤가. Nexus 밖의 도구까지 포함
Activity 지금 무슨 일이 일어나고 있고, 어떤 작업이 돌았고, 누가 무엇을 바꿨는가

세 화면에 공통된 원칙이 하나 있습니다. 프롬프트와 응답의 본문은 저장하지도, 보여 주지도 않습니다.

Usage

Usage는 선택된 Msty Nexus Runtime을 지나간 요청을 추적합니다. 화면은 워크스페이스 전환기에서 고른 기기를 따릅니다.

기록되는 것과 기록되지 않는 것

Nexus는 제공업체에 닿은 게이트웨이 생성 요청마다 사건 하나를 기록합니다.

기록되는 항목 기록되지 않는 항목
제공업체 ID와 모델 ID 프롬프트 글
클라이언트 토큰 ID 응답 글
성공 또는 실패 추론(reasoning) 글
제공업체가 알려 준 입력·출력·캐시 토큰 수 도구 인자
도구 이름과 횟수 자격 증명
Smart Route 결정과 fallback 이유 헤더
가속과 생성 속도 수치 제공업체 응답 원문
모델 가격을 아는 경우의 추정 비용

Gateway 문서에 따르면 음성 합성, 받아쓰기, 이미지 편집, rerank 요청은 현재 Usage에서 토큰이 집계되지 않습니다.

볼 수 있는 화면

  • 요약 합계와 일별 활동
  • 토큰과 도구 호출의 히트맵
  • 제공업체별, 모델별, 클라이언트 토큰별 분해
  • Smart Route 경로와 fallback
  • 프롬프트 캐시의 읽기 횟수, 적중률, 절감액, 재사용 토큰
  • 로컬 생성 속도와 가속 기록
  • 보고된 비용 또는 추정 비용

기간, 제공업체, 모델, 분해 기준으로 걸러 볼 수 있습니다.

업무 예를 들면(설명을 위한 예입니다), 클라이언트 토큰별 분해를 보면 어느 앱이 온라인 모델 비용의 대부분을 쓰는지 알 수 있습니다. 토큰을 앱마다 따로 발급해야 이 구분이 가능합니다.

로컬 추론 성능

지원되는 로컬 런타임에 대해 Nexus는 생성 처리량과 함께, 모델 자체의 속도와 대기·준비 시간을 구별할 수 있을 만큼의 런타임 정보를 보고합니다.

짧은 기간의 수치는 조심해서 봐야 합니다. 표본이 작으면 문제를 찾는 데는 쓸모가 있어도 안정적인 성능 기준이 되지는 못합니다.

Smart Route의 효과

Smart Route insights는 Usage의 자료로, 나눠 보낸 트래픽을 설정된 fallback과 비교합니다. 비교할 만한 트래픽이 충분히 쌓이면 요청 비중, 지연 시간, 품질 근거, 온라인 비용, 추정 절감액이 나올 수 있습니다. 결정 기록은 Smart Routes에서 봅니다.

보관 기간

Usage 보관 기간은 usage.retentionDays로 정합니다. 사내 정책상 더 짧은 기록 기간이 필요하면 배포 전에 줄여 두라고 문서는 권합니다. 기본값이 며칠인지, 이 값을 어느 화면에서 바꾸는지는 공식 문서에는 설명이 없습니다.

공개된 Usage 엔드포인트는 집계와 범위가 정해진 안전한 기록만 돌려주고, 요청 원본은 돌려주지 않습니다.

Gauge

Gauge는 한도, 초기화 시각, 지출, 계정의 남은 여유(runway)를 추적합니다. Nexus뿐 아니라 지원되는 외부 AI 도구도 대상입니다. Usage가 “이 Runtime을 지나간 요청”을 재는 것과 달리, Gauge는 “계정 쪽 사정”을 봅니다.

Gauge는 선택 기능이고 기본적으로 꺼져 있습니다. Gauge를 켠 뒤에도 외부 출처는 하나하나 따로 동의해야 연결됩니다. 켜고 끄는 설정과 보관 기간은 Settings의 Gauge 항목에 있습니다.

계정 연결하기

Gauge를 열어 지원되는 출처를 추가합니다. 제공업체에 따라 Nexus가 제시하는 연결 방식이 다릅니다. 문서가 나열한 방식은 로컬 세션, API 키, admin 키, OAuth, device flow, CLI, 로컬 파일, 사용자 지정 엔드포인트, 브라우저 세션, AWS 자격 증명입니다.

Runtime이 맡는 안내형 로그인이 제시되면 그것을 쓰라고 문서는 권합니다. 보고용 자격 증명은 쓰기 전용입니다. API 응답은 자격 증명이 있는지와 상태만 보여 주고, 값이나 로컬 참조는 보여 주지 않습니다.

어떤 제공업체와 도구가 지원되는지의 목록은 공식 문서에는 설명이 없습니다.

화면 구성

영역 내용
Dashboard 쓸 수 있는 용량의 요약과 간단한 기록
Readings 계정별로 가장 최근에 받아 둔, 민감 정보가 가려진 사실
Activity 요청했을 때만 불러오는 제공업체별 활동
Status 제공업체 상태 페이지의 상태. 로컬 자격 증명 상태와 따로 봅니다
Diagnostics 연결 상태와 받아 둔 값의 상태를 비밀 노출 없이 설명

한도와 초기화 시각

Gauge는 할당량 구간, 초기화 시각, 잔액, 크레딧, 제공업체별 안내 문구를 보여 줄 수 있습니다. 지원되는 코딩용 계정에 대해서는 지금 쓰는 계정이 다음 한 시간을 버틸지 추정할 수 있습니다.

제공업체가 알려 준 사실과 Nexus의 추정은 따로 표시됩니다.

지출, 예산, 알림

예산은 제공업체가 알려 준 지출, 추정 지출, 또는 둘 다를 기준으로 셀 수 있습니다. 고른 기준에 따라 무엇이 예산에 잡히는지가 달라집니다.

알림은 한도, 지출, 제공업체 상태를 지켜볼 수 있습니다.

한 가지는 분명히 해 둘 필요가 있습니다. Gauge의 예산은 로컬에서 거는 안전장치입니다. 제공업체 쪽의 실제 청구나 계정 한도를 바꾸지 않습니다. Gauge 예산을 넘겼다고 제공업체 요금이 멈추지는 않습니다.

추천과 경로 용량

Gauge의 추천은 고른 계정이 요청한 시간 동안 버틸 가능성이 있는지에 답합니다. 결과에는 신뢰도와 프로그램이 읽을 수 있는 이유가 붙습니다.

Smart Route는 민감 정보가 가려진 Gauge 용량 신호를 반영하도록 고를 수 있습니다. Gauge가 그 route에 설정된 fallback 정책 바깥에서 계정이나 제공업체를 바꾸는 일은 없습니다.

개인정보와 보관

Gauge는 프롬프트, 응답, 도구 내용, 제공업체 응답 원문, 자격 증명, 로컬 경로를 돌려주지 않습니다. 보관 기간은 gauge.retentionDays로 정합니다.

받아 둔 값이 오래되었거나 계정 연결이 끊겼다면, 용량 추천은 참고용으로만 봅니다.

Gauge에 자료가 없을 때

Troubleshooting 문서의 점검 목록입니다.

  • Settings에서 Gauge가 켜져 있는가
  • 출처 계정이 연결되어 있고 켜져 있는가
  • 보고용 자격 증명이 유효한가
  • 새로 고침이 끝났는가
  • 고른 기간에 자료가 있는가
  • 기대하는 수치를 그 제공업체가 실제로 내놓는가

Activity

Activity는 선택된 기기의 운영 타임라인입니다. 성격이 다른 세 가지를 나눠 보여 줍니다. 잠깐 보이고 사라지는 실시간 사건, 보관되는 백그라운드 작업, 관리 감사 로그입니다.

Live stream (실시간 흐름)

추론과 기기 사건을 일어나는 대로 보여 줍니다.

  • 요청의 접수, 대기, 시작, 완료, 실패, 중지
  • Smart Balancer의 대상 선택, 재시도, 대상 상태
  • 모델, 런타임, 내려받기, Cluster, 시스템 활동

어떤 순간을 살펴볼 때는 화면을 멈춥니다(pause). 멈춘 동안에도 새 사건은 계속 들어오고, 화면은 표시를 기다리는 사건이 몇 개인지 알려 줍니다.

실시간 화면은 임시이고 크기가 정해져 있습니다. 탭을 떠나면 메모리에 있던 표시가 지워집니다.

Jobs (작업)

오래 걸리는 변경을 추적합니다.

  • 모델 내려받기, 가져오기, 삭제, 시험
  • 모델 엔진의 설치, 업데이트, 다시 시작, 복구
  • Cluster의 설정, 시작, 정지, 용량 시험, 속도 시험
  • 모델 배포, 시험 트래픽, failure drill

진행 중, 완료, 조치 필요 상태로 걸러 볼 수 있습니다. 끝난 작업은 지울 때까지 남습니다.

작업을 멈추면 취소를 요청하는 것입니다. 일부는 이미 끝났을 수 있으므로, 다시 시도하기 전에 최종 상태를 확인합니다.

Audit log (감사 로그)

보안과 수명 주기에 관련된 변경을, 지원 요청에 써도 안전한 정보와 함께 기록합니다. 관리자만 볼 수 있습니다.

동작, 행위자, 대상으로 검색합니다. 감사 기록에는 제공업체 키, 클라이언트 토큰 원문, 프롬프트, 응답, 요청 본문 원본, 안전하지 않은 로컬 경로가 들어가지 않습니다.

문제를 추적할 때

사건이나 작업을 열면 안전한 세부 정보와 요청 식별자가 나옵니다. 이 식별자로 실패를 로컬 Runtime 로그나 진단 내보내기 자료와 맞춰 봅니다.

Smart Balancer와 Cluster 문제는 실시간 흐름에서 시작해, 해당 대상이나 구성원의 상태를 각 전용 화면에서 확인하는 순서를 문서는 권합니다.

참고한 문서