모델 관리 · 글 10편
모델 관리이 글에서 다루는 것모델별 토큰 사용량과 예상 비용을 보여 주는 Insights의 Summary 탭과 Provider 탭을 설명합니다.
Insights란
Insights는 토큰 사용 패턴을 분석해 보여 주는 화면입니다. 어떤 모델을 얼마나 쓰는지, 예상 비용이 얼마인지, 모델별로 사용량이 어떻게 나뉘는지 볼 수 있습니다.
온라인 모델은 쓴 토큰만큼 요금이 나갑니다. 여러 제공업체를 함께 쓰다 보면 어디서 비용이 많이 나가는지 감을 잡기 어려운데, Insights는 이를 한 화면에서 확인하게 해 줍니다.
먼저 알아 둘 점
- 공식 문서는 Summary와 Provider 두 탭 모두에 Aurum Perk 표시를 붙여 두었습니다. Aurum 라이선스에 포함된 기능입니다.
- 표시되는 비용과 토큰 사용량은 추정치입니다. 정확한 사용량과 요금은 각 모델 제공업체의 계정에서 확인해야 합니다.
Summary 탭
Summary 탭은 토큰 사용량과 예상 비용의 전체 요약을 보여 줍니다.
- 기간을 지정해 그 기간의 사용량 변화를 볼 수 있습니다.
- 날짜별 사용량을 색의 진하기로 나타내는 히트맵 형태의 시각화가 있습니다.
지난달에 비해 사용량이 얼마나 늘었는지, 어느 날 유난히 많이 썼는지를 확인할 때 씁니다.
Provider 탭
Provider 탭은 제공업체별로 토큰 사용량을 더 자세히 보여 줍니다.
- 제공업체 안에서 개별 모델 단위로 사용량을 나눠 볼 수 있습니다. 어떤 모델이 토큰을 가장 많이 쓰는지 찾을 수 있습니다.
- 모델의 처리량(throughput)과 지연 시간(latency) 그래프가 함께 나옵니다. 모델 사용 중 성능 문제나 병목이 있는지 확인하는 데 씁니다.
예를 들어 간단한 요약 작업까지 비싼 모델로 처리하고 있었다는 것을 Provider 탭에서 발견했다면, 그 작업은 더 가벼운 모델로 돌리는 식으로 비용을 줄일 수 있습니다.
알아 둘 점
Insights 화면을 여는 메뉴 위치는 이 문서 페이지에 적혀 있지 않습니다. 개별 답변마다 토큰 수와 지연 시간을 확인하는 방법은 답변 다루기의 Response Metrics 항목을 보세요.