핵심 개념
Optra Prism은 몇 가지 핵심 아이디어 위에 세워져 있습니다.
AI 코딩 에이전트는 강력하지만 불투명합니다. 사용자는 다음과 같은 문제에 직면합니다.
- 프롬프트 피드백 부재 — 내 프롬프트가 효율적인지 낭비적인지 알 수 없습니다
- 보이지 않는 스로틀링 — 속도 제한이 아무런 가시성 없이 조용히 작업을 늦춥니다
- 비용 가시성 부재 — 세션, 모델, 패턴별 내역 없이 토큰 소비만 쌓여갑니다
- 코칭 부재 — 무엇을 개선해야 할지 알려주는 것이 없어 같은 실수를 반복합니다
- 집행 없음 — Prism은 측정하고 코칭할 뿐, 차단·게이팅·상한을 두지 않습니다
Prism은 AI 코딩 워크플로를 계측하고 그 안의 인사이트를 보여 주어 이러한 문제를 해결합니다.
지향점
섹션 제목: “지향점”좋은 프롬프트(그리고 좋은 서브세션)는 현재 세션 맥락에서 목표에 도달하는 데 최소한으로 필요한 토큰, 턴, 사람의 사고 시간(think time), 응답 지연만 씁니다.
이 네 가지 기본 값이 Prism이 매기는 모든 점수의 바탕이 됩니다.
프롬프트 점수
섹션 제목: “프롬프트 점수”Prism은 “이 사용자가 AI를 얼마나 잘 이끌고 있는가?”를 하나의 대표 숫자, 즉 프롬프트 점수로 압축합니다.
프롬프트 점수 = 프롬프트 평균 등급(APG), 0–100, 문자 등급 병기모든 프롬프트는 8개 의도 클래스(intent class)에 걸쳐 적용되는 일곱 가지 루브릭 항목으로 채점되어 문자 등급으로 집계되며, 그 등급들을 평균 내면 프롬프트 점수가 나옵니다. 대시보드 최상단에 표시되는 숫자입니다.
세 가지 보조 축이 이 대표 숫자를 여러 각도로 나누고, 그 곁에서 완료율이 결과를 함께 짚습니다.
| 지표 | 질문 | 단위 |
|---|---|---|
| 프롬프트 점수 | AI를 프롬프트마다 얼마나 잘 이끄는가? | 평균 프롬프트 등급, 0–100 |
| 속도 | 한 기간에 끝낸 작업이 얼마나 되는가? | 기간당 완료한 서브세션 |
| 역량 | 좋은 프롬프트 습관이 꾸준한가? | 역량 지수, 0–100 |
| 토큰 사용량 | 완료한 서브세션 하나당 토큰이 얼마나 드는가? | 토큰/완료한 서브세션 (낮을수록 좋음) |
| 완료율 | 채점된 서브세션 중 목표를 완료한 비율은? | 완료 ÷ 채점된 서브세션 |
서브세션은 실질 기준을 넘고 목표에 도달한 뒤 이후에 다시 손대지 않았을 때 완료로 판정되며, 이 판정은 의도별 기준을 적용하는 LLM 결과 채점기가 확인합니다. 완료율은 대표 지표가 아니라 보조 결과 지표입니다.
프롬프트 점수와 그 보조 지표가 어떻게 계산되는지는 스코어링 모델을 참고하세요.
3계층, 하나의 파이프라인
섹션 제목: “3계층, 하나의 파이프라인”Prism의 데이터 모델은 세 개의 측정 계층에 병렬 인텔리전스 파이프라인을 더한 구조입니다.
- Layer 0 — Telemetry. Claude Code에서 나오는 OpenTelemetry.
- Layer 1 — Facts. 서브세션마다 네 가지를 확정합니다. 목표에 도달했는지, 이후 다시 해야 했는지, 토큰이 얼마나 들었는지, 프롬프트를 얼마나 잘 썼는지.
- Layer 2 — Scores. 대표 지표인 프롬프트 점수(평균 프롬프트 등급, 0–100)에 보조 지표인 완료율(완료한 서브세션 ÷ 채점된 서브세션)을 더한 값.
- 프롬프트 루브릭. 모든 프롬프트를 일곱 가지 항목으로 채점하되, 그때 하려던 일에 맞는 항목만 적용합니다.
인텔리전스 루프
섹션 제목: “인텔리전스 루프”Prism은 코딩과 코칭 사이에 피드백 루프를 만듭니다.
AI로 코딩 → 텔레메트리 수집 → 채점·분석 → 인사이트 제시 → 개선 → 반복- 실시간: 대시보드 실시간 화면이 보낸 각 프롬프트를 채점하고 서브세션별 Task 어드바이저를 보여 줍니다
- 세션 단위: 백엔드가 각 프롬프트를 채점하고 각 서브세션을 스코어링합니다
- 추세 단위: 대시보드가 일·주 단위 개선을 보여줍니다
- 적정화: 사용 패턴을 바탕으로 어느 구독 등급이 맞는지 추정합니다