독립 가이드TypeSafe AI의 Jev를 설명하는 독립 가이드
시작하기

숫자가 답하는 질문부터 확인하기

Jev의 확률과 confidence는 어떻게 다를까?

선택지 확률과 Choice confidence의 차이를 이해하고 실측 정확도와 혼동하지 마세요.

이 템플릿 불러오기

출처 확인일 수정일 콘텐츠 버전 1

근거 유형 직접 작성한 가상의 학습 예제입니다. 모델 결과는 미리 입력하지 않았습니다.

직접 작성한 가상의 학습 예제입니다. 모델 결과는 미리 입력하지 않았습니다.

수정 가능한 시작점

이 템플릿 불러오기
1 · 확인할 글
원래 질문 또는 요청: 청구서를 어디서 다운로드할 수 있나요? 다음 달에 사용할 회사명은 어떻게 바꾸나요? 보내려는 답변: 결제 → 청구서에서 청구서를 다운로드하세요. 이후 청구서의 회사명을 바꾸려면 다음 청구일 전에 결제 → 상세 정보에서 회사명을 수정하세요.
2 · 질문
요청에 명시된 모든 부분에 답했나요?
어떤 경우에 ‘예’인가요?
명시된 모든 질문과 요청에 답하며, 답할 수 없는 경우에는 그 사실을 분명히 밝힙니다.
어떤 경우에 ‘아니요’인가요?
명시된 질문이나 요청 중 하나 이상에 답하지 않습니다.

표시된 수치는 모델의 판단 확률이며 측정된 정확도나 보장이 아닙니다. ‘예/아니요’는 작성한 기준에 대응하며, 선택지 확률은 제공한 선택지 안에서만 비교됩니다.

서로 다른 두 수치

선택지 확률은 하나의 가능한 결과를 가리킵니다. Choice confidence는 전체 분포의 모양을 요약한 값이며 가장 높은 확률의 다른 이름이 아닙니다. Noul에는 예 확률이 있지만 별도의 confidence 필드는 없습니다. 편집기가 보여 주는 것은 모델 확률이지 독립적으로 측정한 정확도가 아닙니다.

높은 예가 모델의 전반적인 능력을 증명하지는 않습니다. 약속 검사에서는 문제 가능성을, 범위 충족 검사에서는 조건이 충족된다는 판단을 나타냅니다.

답변 연습으로 이해하기

답변 범위 템플릿을 불러와 규칙과 명시된 요구사항을 먼저 확인합니다. 초안의 한 부분만 바꾸고 제안을 비교하세요. 예상 확률은 제공하지 않으며 숫자가 달라졌다는 사실만으로 개선이 입증되지는 않습니다.

편집기는 공급자의 별도 Choice confidence 필드를 노출하지 않습니다. 확률 막대를 confidence라고 바꿔 부르지 마세요.

확신하는 듯한 오류 찾기

모든 주제를 언급만 하고 답하지 않는 글과 다른 표현으로 명확히 답한 글을 시험하세요. 집중된 분포도 오해, 잘못된 질문, 맥락 부족에서 나올 수 있습니다. 숫자가 확실해 보여도 실패 사례를 검토합니다.

근거로 기준값 정하기

자동 행동에 앞서 대표적인 예제를 모아 모델 출력과 독립적으로 판단하세요. 잘못된 승인과 불필요한 사람 전달을 나누어 기록합니다. 오류의 비용에 따라 기준을 정하고 규칙 조정에 쓰지 않은 예제로 확인하세요. 보편적인 기준값은 권하지 않습니다. 사이트 기능 확인이나 개별 결과는 보정 상태나 전체 정확도를 입증하지 않습니다.

이어서 읽기: 답변이 요청을 모두 다루는지 확인하기

출처와 더 읽을거리

이 가이드는 공식 문서와 링크된 커뮤니티 보고를 근거로 합니다. 커뮤니티의 관찰 내용은 해당 작성자의 보고임을 명시합니다.

  1. TypeSafe: Confidence
  2. TypeSafe: Noul
출처를 확인하는 방법