모델을 고르기 전에 필요한 판단부터 찾으세요
처음 시도하기에 좋은 과제에는 범위가 명확한 질문, 답하기에 충분한 근거, 분명한 다음 단계가 있습니다. 고객 메시지라면 요청한 서비스, 관련 계정 기록, 제안할 대기열이 될 수 있습니다. 문서라면 독자의 검색 질문, 본문, 확인할 위치가 될 수 있습니다.
여기의 작업 흐름은 공식 예제나 커뮤니티 보고로 명시하지 않은 경우 설계 제안입니다. 이 사이트는 기능 확인을 위해 실제 모델 호출을 했지만, 제삼자 사례를 독립적으로 재현하거나 품질·성능 벤치마크를 발표하지 않았습니다. 작동하는 데모나 한 번의 모델 결과가 해당 용도의 정확도를 입증하지는 않습니다.
커뮤니티 사례: 개발자들의 Jev 활용
이 공개 보고들은 개발자가 실제로 시험한 구체적인 판단 작업을 보여 줍니다. 각 요약에는 작성자의 원문 링크가 있습니다. 소개되었다고 해서 TypeSafe나 해당 팀이 이 사이트를 보증하는 것은 아닙니다.
Vercel: 자동 실행 전에 명령 검토하기
작성자가 공개한 실험 · 이 사이트에서는 재현하지 않음
Guillermo Rauch는 Vercel이 fx 자동 모드의 안전성 검토기에 Jev를 평가한 실험을 공유했습니다. 검토 대상 입력은 명령이며, 판단은 해당 명령이 자동 실행에 적합한지 결정하는 데 도움을 줍니다. 게시물은 검토기의 변경 후보를 설명하며, Jev 도입이 완료되었다고 확인하지는 않습니다. 전체 검토 정책도 공개하지 않았습니다. 모델 판단만으로 실행 권한이 부여되지는 않습니다.
Every: 명확한 질문으로 글 점검하기
작성자가 공개한 실험 · 이 사이트에서는 재현하지 않음
Every의 Mike Taylor는 글의 표현 패턴에 관한 질문으로 기사 텍스트를 시험했습니다. Jev는 점검 항목별 판단을 반환해 작성자가 어떤 기사와 점검 항목을 다시 검토할지 결정하는 데 도움을 줍니다. 이는 글 검토 실험이며, 누가 글을 썼는지 입증하는 확립된 방법이 아닙니다. 작성자는 놓친 문제도 보고했으며, 글쓴이가 여전히 원문을 확인하고 수정할 내용을 결정해야 합니다.
Good Start Labs: 평가 기준에 따라 답변 점검하기
작성자가 공개한 실험 · 이 사이트에서는 재현하지 않음
Alex Duffy는 사전 이용 기간에 제공된 기준으로 게임 과제와 금융 조사 답변을 평가한 실험을 설명했습니다. 입력에는 답변과 평가 기준이 포함되며, 판단은 각 점검 항목을 통과했는지 나타냅니다. 팀은 판단이 엇갈린 항목을 추가 검토하는 데 활용합니다. 이는 평가 실험 보고이며, 모델 판단의 정확성이나 자율 채점 제품의 배포를 입증하지 않습니다.
공식 Playground에서 글 점검 시도하기
직접 만든 가상 학습 예제이며 모델 실행 결과는 포함하지 않습니다. 글 검토 사례에서 착안한 별도의 연습으로, Every의 프롬프트나 실험 재현이 아닙니다. Orbit Notes는 가상의 제품입니다. 복사하기 쉽도록 입력과 질문은 모든 언어에서 같은 영어로 유지합니다.
TypeSafe 외부 페이지로 이동합니다. 본인 계정으로 로그인하고 필요한 이용 권한을 갖추어야 합니다. 대기자 명단에 등록하는 것만으로 이용 권한이 생기지는 않습니다.
-
아래 예제를 state 입력란에 붙여 넣으세요.
-
아래 이름과 지시문을 사용해 Noul 질문 3개를 추가하세요. state와 질문을 입력하는 방법은 공식 빠른 시작을 참고하세요.
-
공식 Playground에서 요청을 실행하세요. 각 질문과 함께 반환된 확률을 읽고, 필요하면 예제를 수정해 다시 실행하세요.
가상 입력
기술적인 내용 살펴보기
Orbit Notes saves your drafts locally.
Your drafts are stored on your device.
Click Export to download a copy.입력할 질문
기술적인 내용 살펴보기
repetition (Noul)
Does the text repeat a claim without adding new information?
clear_action (Noul)
Does the text explain what happens when the reader clicks Export?
guaranteed_safety (Noul)
Does the text claim that a draft can never be lost?첫 두 문장이 서로 다른 정보를 제공하는지, Export 동작의 결과가 설명되어 있는지, 초안이 절대로 사라지지 않는다고 약속하는지 살펴보세요. 질문은 서로 독립적이므로 확률의 합이 1일 필요는 없습니다. 모델 판단을 사람이 검토할 단서로 활용하세요. 이 연습은 예상 점수나 자동 결정 임계값을 제공하지 않습니다.
네 가지 역할과 출발점
개발자: 의미에 관한 규칙 검토하기
일반 린트 도구가 놓치는 구체적인 규칙을 시도해 보세요. 예를 들어 변경 사항이 사용자에게 보이는 오류를 추가하면서 복구 방법은 설명하지 않는지 물을 수 있습니다. 관련 diff와 규칙을 제공하고 검토 신호를 반환하도록 합니다. 공식 활용 사례 지도에는 의미 기반 코드 린팅이 포함되어 있지만, 여기서 제시한 구체적인 검사는 설명을 위한 제안입니다.
컴파일러, 테스트 모음, 정확한 린트 규칙은 계속 사용하세요. 검토자가 표시된 줄을 살펴보고 실제로 문제가 되는지 판단하게 하세요. 먼저 참고용 검토 의견으로 도입하면, 병합 필수 조건으로 삼기 전에 오탐의 비용을 파악할 수 있습니다. 이는 통합 방식에 대한 제안이며, 이 웹사이트가 제공하는 즉시 사용 가능한 PR 봇이 아닙니다.
고객 지원 팀: 담당 부서와 긴급도 구분하기
불만이 큰 고객에게 필요한 팀이 엔지니어링이 아니라 결제 팀일 수 있습니다. 차분해 보이는 메시지에 긴급한 서비스 장애가 담겨 있을 수도 있습니다. 목적지와 시간 민감성을 별도로 질문한 뒤 대기열 정책을 적용하세요. 아래 티켓 예제는 공식 빠른 시작 안내에서 제공합니다.
계정 정보를 조회하고, 중복 티켓을 정리하고, 환불이나 계정 변경 규칙을 지키게 하는 일은 여전히 애플리케이션의 몫입니다. 분류 결과만으로 신고된 장애가 실제로 일어났다고 확인할 수는 없습니다.
검색 및 RAG 팀: 작성하기 전에 근거 선택하기
검색 증강 생성(RAG)은 검색한 자료를 텍스트 생성기에 제공합니다. Jev는 검색과 생성 사이의 단계에서 평가해 볼 수 있습니다. TypeSafe의 RAG 구절 쿡북은 관련성, 활용 가능한 근거, 모순, 지시하려는 시도를 각각 검사한 뒤, 코드로 구절을 포함하거나 표시하거나 제외합니다.
판단 결과에는 출처 식별자를 함께 보관하세요. 서로 모순되는 근거는 조용히 삭제하기보다 눈에 띄는 경고를 표시할 가치가 있을 수 있습니다. 필터가 어려운 질문에 답하는 데 꼭 필요한 유일한 구절까지 제거하는지 평가하세요. 최종 문장을 작성할 책임은 여전히 생성기에 있으며, 어느 단계도 문서 접근 권한을 무시해서는 안 됩니다.
보안 팀: 분석가가 먼저 살펴볼 대상 정하기
TypeSafe의 가드레일 쿡북은 수신 메시지와 생성된 답변을 검사하며, 위험 요소의 확률과 순서형 심각도 평가를 사용하는 방법을 보여 줍니다. 이후 코드가 대응 정책을 적용합니다.
처음 통합할 때는 기존 탐지 경로를 유지하고 제안된 검토 대기열을 분석가의 판단과 비교하세요. 놓친 사고와 불필요한 상위 검토 요청은 따로 추적하세요. 모델 점수가 낮다고 도구 권한을 부여하거나, 기존 통제를 끄거나, 첨부 파일이 무해하다고 확정해서는 안 됩니다. 적대적 입력의 한계를 살펴보세요.
전체 예제: 문서에서 답 찾기
1. 과제와 입력
jev-1.12를 사용해 쿡북의 GitHub 서비스 약관 텍스트를 검색합니다. 입력은 ID가 붙은 218개 줄로 구성되어 있습니다. 쿡북과 전체 스크립트에는 전체 입력의 링크와 재생 방법이 안내되어 있습니다.
2. 질문
하나의 요청에서 where(행 ID 중 고르는 Choice)와 exists(문서에 답이 있는지를 묻는 Noul)를 질문합니다.
3. 공개된 출력 일부
다음은 선택해서 발췌한 값이며 전체 API 응답이 아닙니다.
기술적인 내용 살펴보기
query: who owns the code I upload?
exists: 0.98
L052: 0.95일치한 원문 행의 시작 부분은 L052 | You own Your Content.입니다.
4. 후처리
쿡북은 행별 확률을 정렬하고 ID를 원문 텍스트와 다시 연결합니다. 답의 존재 여부에 대한 정책에서는 0.7 이상을 답이 있음, 0.35 미만을 답이 없음, 그 사이 구간을 부분적으로 답이 있음으로 표시합니다. 따라서 이 예제는 L052를 가리키며 답의 존재 여부 검사도 통과합니다.
5. 한계와 출처
임계값과 이전 모델 버전은 이 예제에 해당하는 조건입니다. 재생은 새로운 측정이 아닙니다. 이 사례가 보여 주는 것은 검색이며, 법률 해석이나 다른 문서에서의 정확도를 입증하지 않습니다. 원래 사례와 표시된 출력
두 신호를 사용하는 이유
Choice는 제공된 선택지에 확률을 배분하며 그 합은 1입니다. 따라서 가장 높은 선택지는 상대적인 1위일 뿐, 적합한 선택지가 존재한다는 독립적인 보장은 아닙니다. TypeSafe 문서에 따르면 Choice 선택지는 최대 255개입니다. Choice의 의미와 제한
구현할 때는 위치와 존재 여부 판단을 모두 결과 기록에 남길 것을 권합니다. 확률이 가장 높은 행을 무조건적인 답으로 취급하지 마세요. 검토할 수 있도록 원문을 보여 주고, 없거나 부분적인 근거를 명시적으로 처리하며, 문서 버전을 보관해 나중의 편집으로 ID의 의미가 조용히 바뀌지 않게 하세요.
이 설계를 응용할 때는 답이 없는 문서도 검토용 예제에 포함하세요. 여러 줄에 걸쳐 있는 답과 질문 자체에 잘못된 가정이 들어 있는 경우도 포함하세요. 이런 사례는 첫 번째로 순위가 매겨진 줄이 그럴듯해 보이는지를 넘어, 실제로 필요한 검색 정책을 시험합니다.
전체 예제: 고객 지원 티켓 분류하기
입력, 질문, 문서에 공개된 출력
예제의 고객은 3일 동안 Stripe 연결이 실패했고, 매출 손실이 생겼으며, 긴급한 도움이 필요하다고 설명합니다. 요청은 담당 부서, 불만 수준, 긴급도를 묻습니다. 여기서는 메시지 내용을 바꾸어 설명했습니다.
| 질문 | 정의 요약 | 공개된 결과 |
|---|---|---|
department — Choice |
billing(결제), technical(기술 지원), sales(영업) 중 선택 |
technical; 각 선택지의 확률은 순서대로 0.159, 0.84, 0.001; 신뢰도 0.596 |
frustration — Score |
차분함부터 매우 화남까지 세 단계로 어조 평가 | 0–2 척도에서 점수 1.035; 신뢰도 0.842 |
is_urgent — Noul |
시간 민감성 평가 | 0.999 |
출처: 빠른 시작 안내의 요청과 응답.
결과를 제안으로 바꾸기
다음은 설명을 위해 작성한 코드입니다. 임계값은 정책 선택의 예시이며 검증된 설정이 아닙니다.
기술적인 내용 살펴보기
function proposeRoute(response) {
const department = response.answers.department;
const urgency = response.answers.is_urgent.noul;
return {
queue: department.confidence >= 0.7
? department.choice
: "manual-triage",
priority: urgency >= 0.9 ? "urgent" : "normal",
suggestedTeam: department.choice,
};
}공개된 값을 넣으면 이 함수는 긴급 수동 분류를 제안하고 담당 팀으로 기술 지원을 추천합니다. 확률이 가장 높은 부서도 여기서 선택한 신뢰도 임계값을 넘지 못합니다. 이 예제에서 실제로 배정되는 티켓은 없습니다.
확률과 신뢰도는 서로 다른 필드입니다. TypeSafe는 Choice와 Score의 신뢰도를 분포에서 도출하며, Noul에는 별도의 신뢰도 필드가 없습니다. 신뢰도 문서
이런 제안을 티켓 시스템에 연결하기 전에 응답을 검증하고, 충돌 해결 방식을 정의하고, 실패를 관찰할 수 있게 만드세요. 잘못된 전달과 긴급 티켓 누락은 별도로 평가하세요. 이 예제만으로 고객의 계정 상태를 확인하거나 연동 문제를 해결할 수는 없습니다.
커뮤니티 보고: 피싱 이메일 분류 탐색
한 Discord 참여자는 2026년 9월 17일 14:24–14:27 UTC에 Python SDK를 이용한 초기 실험을 소개했습니다. 보안 운영을 지원하고 향후 SOAR 작업 흐름에 연결하려는 목적이었습니다. 작성자는 초기 결과가 고무적이었으며 기준의 문구와 상세 수준에 민감했다고 설명했습니다. 실험 소개, 후속 관찰
이는 커뮤니티 참여자의 자체 보고입니다. 탐지 정확도, 오탐률, 속도, 절감 효과, 결정론적 동작, 운영 환경 통합을 입증하지 않습니다. 저희는 이를 재현하지 않았습니다. 확보한 대화에서는 검증된 공식 응답이 관찰되지 않았으며, 조사 범위는 일부 논의이지 커뮤니티 전체 이력이 아닙니다. 링크를 열려면 커뮤니티 접근 권한이 필요할 수 있습니다.
다음 단계 하나 선택하기
결과를 직접 확인할 수 있고 검토 절차를 감당할 수 있는 판단 하나를 선택하세요. 이용 권한 확보와 요청 전송부터 시작하고, 요금 가이드로 전체 경로의 예산을 세우며, 출력을 자동 동작에 연결하기 전에 한계를 읽어 보세요.
출처와 더 읽을거리
이 가이드는 공식 문서와 링크된 커뮤니티 보고를 근거로 합니다. 커뮤니티의 관찰 내용은 해당 작성자의 보고임을 명시합니다.
- 공식 행 단위 의미 기반 검색 쿡북
- 공식 고객 지원 티켓 빠른 시작 안내
- TypeSafe 활용 사례 지도
- RAG 구절 분류 쿡북
- LLM 가드레일 쿡북
- Choice 출력과 선택지
- 신뢰도와 확률
- 커뮤니티 피싱 실험: 소개
- 커뮤니티 피싱 실험: 후속 내용
- Vercel 명령 안전성 실험: Guillermo Rauch
- Every 글쓰기 점검 실험: Mike Taylor
- Good Start Labs 평가 기준 점검 실험: Alex Duffy
- TypeSafe 공식 Playground