Jev로 프롬프트를 알맞은 모델에 라우팅하기

어느 모델이 프롬프트를 처리할지 Jev가 고를 수 있나요?

네. TypeSafe는 활용 사례 예시에 모델 라우팅을 포함하고 있습니다. 각 프롬프트를 어느 언어 모델이 받을지 고르는 맞춤형 라우터입니다. 의도 라우팅 패턴이 그 형태를 보여 줍니다. Choice 질문 하나가 들어온 요청을 분류하고, 일반 코드가 각 분류를 데이터베이스 조회, 전문 모델, 상담원 같은 핸들러로 보냅니다.

Jev는 답변을 작성하지 않습니다. 비용이 큰 판단 앞에서 작은 판단을 내려, 일상적인 프롬프트가 추론 모델을 차지하지 않게 하고 어려운 프롬프트가 풀 수 없는 모델에 가지 않게 합니다.

수정 가능한 라우팅 템플릿 열기. 가상의 엔지니어링 프롬프트 하나와 핸들러 네 개가 들어 있습니다. 불러오면 초안만 만들어지며, 검사는 요청해야 시작됩니다.

핸들러는 용도로 설명하세요

모델 이름은 바뀌지만 역할은 더 오래갑니다. 템플릿은 각 목적지를 어떤 작업에 맞는지로 설명하고, 코드가 그 라벨을 현재 해당 역할을 맡은 모델에 연결합니다.

한 가지만 바꾸고 비교하세요

1. 템플릿을 실행하고 선택된 핸들러와 나머지 확률을 기록하세요.
2. 프롬프트를 “지원 운영 시간이 어떻게 되나요?”로 바꾸고 다시 실행하세요.
3. “계약을 해지하고 올해 요금을 환불해 주세요.”를 시도해 보세요. 자신의 정책상 소프트웨어가 이 요청을 처리해도 되는지 미리 정해 두세요.

정답은 미리 채워 두지 않았으며, 몇 번의 실행으로 라우팅 품질을 측정할 수는 없습니다. 라우터를 평가하려면 실제 프롬프트 수백 개에 자신이라면 골랐을 핸들러를 라벨로 붙이고 비교하세요. 각 실수의 비용도 함께 따져야 합니다.

confidence를 대비책으로 사용하세요

TypeSafe의 의도 라우팅 예시에서 코드는 라벨을 보기 전에 confidence부터 확인합니다. 하한에 못 미치면 어떤 분류가 선택되었든 요청은 사람에게 갑니다. confidence 기반 라우팅 패턴은 여기에 더해, 하한은 결과의 무게를 따라야 한다고 설명합니다. 해가 없는 행동에는 낮게, 돈이 움직이는 행동에는 훨씬 높게 잡습니다. 수치는 라벨을 붙인 자신의 프롬프트에서 정하세요. 문서에 나온 값은 패턴을 설명하기 위한 것이지 권장값이 아닙니다. 두 신호의 차이는 확률과 confidence의 차이에서 설명합니다.

컨텍스트를 줄이는 데 쓰면 어떨까요?

비슷한 아이디어로, 이전 메시지마다 “이 메시지가 아직 필요한가?” 같은 예/아니요 질문을 하고 나머지를 버리는 방법이 있습니다. 주의가 필요합니다. 한 커뮤니티 작성자는 2026년 9월 18일에 보고한 글에서, 단순한 관련성 필터가 장기 기억 벤치마크에서 잘해야 이득이 없었고 최악의 경우 큰 폭의 하락을 가져왔다고 밝혔습니다. 한 가지 필터링 방법을 쓴, 작성자 한 명이 보고한 단일 실험이지만 유용한 경고입니다. 버린 메시지는 뒤 단계에서 되살릴 수 없습니다. 필터에 의존하기 전에 필터가 있을 때와 없을 때의 답변 품질을 측정하세요.

라우팅 실수는 조용히 일어납니다. 더 약한 모델도 유창한 텍스트를 만들어 내기 때문입니다. 모든 판단을 로그로 남기고 표본을 검토하세요. Jev의 한계가 어디에 있는지도 확인하세요.