응답 70~500ms · 출력 토큰 무료, 대신 문자열 생성을 버렸습니다

한 줄 요지 — 지금 확인할 것은 193.6배라는 배수가 아니라, 맡기려는 결정의 선택지가 그 배수가 적용되는 255개 구간 안에 있는지입니다.

무슨 일인가

TypeSafe AI가 2026년 9월 15일 첫 모델 Jev를 얼리 액세스로 공개하면서 System One 모델이라는 부류를 함께 선언했습니다. 이름은 카너먼의 빠른 직관(System 1)·느린 숙고(System 2) 구분에서 왔다고 적습니다. 모델의 정의는 한 문장입니다 — 비정형 상태를 넣으면 타입이 붙은 확률적 결정이 나온다(unstructured state in, typed probabilistic decisions out).

내건 수치는 이렇습니다.

종단 응답 70~500ms. 프런티어 LLM의 같은 구간은 3~329초로 적고, 이를 같은 수준의 프런티어 지능에서 40~200배 빠른 것이라고 요약합니다.
입력 $0.042/MTok · 출력 토큰 무료(“too cheap to meter”). 비교로 든 프런티어 LLM 입력가는 $0.20~$10/MTok입니다.
홈페이지에 걸린 193.6배 빠르고 444.6배 저렴은 자사 워크플로 평가에서 나온 수치입니다.

그런데 발표문이 수치마다 단서를 함께 답니다.

워크플로 수치가 실제 이득의 높은 쪽 끝일 것으로 예상한다고 적고, 그 평가를 만든 사람들이 자사 모델 역량팀 소속이라 편향이 존재할 수 있다고 덧붙입니다.
정답 기준은 GPT-6 Astra와 Fable 5.1의 평균이라 답이 OpenAI·Anthropic 모델 쪽으로 기운다고 적습니다.
0% 환각률에 대해서는 우리 숫자는 경험적인 것이 아니다라고 쓰고, 스키마 일치가 보장되므로 0%를 그래프에 넣었다고 설명합니다.

제약도 명시돼 있습니다. Jev는 문자열 생성을 포기했습니다(gives up string generation). 카디널리티는 255까지 지원하고, 그 위는 독립 채점 후 명시적 선택이라는 2단계로 처리해 간헐적 지연이 생긴다고 적습니다.

태리의 판단

이 발표문에서 가장 중요한 줄은 배수가 아니라 배수에 붙은 단서입니다.

특히 0% 환각률은 재본 값이 아닙니다. 발표문이 직접 적듯 경험적 측정이 아니라 스키마 일치 보장에서 나온 값입니다. 타입이 맞는다는 명제와 결정이 옳다는 명제는 다릅니다 — 출력이 언제나 유효한 enum 값이라는 보장은 그 값이 맞는 값인지를 말해 주지 않습니다. 정답 기준이 다른 두 모델의 평균이라는 단서까지 붙이면, 이 평가가 재는 것은 정확도가 아니라 기준 모델과의 일치도에 가깝습니다.

255는 배제선이 아니라 비용선입니다. 넘어도 쓸 수 있지만 2단계 경로로 바뀌고, 그 순간 앞의 70~~500ms·193.6배를 그대로 기대할 근거가 사라집니다. 눈에 띄는 것은 카디널리티가 가장 큰 데모(단계마다 수백~~수천 개 링크를 고르는 위키레이싱)가 바로 그 구간이고, 같은 문단이 이번 속도 향상은 이전 데모들보다 훨씬 작다고 적는다는 점입니다. 발표문은 그 이유를 비교 대상이 비추론 모드였기 때문이라고 설명합니다 — 두 설명이 한 문단에 같이 있어, 어느 쪽이 얼마나 기여했는지는 발표문만으로 갈리지 않습니다.

그래서 이번 주에 정할 수 있는 것은 도입 여부가 아니라 적용 가능 면적입니다.

이번 주 할 일

팀 — LLM 호출 중 출력이 정해진 선택지로 끝나는 자리가 몇 개인지, 그중 선택지가 255개를 넘는 자리가 어디인지 세어 보시길 권합니다. 앞의 배수가 적용되는 면적이 거기서 갈립니다. 다만 세는 일 자체가 품이라, 호출 로그가 없다면 먼저 얻을 것은 모델이 아니라 로그입니다.
개인 기여자 — 웨이트리스트에 이름을 넣기 전에 지금 쓰는 분류·라우팅(요청을 어느 모델·어느 절차로 보낼지 고르는 일) 프롬프트의 선택지 개수와 자유 텍스트 혼입 여부를 확인해 보시면 255 경계가 어디에 걸리는지 바로 보입니다. 다만 이 확인은 프롬프트를 구조화 출력으로 다시 쓰는 품으로 이어지기 쉽다는 점은 함께 셈해 두시길 권합니다.