用大白话理解 Jev
普通大语言模型擅长继续对话或生成文本。Jev 擅长针对同一份输入同时回答多个受约束的问题。你提供状态、定义需要的判断,模型返回软件可以直接处理的结构化结果。
可以先把它记成:LLM 负责写,Jev 负责判断。这个说法并不完整,但能解释为什么 Jev 更适合嵌入软件工作流,而不是做成普通消费者聊天框。
三种输出类型
- Choice:从你给出的选项中选择一个,例如账单、技术或销售部门。
- Score:按照有序标准评分,例如低、中、高风险。
- Noul:判断某种属性是否存在,并返回类似概率的数值。
类型安全只代表输出一定符合约定结构,不代表每一次业务判断都正确。
为什么速度快、价格低
Jev 放弃了自由文本生成,可以并行计算多个输出,不需要逐 token 生成句子。TypeSafe 当前公布的示例延迟约为 70–500 毫秒,输入价格为每百万 token 0.042 美元,输出 token 免费。
这些数据来自 TypeSafe,会受到任务、请求长度、地理位置和服务状态影响。真正接入前应该使用自己的数据验证。
Jev 不能替代什么
- 它不会撰写文章、邮件、代码或解释。
- 目前只接受文本,不支持图片、音频或视频输入。
- 最适合在请求前已经知道可能答案的任务。
- 英语效果最好,中文等语言需要用真实数据测试。
- 复杂规划和开放式创作仍应交给 LLM 或其他系统。
Jev 放在工作流的哪里
Jev 适合作为普通代码和大模型之间的快速语义判断层,例如工单分流、候选项排序、内容过滤、Agent 工具选择、上下文检索,以及检查其他模型的输出。
Continue reading
下一步:如何使用 Jev
从官方控制台到第一个 API 请求。