其实最近关于Jev的讨论两级分化也挺严重的, 你会发现,很多觉得就那样的,是在大模型火之前做过NLP或者搜广推的人, 因为Jev这种分类模型,不不不现在叫策略模型,之前bert时代,我们在业务上就一直在使用, 经历过人工智障时代的人,知道分类题做成演示不难,放进复杂业务里长期高精度、稳定地做对很难。 另外一部分,觉得很强,system1, 在与LLM进行组合使用的时候,很多高频场景,决策场景可以大量节省token的消化。 R1 之后,我们越来越习惯靠更长的思考换取能力,但很多业务问题确实被过度think了, 把高频决策交给快模型,把少数疑难样本交给 LLM,时延和 token 成本都有下降空间。 现在各种decision模型层出不穷,当然有蹭热度的部分, 但是也确实说明,时代是一个轮回,Jev找到了一个好的生态位,决策。 今天我想说的是,Jev两个特点,快、泛化, 但在真实业务场景,其实通用的Jev类型的决策模型根本达不到业务所要的准确率指标, 因为业务是千奇百怪的,当然我们可以把规则塞到Prompt中, LLM通过Inference-Time Scaling来增强模型智能,但J...
已收录文章摘要,完整内容可前往原文阅读。
其实最近关于Jev的讨论两级分化也挺严重的, 你会发现,很多觉得就那样的,是在大模型火之前做过NLP或者搜广推的人, 因为Jev这种分类模型,不不不现在叫策略模型,之前bert时代,我们在业务上就一