实战级的业务 AI 解决方案基本靠等｜站在巨人的肩膀上

2023 上半年 ChatGPT 刚出来的时候，大家的心态基本摩拳擦掌，行业会发生巨大的变化。文心的首场发布会上，李厂长基本是被推着上发布会的，没办法，得给资本市场一点希望，一点交代。

自研 LLM 的投入是巨大的，2023.06 前后私有化部署大模型的报价基本在千万起。虽然 ChatGPT 也推出面向 2B 的服务，支持模型微调，那报价只有大型机构（典型的如摩根、Bloomberg 等）才能承担起。如果你的业务场景不是高投入高回报的业务场景，连玩的入场券资格都没。

时至今日，在业务场景应用上，走模型微调这个路线的人还是少，虽然现在 Fine-tune API 价格已经下调很多，但比常规 API 调用还是贵。

关于 ChatGPT 是如何训练的，Andrej Karpathy 在微软大会的演讲（https://www.bilibili.com/video/BV1ts4y1T7UH/）是非常精彩的，工程师中很少见到安有这么好表达能力的，清晰地讲解了 GPT 训练过程中的 4 个阶段：

• Base Model
• SFT Model
• RM Model
• RL Model
  

如果想获取 Andrej Karpathy 演讲的 PDF 内容关注公众号后发送「model」即可获取。

在实际业务实践中，在 7B 小模型的基础上尝试用业务数据做 Supervised FineTuning，输出基本上是符合期望的，但没法解决业务知识实时引用&更新的问题，对业务来说只能是有一定用处。另外考虑做 SFT 的数据标注成本并不低，需要相关人员比较懂业务，知道理想的 LLM 回复应该是什么，期间我们暂停了这个项目。

2023.09，企点 SaaS 也发布了基于业务知识的 RAG 解决方案，算是行业内推出比较早的了。但当时这个 RAG 效果如何，具体也只有内部或者尝鲜的甲方知道了。

上图是 RAG 的基本原理，图片来自： https://www.linkedin.com/pulse/how-rag-works-detailed-explanation-its-components-steps-pradeep-menon-ws7sc

用 RAG 做 Demo 很快，看上去好像是那么一回事，但更多是一个玩具，要想达到理想的输出结果，前置的基础工作少不了，尤其是高质量的业务数据。

Jerry Liu 在「The Future of Knowledge Assistants」演讲（https://www.youtube.com/watch?v=zeAyuLc_f3Q， 演讲的 PDF 关注公众号后发送「rag」即可获取）中有几个观点我很赞同：

• RAG was just the beginning
• Any LLM App is only as Good as you Data
• Good Parsing Itself Improves Performance

不要以为 LLM 能力很强了，基础业务数据清理的脏活累活就可以偷懒了，高质量的业务数据基本成功了一半。期间 RAG 衍生变种方案也很多，比如 Adanced RAG、 Graph RAG 等，另外也有人提到 https://ragflow.io/ 的方案效果不错 ，这些只有自己试了才知道。

而高质量的业务数据很多时候要求企业内部重塑已有的作业流程的，甚至会急剧增加内部工作人员的负担，如果内部在方向未达成较高的共识，实际在一线推广过程中是比较难落地的，尤其是前期 RAG 效果不佳的情况下，没看到明显的收益情况下业务也未必在业务数据运营上增加人员投入。

在这里就不得不提 LLM Ops 平台 Dify，ByteDance 也有在做类似平台 Coze（国内版本豆包），Dify 在 2024 Q3 支持了业务文档 Chunk 后的 API 更新，基本解决了业务实时更新&引用的问题。

回头来看，一年前觉得自己很难解决的问题，现在靠别人提供的脚手架或者大模型本身提升的效果都能解决。