初步印象

老麦提出了一个很好的问题 这个问题本身有足够的价值 就是在无论是人工 workflow 还是 AI generator 的交付物从 60 分到 90 分的价值 提出了一些方法

主要是一套循环逻辑从 dsl 的生成校验到评估

已知前提

  • DSL是代码高级别的抽象
  • 当前我做出了一版 draft workflow 之后 执行得到的结果没有一个方法告诉我应该如何改进这个结果
  • 好的产品设计是可以随着模型的增强而增强的,坏的产品 设计是卧轨即躺在模型演变的 roadmap中被吞噬的

这条数据飞轮并不是我们提出来的,我认为在 prompt 优化和RLHF在代码生成领域都已经有相当规模的应用

我们训练一个奖励模型,它的任务是学会预测人类对DSL的评价质量。 输入:你的需求描述 + 生成的DSL。

输出:一个奖励值(比如4.5,表示DSL质量)。

奖励模型会记住:
这个循环版本的DSL得4.5分。

如果有更简洁的版本(比如用迭代),可能会得更高分。

大体上我认为这是一个好问题,其中值得讨论的子问题有很多比如:

  1. 生成DSL的价值
  2. LLM as a Judge 的价值等等
  3. 训练过程/推理过程的human in the loop

我的推演是我们不妨承认 DSL是代码更高级别的抽象,牺牲了灵活度但变的更加易用,也就是代码生成和DSL生成某种程度都会收敛到一个结果

那理论上老麦的这套方案也一定能用于企业内任务的代码生成,那这一层反馈机制是应该建立在代码生成的任务上(代码+环境+正确编译)还是DSL生成(DSL+runtime+正确解析)的任务上 目前我个人倾向于是前者 但我依然认为 生成DSL 和 设计一套将日志+人类专家 feedback->DSL 下一个版本优化方向

这两个子需求是值得探索的