初步印象:
老麦提出了一个很好的问题 这个问题本身有足够的价值 就是在无论是人工 workflow 还是 AI generator 的交付物从 60 分到 90 分的价值 提出了一些方法
主要是一套循环逻辑从 dsl 的生成校验到评估
已知前提
- DSL是代码高级别的抽象
- 当前我做出了一版 draft workflow 之后 执行得到的结果没有一个方法告诉我应该如何改进这个结果
- 好的产品设计是可以随着模型的增强而增强的,坏的产品 设计是卧轨即躺在模型演变的 roadmap中被吞噬的
这条数据飞轮并不是我们提出来的,我认为在 prompt 优化和RLHF在代码生成领域都已经有相当规模的应用
我们训练一个奖励模型,它的任务是学会预测人类对DSL的评价质量。 输入:你的需求描述 + 生成的DSL。
输出:一个奖励值(比如4.5,表示DSL质量)。
奖励模型会记住:
这个循环版本的DSL得4.5分。
如果有更简洁的版本(比如用迭代),可能会得更高分。
大体上我认为这是一个好问题,其中值得讨论的子问题有很多比如:
- 生成DSL的价值
- LLM as a Judge 的价值等等
- 训练过程/推理过程的human in the loop
我的推演是我们不妨承认 DSL是代码更高级别的抽象,牺牲了灵活度但变的更加易用,也就是代码生成和DSL生成某种程度都会收敛到一个结果
那理论上老麦的这套方案也一定能用于企业内任务的代码生成,那这一层反馈机制是应该建立在代码生成的任务上(代码+环境+正确编译)还是DSL生成(DSL+runtime+正确解析)的任务上 目前我个人倾向于是前者 但我依然认为 生成DSL 和 设计一套将日志+人类专家 feedback->DSL 下一个版本优化方向
这两个子需求是值得探索的