微调是一笔交易，不是一次升级

没有哪个决定值得仅仅因为「它有用」就去做；只有当它赢到的东西比付出去的更值钱时才值得做，而这一点你只有全程跑完才会知道。微调也是这样，而我仍然做了这个决定：宽泛的模型永远不会深到足以做专业的活，所以垂直应用必须训练自己的模型。但所有人都在宣传它带来什么，没人讲它的代价。

我在给我的两个应用都微调小模型，这里是一份账单。我训练了一个小的音乐模型来生成单乐器分轨，它成功了——乐器和调性都对，而且会顺着已有的声部走，而不是瞎猜。但它丢掉了速度和节奏上的准确性，而基座模型在这一点上几乎分毫不差。所以这次训练买到的是调性和音色上的辨识度，换出去的是节奏。这笔交易仍然值得——但我只有拿到数据之后才敢这么说，在那之前的好几周里，我只能猜。

而这正是之前那些「小模型」论证里缺掉的关键一环：微调改变的是整个场面，不只是你瞄准的那一处。凡是我们默认为背景的东西，都会在训练中悄悄漂移，看不出来，直到有什么撞上它。所以这里的结论不是「别微调」，而是：在训练之前就把要建的东西想周全，好让你最终有个可以对照的参照物。

我是 Richael。我的两个应用是一个多角色陪伴与模拟平台，和一个音乐再创作与创作社区，我正在升级它们的模型，好让它们在各自独特的领域里发挥出全部潜力。我上一篇讲垂直应用为什么需要自己的模型，在这里：https://dh8116.github.io/zh/blog/apps-are-just-prompt-shells。如果你感兴趣，来看看我的网站或者关注我，谢谢你的支持！