像版本化代码那样版本化 Prompt

像版本化代码那样版本化 Prompt

LLM 项目的生命周期是:有人写了一个能用的 prompt,另一个人把它复制进代码库,第三个人改了一 ...

保护用户的限流,不只是保护上游

保护用户的限流,不只是保护上游

LLM 应用里的限流是一次解三个问题,多数实现只解一个。上游问题:模型 API 有配额,你不能超。成 ...

LLM 安全:没人提醒过你的威胁

LLM 安全:没人提醒过你的威胁

LLM 应用的安全思考卡在 prompt injection 上,因为这个最戏剧。戏剧的一般不是危险 ...

部署 LLM 应用:那些不是模型的部分

部署 LLM 应用:那些不是模型的部分

部署 LLM 应用,多半不是部署模型。模型差不多就是一个托管 API 调用。你真正部署的是它周围的一 ...

测试 LLM 应用:当输出非确定性时

测试 LLM 应用:当输出非确定性时

用确定性代码库的测试范式去测 LLM 应用,结果是周末挂、周一过的 flaky 测试。同样的输入,模 ...

Token 经济学:便宜模型反而更贵的时候

Token 经济学:便宜模型反而更贵的时候

一个答对率 80% 的便宜模型,比答对率 95% 的高端模型更贵——只要你把重试、升级、和便宜模型塞 ...