RAG 胜过微调的场景，以及它失效的场景

RAG 胜过微调的场景，以及它失效的场景

RAG 在早期部署战中胜出是有道理的：比微调便宜，知识库不用重新训练就能更新，而且你能审计模型看到了 ...

Self-Consistency 采样：当你需要正确答案时的廉价可靠性

Self-Consistency 采样：当你需要正确答案时的廉价可靠性

Self-consistency 采样听起来像研究员提的方案、生产工程师会忽略的那种东西。在非零 t ...

Function Calling：当 Schema 比 Prompt 更重要

Function Calling：当 Schema 比 Prompt 更重要

Function calling 第一次跑通的时候看起来像免费午餐。模型选了正确的工具、填了正确的参 ...

上下文窗口管理：当 128k 还不够用时

上下文窗口管理：当 128k 还不够用时

更大的上下文窗口本来应该让上下文工程过时。它没有。大海捞针测试显示模型能在 128k token 里 ...

防御 Prompt 注入：在不毁掉自己 Prompt 的前提下

防御 Prompt 注入：在不毁掉自己 Prompt 的前提下

Prompt 注入是 LLM 应用的 SQL 注入，每个团队都用同一种方式学到这件事：用户在聊天里粘 ...

经得起长会话的 System Prompt

经得起长会话的 System Prompt

每个团队都精心写过 system prompt，然后忘掉它。模型在前几轮里遵守它，之后开始忽略——不 ...

分类
标签