上下文(Context)
一、是什么？
一句话定义
Context 就是你给 AI 提供的所有背景信息，包括你的问题、历史对话、参考资料、工具结果等一切「信息输入」。Context Window 则是模型一次最多能看到多少上下文的容量上限。
二、工作原理
可以把上下文窗口理解成一张书桌:
- 书桌就是
Context Window - 摆在书桌上的资料就是
Context - 书桌越大，能同时摊开的资料越多
- 书桌满了，就必须删掉一部分或压缩一部分
三、上下文窗口里到底装了什么？
text
① System Prompt
② 历史对话
③ 检索到的参考资料
④ 工具返回的数据
⑤ 本轮新问题
⑥ AI 当前回答四、不同模型的上下文窗口
| 模型 | 上下文窗口大小 | 大约相当于 |
|---|---|---|
| GPT-3（2022） | ~4K tokens | 约 3,000 字 |
| GPT-3.5 | 16K tokens | 约 12,000 字 |
| GPT-4 Turbo | 128K tokens | 约 96,000 字 |
| Claude 3.5 | 200K tokens | 约 150,000 字 |
| Gemini 1.5 Pro | 1M+ tokens | 约 750,000 字 |
五、关键认知: 不是越大就越好
更大窗口通常更强，但也更贵、更重、更容易让信息噪音变多。很多模型对长上下文中间区域的信息利用并不稳定。
六、通俗比喻
| 比喻 | 对应解释 |
|---|---|
| 书桌 | 决定能同时摊开多少资料 |
| 工作记忆 | 一次能抓住多少信息 |
| RAM 内存 | 当前正在运行的有效信息 |
| 聚光灯 | 被照到的信息才容易被看清 |
七、业务场景应用
| 场景 | 如何利用上下文窗口 |
|---|---|
| 客服对话 | 记住客户前面的问题和约束 |
| 文档分析 | 分析整份合同、报告 |
| 长篇写作 | 保持前后一致的人设和风格 |
| 代码审查 | 一次看到更完整的代码上下文 |
八、你现在只需要记住什么
Context是模型当前真正能看到的信息Context Window是它一次能看到多少信息- 很多回答质量问题，本质上是上下文设计问题
九、推荐阅读
- IBM: 什么是上下文窗口 https://www.ibm.com/think/topics/context-window
- 知乎通俗讲解: https://zhuanlan.zhihu.com/p/15530206889
- 上下文长度 vs 上下文窗口: https://www.53ai.com/news/LargeLanguageModel/2024073165281.html
- AI 工具集百科: https://ai-bot.cn/what-is-context-window/