🪴 Quartz 4.0

23_llm_thinking_modes

10 min read

LLM 推理模式 (Thinking Modes)

1. 核心概念：双系统理论

人脑有两种思考方式，LLM 也在走同样的路：

graph LR
    A[用户问题] --> B{复杂?}
    B -->|简单| C[系统1: 快思考]
    B -->|复杂| D[系统2: 慢思考]
    C --> E[即时回答]
    D --> F[分析→规划→验证]
    F --> G[深度回答]
维度系统1 (快)系统2 (慢)
特点直觉、自动、快速逻辑、刻意、缓慢
人类例子识别面孔、走路避障解数学题、写论文
LLM 例子GPT-4 直接回答o1/R1 先思考再回答
时间秒级分钟级
准确率简单任务高复杂任务高

2. 为什么需要慢思考？

快思考的局限

场景：解迷宫

快思考模型 (GPT-4):
输入: "请找出从A到B的路径"
输出: "向右走，然后..." ❌ (经常走错)

慢思考模型 (R1/o1):
输入: "请找出从A到B的路径"
思考: 
  1. 分析地图结构
  2. 尝试路径A: 遇到死胡同 ❌
  3. 回溯，尝试路径B
  4. 验证路径B可达终点 ✓
输出: "正确路径是..." ✅

关键区别：慢思考会试错、回溯、验证，快思考直接给答案。

3. 慢思考的实现方式演进

阶段1: 提示词触发 (2022-2024)

通过特殊提示词强迫模型思考：

graph LR
    A[用户问题] --> B[添加提示词]
    B --> C["think step by step"]
    C --> D[模型输出思考过程]
    D --> E[最终答案]

常用技巧：

  • CoT: “Let’s think step by step”
  • ToT: “Generate 3 solutions and pick the best”
  • Few-shot: 给示例展示思考格式

问题：

  • ❌ 用户不知道何时该用
  • ❌ 模型可能不按要求思考
  • ❌ 需要反复尝试不同提示词

阶段2: 内置推理 (2024-至今)

模型通过训练自动进入思考模式：

graph TD
    A[用户输入] --> B{模型判断}
    B -->|简单问题| C[直接回答]
    B -->|复杂问题| D[激活推理模式]
    D --> E[生成思考链]
    E --> F[自我验证]
    F --> G[输出答案]

代表模型：

  • OpenAI o1/o3: 强化学习训练，内部思考不展示
  • DeepSeek-R1: 开源，显式展示完整思考过程
  • Claude 4: 可调节思考强度（低/中/高）

优势：

  • ✅ 无需提示词技巧
  • ✅ 比提示词触发更可靠
  • ✅ 可处理更复杂问题

4. 技术架构对比

4.1 标准 Transformer (快思考)

graph LR
    A[输入] --> B[Embedding]
    B --> C[Attention Layer]
    C --> D[Feed Forward]
    D --> E[输出 Token]
    E --> F[下一个 Token...]
    style C fill:#f9f,stroke:#333
    style D fill:#f9f,stroke:#333

特点：

  • 每一层都处理全部参数
  • 左到右依次生成 token
  • 计算量 = 参数量 × token 数

4.2 MoE (Mixture of Experts) - 稀疏激活

graph TD
    A[输入 Token] --> B[Router]
    B -->|激活| C[专家1]
    B -->|激活| D[专家2]
    B -.->|不激活| E[专家3...N]
    B -.->|不激活| F[专家4...N]
    C --> G[合并结果]
    D --> G
    G --> H[输出]
    
    style B fill:#ff9,stroke:#333
    style C fill:#9f9,stroke:#333
    style D fill:#9f9,stroke:#333
    style E fill:#fcc,stroke:#333
    style F fill:#fcc,stroke:#333

DeepSeek-R1 例子：

  • 总参数：671B
  • 每次只激活：37B (5.5%)
  • 效果：用 37B 的算力，获得 671B 的能力

优势：

  • ✅ 计算效率高
  • ✅ 可扩展到更大模型
  • ✅ 专家可专门化（数学专家、代码专家等）

4.3 路由机制 (GPT-5)

智能判断该用哪种模式：

graph TD
    A[用户问题] --> B[Router]
    B -->|"简单/常识"| C[小模型<br/>Instant]
    B -->|"中等难度"| D[中模型<br/>Thinking]
    B -->|"极难/研究级"| E[大模型<br/>Pro]
    B -->|"不确定"| F[Auto模式<br/>模型自选]
    
    style B fill:#ff9,stroke:#333
    style C fill:#9f9,stroke:#333
    style D fill:#99f,stroke:#333
    style E fill:#f99,stroke:#333

Router 如何判断？

信号例子决策
关键词”prove”, “step-by-step”, “debug”→ 深度思考
领域标签math, code, legal→ 专家模型
输入长度长上下文 + 复杂约束→ 更多思考时间
不确定性模型对答案不确定→ 多轮验证

4.4 HRM (分层推理模型) - 未来方向

模仿人脑层次化思考：

graph TD
    subgraph "高层: 慢规划器"
        A[理解问题] --> B[制定策略]
        B --> C[分解步骤]
    end
    
    subgraph "低层: 快执行器"
        C --> D[执行步骤1]
        D --> E[执行步骤2]
        E --> F[执行步骤3]
    end
    
    subgraph "反馈循环"
        F -->|验证失败| B
        F -->|验证成功| G[输出结果]
    end
    
    style A fill:#f99,stroke:#333
    style B fill:#f99,stroke:#333
    style C fill:#f99,stroke:#333
    style D fill:#9f9,stroke:#333
    style E fill:#9f9,stroke:#333
    style F fill:#9f9,stroke:#333

关键创新：

  • 不同时间尺度：规划器慢，执行器快
  • 嵌套循环：执行遇到问题，返回规划器重新规划
  • 极小模型：27M 参数 > frontier 大模型（推理任务）

5. 什么时候用什么？

决策树

graph TD
    A[收到问题] --> B{需要精确推理?}
    B -->|否| C[快思考<br/>GPT-4/Claude]
    B -->|是| D{多方案比较?}
    D -->|否| E[慢思考-单路径<br/>o1/R1]
    D -->|是| F[慢思考-多路径<br/>ToT + 推理模型]
    
    C --> G[秒级响应]
    E --> H[30秒-2分钟]
    F --> I[2-5分钟]

具体场景对照

场景推荐模式为什么
问天气快思考factual lookup
解方程慢思考需要逐步推导
写代码慢思考需要规划+验证
创意写作快思考初稿 + 慢思考润色创意快，修改慢
下棋ToT + 慢思考需评估多种走法
医疗诊断慢思考 + 多轮验证高 stakes，不能错

6. 社区实战经验

核心观点

质量 vs 速度 (kataryna91):

“快速但错误的答案没用。如果不需要思考就能得到好答案，就不需要思考模型。”

草稿纸效应 (kthepropogation):

“模型一旦开始说话就难以改口。思考让模型在承诺前用草稿纸自我修正。”

能力边界 (Lissanro):

“DeepSeek V3 671B 配合 CoT 提示会失败的迷宫问题，R1 无需特殊提示就能解决。“

模型大小之争

观点论据
小模型思考没用”傻瓜思考一分钟也不会变好” — GatePorters
小模型受益更多”Qwen 从无法解方程到能解复杂问题” — [已删除]

实际观察：

  • 32B 推理模型 > 70B+ 非推理模型（在推理任务上）
  • 思考可以弥补规模差距，但不能无限弥补
  • 基础推理能力是底线

7. 局限与未来

当前问题

graph TD
    A[当前推理模型] --> B[模拟推理]
    B --> C[表面痕迹]
    C --> D[不一致性]
    D --> E[边缘案例失败]
    
    A --> F[训练时添加]
    F --> G[非原生能力]
    G --> H[难以泛化]
    
    A --> I[孤立推理]
    I --> J[无长期记忆]
    J --> K[难结合外部工具]

具体表现：

  • ✅ 数学题能解对
  • ❌ 稍微变个形式就错
  • ✅ 代码能写对
  • ❌ 长程规划会遗忘目标

未来方向

  1. 原生推理：从训练初期就嵌入推理能力
  2. 层次化：HRM 的慢规划 + 快执行
  3. 能量优化：EBT 的迭代稳定机制
  4. 神经符号结合：连接主义 + 符号逻辑

8. 时间线总结

timeline
    title LLM 推理能力演进
    2022-2024 : Prompt 工程时代
                : CoT / ToT 提示词技巧
                : 需要用户手动触发
    2024.09 : OpenAI o1-preview
            : 首次展示内置推理
            : 强化学习训练
    2024.12 : o1 正式发布
            : 推理产品化
            : 更便宜更快
    2025.01 : DeepSeek R1
            : 开源 + 显式思考
            : MoE 架构
    2025.05 : Claude 4
            : 混合推理模式
            : 可调节思考强度
    2025.08 : GPT-5
            : 路由机制
            : 自动选择思考深度
    2025+ : HRM / EBT
          : 层次化推理
          : 能量优化架构

参考

Graph View

Backlinks

  • No backlinks found