### 几点变化
1. 原生多模态:
   1. 一个模型 = 大语言模型 + 多模态大模型 + 思考模型 + 非思考
2. 几个改进点:
   1. 注意力复杂度:
      1. O(n2) --> O(n)
   2. NTP: 每次生成一个token
      1. MTP: 每次生成一个token序列
   3. 前缀缓存: 针对输入
      1. 98%
   4. Sparse MoE
      1. 高度稀疏的注意力