Home在线笔记

上传或选择Markdown文件，实时查看解析后的HTML效果

登录

文件上传 ▼

📄

拖放Markdown文件到此处，或点击上传

上传路径：

Manual目录中的文件 ▼

最近更新 ▶

专题目录 ▶

其他文档 ▶

《大模型的一些技术趋势》预览

文档样式：

几点变化

  1. 原生多模态:
    1. 一个模型 = 大语言模型 + 多模态大模型 + 思考模型 + 非思考
  2. 几个改进点:
    1. 注意力复杂度:
      1. O(n2) --> O(n)
    2. NTP: 每次生成一个token
      1. MTP: 每次生成一个token序列
    3. 前缀缓存: 针对输入
      1. 98%
    4. Sparse MoE
      1. 高度稀疏的注意力