Lecture 9 —— LLM多模态泛化与前沿探索：从ViT/VLM跨模态适配到扩散LLMs与未来发展趋势

1. Transformer的多模态泛化

1.1. 核心前提：Transformer的泛化本质

（1）核心属性：弱归纳偏置 + QKV自注意力机制的强关联捕捉能力；

（2）泛化逻辑：任何模态数据，只要能转化为离散Token/连续特征向量并赋予位置信息，即可通过Transformer进行特征建模；

（3）行业现状：Transformer已从“文本专属架构”升级为多模态统一基础架构。

1.2. 视觉领域适配： $ViT$ （ $Vi$ sion $T$ ransformer，视觉Transformer）

1.2.1. 核心改造：图像“文本化”建模

ViT1

图1 ViT核心流程图

（1）图像预处理：将H×W×C的图像切割为N个固定大小的Patch（如16×16），其中图像处理Patch ↔ 文本分词Token

（2）特征嵌入：对每个Patch做线性投影（Linear Projection of Flattened Patches）；叠加二维位置嵌入（Positional Embedding）；增加可学习的[CLS]嵌入，其中Patch投影 + 位置嵌入 + [CLS] ↔ 词嵌入 + 位置编码 + 文本分类标记

（3）特征编码：送入标准Transformer Encoder（编码器——多层自注意力+前馈网络），其中图像Encoder与文本Encoder完全一致

（4）任务输出：提取[CLS]嵌入的输出，送入全连接层做分类，其中[CLS]输出 ↔ 文本分类的核心特征

1.2.2. 核心案例：泰迪熊图像识别

ViT2

图2 ViT核心案例流程图

（1）输入：泰迪熊彩色图像 → 切割为若干16×16 Patch；

（2）编码：Patch投影+位置嵌入+[CLS] → 进入6层Transformer Encoder；

（3）输出：[CLS]特征经过FFN，最终分类为“teddy bear”。

1.3. 跨模态核心： $VLM$ （ $V$ ision $L$ anguage $M$ odel）

1.3.1. 主流实现架构

（1）LLM解码器复用型：

Recycle

图3 LLM解码器复用型流程图

流程：视觉编码器（ViT）→ 视觉特征投影层（映射到LLM词嵌入空间） → 纯文本LLM解码器生成回答
优势：复用成熟LLM权重，开发成本低
应用：LLaMA 3 7B 多模态版（轻量型）

（2）交叉注意力融合型：

CrossAttention

图4 交叉注意力融合型图

流程：视觉编码器（ViT）生成特征 → LLM解码器新增交叉注意力层（文本Query关注视觉Key/Value）→ 特征交互后生成回答
优势：视觉-文本特征深度融合，效果更优
应用：GPT-4V、Gemini Pro Vision

1.3.2 核心关键：模态空间对齐

（1）核心难题：视觉特征的维度、分布与文本Token嵌入空间存在差异；

（2）解决方案：通过可学习的投影矩阵（Projection Matrix），将视觉特征向量映射到与LLM一致的高维嵌入空间。

1.4 Transformer的全模态适配

模态类型	核心处理方式	代表模型/架构
视频	帧级切块 + 时空位置嵌入（时间步+空间位置）	Video Transformer
语音	Conformer块（Transformer + CNN）做语音编码 → 跨注意力融合LLM	Whisper、SpeechLLM
推荐系统	用户/物品作为Token，自注意力捕捉用户-物品、物品-物品关联	TransRec
代码生成	代码语法结构转化为Token，自注意力捕捉上下文逻辑	CodeLlama

2. 扩散LLMs：Diffusion LLMs

2.1. 背景：传统自回归LLM的缺陷

（1）自回归生成范式： $ARM$ ， $A$ uto $R$ egressive $M$ odeling

（2）生成逻辑：从[BOS]开始，基于前 t-1 个Token，逐一生成第 t 个Token，即 $p(x_t | x_1, x_2, ..., x_{t-1})$ ，直至生成[EOS]。

（3）核心瓶颈：推理阶段完全无法并行（下一个Token的生成依赖上一个Token的输出），导致长文本生成延迟极高。

（4）工业界痛点：即使采用Tensor Parallel、Pipeline Parallel等并行策略，ARM模型的推理速度仍受限于“逐Token生成”的本质；长文本生成、代码生成等场景，等待时间成为用户体验的核心障碍。

2.2. 扩散模型的核心原理（从图像到文本的迁移）

2.2.1. 图像扩散模型

Images

图5 图像扩散模型流程图

（1）前向过程（加噪）：对原始图像 $x_0$ ，按固定步数T逐步添加高斯噪声，满足条件概率 $q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t \mathbf{I})$ ，最终得到完全噪声图 $x_T$ ；

（2）逆向过程（去噪）：训练模型 $p_\theta(x_{t-1} | x_t)$ ，学习从噪声图 $x_T$ 逐步去噪，还原原始图像 $x_0$ ；

（3）核心直觉：噪声采样简单，模型仅需学习“去噪的条件分布”。

2.2.2 文本扩散模型： $MDM$ （ $M$ asked $D$ iffusion $M$ odel）

由于文本是离散型数据，无法直接添加高斯噪声，预测采用“掩码替代加噪”的核心改造：

Tokens

图6 文本扩散模型MDM流程图

（1）前向过程（掩码）：对原始文本序列 $x_0$ ，按步数T逐步以概率 $\gamma_t$ 掩码Token（替换为[MASK]），最终得到全掩码序列 $x_T$ ；满足数学公式： $q(x_t | x_{t-1}) = \prod_{i=1}^N p(x_{t,i} | x_{t-1,i})$ ，其中 $x_{t,i}$ 为第 t 步第 i 个Token

（2）逆向过程（解掩码）：训练模型 $p_\theta(x_{t-1} | x_t, t)$ ，从全掩码序列 $x_T$ 开始，逐步预测并替换[MASK]，最终还原 $x_0$ ；满足数学公式： $p_\theta(x_{0:T}) = p(x_T) \prod_{t=T}^1 p_\theta(x_{t-1} | x_t)$

2.3. 扩散LLMs的优势与挑战

2.3.1. 核心优势

（1）并行推理：解码过程仅需T步前向传播（T远小于序列长度N），所有Token可同步生成，彻底解决ARM的并行性问题；

（2）全局上下文捕捉：生成过程依赖完整的掩码序列，对长文本、代码等需要“全局逻辑”的任务更友好；

（3）低延迟：相较于ARM，Diffusion LLMs每秒可输出10倍的Tokens数量。

2.3.2. 现存挑战

（1）性能差距：在常识问答、逻辑推理等任务上，效果仍比最优ARM模型稍低；

（2）技巧迁移：ARM模型的成熟优化技巧（RoPE、GQA、MoE）尚未完全适配到Diffusion LLMs；

（3）超参数敏感：步数T、掩码概率 $\gamma_t$ 等超参数对效果影响极大，缺乏统一的调优标准。

3. 跨模态技术交叉融合

3.1. 核心定义

不同模态的AI技术（图像、文本、语音等）相互借鉴架构设计、输入表示、工程技巧，实现性能突破，即“技术交叉授粉”。

3.2. 核心交叉方向

（1）架构层面的交叉：

图像→文本：扩散模型的“加噪-去噪”架构迁移到文本，诞生Diffusion LLMs；
文本→图像：Transformer的自注意力架构迁移到图像扩散，诞生DiT（Diffusion Transformer），即用Transformer Block替代传统U-Net的卷积层，结合时序步长t和生成标签y做条件生成，提升图像生成质量。

DiT

图7 DiT流程图

（2）输入表示层面的交叉

文本→视觉：借鉴文本“特征压缩” 思路，优化视觉输入的表示效率；如DeepSeek-OCR提出上下文光学压缩，将复杂的视觉文本特征压缩为高效Token，提升VLM的推理速度。

（3）工程技巧层面的交叉

文本→多模态：将文本的位置编码技巧适配到图像/视频的二维/三维空间；如Qwen-Image提出的MSRoPE（多模态可扩展旋转位置编码）：针对图像的二维结构，将RoPE从一维扩展为二维（行+列）；支持任意分辨率的图像输入，解决传统位置编码的分辨率限制问题。

MSRoPE

图8 MSRoPE流程图

4. LLM基础研究与发展趋势

4.1. 基础研究：Transformer核心设计的“最优解探索”

Transformer的核心组件尚未有统一最优解，仍是研究的核心方向：

组件类型	主流方案	新型方案	研究焦点
优化器	AdamW	MuonClip	收敛速度、稳定性、显存占用
归一化层	LayerNorm（Pre-LN）	RMSNorm	训练稳定性、推理速度
注意力机制	MHA	MQA、GQA	计算效率与表达能力的平衡
激活函数	RELU	GELU、SwiGLU、Mish	非线性表达能力、计算成本
模型架构	稠密模型	MoE（混合专家模型）	参数量效率、任务适配性

数据层面的核心挑战：递归诅咒

核心结论：使用LLM生成的数据训练新模型，会导致模型“遗忘”真实世界知识，出现性能退化、幻觉增多等问题；
行业对策：优先采用人类标注的高质量真实数据，严格控制生成数据的使用比例。

4.2. 优化目标：从“极致性能”到“性能-成本帕累托前沿”

Pareto

图9 LLMs性能-成本帕累托前沿曲线

2025年前：追求“更大参数量、更高算力、更好效果”；
2025年起：工业界与学术界共同追求“效果最优、成本最低”的帕累托最优解。

4.3. 硬件层面：Transformer定制化硬件优化

4.3.1. 现有GPU的核心痛点

（1）GPU设计初衷：为矩阵-矩阵、矩阵-向量运算优化；

（2）Transformer瓶颈：注意力机制的KV缓存读写成本远高于计算成本，内存移动成为性能瓶颈。

4.3.2. 类存内计算（Analog in-memory computing）

（1）核心设计：

专用KV缓存单元：将注意力机制的Key、Value缓存存储在专用模拟存储单元，减少CPU-GPU之间的内存移动；
模拟信号计算：用模拟信号直接建模注意力的相似度计算（ $Q \cdot K^T$ ），替代传统数字计算；

HardWare

图10 类存内计算流程图

（2）实测对比（与英伟达H100相比）：推理延迟降低100倍；能耗节省70000倍；

（3）应用前景：解决大模型推理的“高成本、高能耗”问题，推动LLM边缘端落地。

5. LLMs的应用场景与未来展望

5.1. 当下核心应用

（1）代码开发：代码生成、Bug调试、文本转SQL、API调用生成；

（2）通用对话助手：常识问答、信息检索、多轮对话；

（3）创意内容生成：营销文案、小说创作、绘画提示词、视频脚本；

（4）教育与科研：知识点讲解、论文润色、实验数据处理、文献综述生成。

5.2. 未来发展趋势

5.2.1. 短期趋势（1-3年）

（1）智能体民主化：AI智能体集成到办公软件（如Google Workspace Studio），自然语言描述任务即可自动完成；

（2）LLM与浏览器深度融合：内置到浏览器内核（如ChatGPT Atlas），实现网页内容总结、智能搜索、自动填表、跨网站任务执行；

（3）操作系统级LLM：将LLM作为操作系统的“核心交互层”，自然语言替代鼠标/键盘，实现“语音/文字控制全系统”。

5.2.2. 长期愿景（3-10年）

（1）自治智能体规模化应用：具备“自主决策、责任承担”能力的AI，独立完成复杂工业任务（如工厂调度、医疗诊断）；

（2）全场景智能客服落地：彻底替代传统人工客服，实现“7×24小时、个性化、高准确率”的客户服务。

5.3. 尚未解决的核心挑战

（1）技术挑战：限制工业级关键任务落地（如医疗、金融）

固定权重，无持续学习能力；
幻觉问题（生成虚假信息）；
可解释性差（黑箱模型）；
个性化适配不足。

（2）伦理挑战：需政策法规与技术手段双重约束

安全与对齐（生成有害内容）；
数据隐私（训练数据泄露）；
就业冲击（部分岗位替代）。

6. 前沿科研方法

6.1. 论文渠道（核心信息源）

预印本平台：arXiv（计算机科学→cs.CL方向），最快获取最新研究（提前顶会3-6个月）；
顶会会议：
- 通用机器学习顶会：NeurIPS、ICML、ICLR（含LLM基础研究）；
- 自然语言处理顶会：ACL、EMNLP、NAACL（含LLM核心应用）。

6.2. 代码渠道（工程实践必备）

官方代码库：论文作者的GitHub仓库（获取最权威的复现代码）；
开源社区：Hugging Face（Transformers库、Datasets库、Model Hub），实时更新最新模型与数据集。

6.3. 资讯与学习渠道（高效跟进）

渠道类型	推荐平台/博主	核心内容
社交平台	Twitter（X）	领域学者实时分享研究进展（如Andrej Karpathy、Yann LeCun）
视频平台	YouTube	Two Minute Papers（论文速览）、Yannic Kilcher（论文精读）、Google Developers（实战教程）
技术博客	Amazon Science、Google DeepMind、Meta AI、斯坦福NLP	工业界最新落地成果与技术解读

Note
总结

Transformer多模态适配核心：依托弱归纳偏置+QKV自注意力的核心特性，将任意模态数据转化为离散Token/特征向量+位置信息，即可实现文本、图像、语音、视频等多模态的统一建模，是其成为通用AI架构的关键；

视觉与跨模态建模的关键方法：ViT通过图像切块+Patch线性投影+[CLS]嵌入实现图像文本化建模，VLM则通过视觉特征投影到LLM嵌入空间或解码器增加交叉注意力层两种方式，完成视觉-文本的特征空间对齐，实现视觉问答等跨模态任务；

Diffusion LLMs的核心突破与实现：针对自回归LLM（ARM）推理阶段无法并行的核心瓶颈，将扩散模型的加噪-去噪逻辑适配到离散文本，以掩码-解掩码为核心构建MDM（掩码扩散模型），实现推理速度较ARM提升5-10倍；

跨模态技术融合的核心趋势：各模态间实现架构、输入表示、工程技巧的交叉迁移，如扩散架构从图像迁移到文本、Transformer从文本迁移到图像扩散（DiT），RoPE位置编码扩展为多模态MSRoPE，同时借鉴文本特征压缩思路提出DeepSeek-OCR优化视觉输入表示；

LLM研究与发展的核心转变：Transformer基础组件（优化器、注意力、激活函数等）仍无统一最优解，研究重心从单纯追求极致性能转向性能-成本的帕累托最优平衡，硬件层面则针对Transformer注意力的KV缓存读写需求，推出类存内计算方案，相比H100实现100倍延迟降低、7万倍能耗节省；

LLM落地应用与核心挑战：目前已深度渗透代码开发、通用对话、创意生成、教育学习等场景，短期将实现智能体民主化、浏览器/OS级LLM集成，长期向自治智能体发展，但仍面临无持续学习能力、幻觉问题、可解释性差、个性化不足、安全对齐等核心技术挑战；

LLM领域前沿跟进的核心方法：依托arXiv预印本+ML/NLP顶会掌握论文动态，通过作者GitHub+Hugging Face获取实战代码，结合社交平台、技术视频、企业/院校博客及时了解行业进展，同时可借助课程配套的速记手册、代码仓库深化学习。

ZHY's Blog

Lecture 9 —— LLM多模态泛化与前沿探索：从ViT/VLM跨模态适配到扩散LLMs与未来发展趋势

1. Transformer的多模态泛化

1.1. 核心前提：Transformer的泛化本质

1.2. 视觉领域适配： $ViT$ （ $Vi$ sion $T$ ransformer，视觉Transformer）

1.2.1. 核心改造：图像“文本化”建模

1.2.2. 核心案例：泰迪熊图像识别

1.3. 跨模态核心： $VLM$ （ $V$ ision $L$ anguage $M$ odel）

1.3.1. 主流实现架构

1.3.2 核心关键：模态空间对齐

1.4 Transformer的全模态适配

2. 扩散LLMs：Diffusion LLMs

2.1. 背景：传统自回归LLM的缺陷

2.2. 扩散模型的核心原理（从图像到文本的迁移）

2.2.1. 图像扩散模型

2.2.2 文本扩散模型： $MDM$ （ $M$ asked $D$ iffusion $M$ odel）

2.3. 扩散LLMs的优势与挑战

2.3.1. 核心优势

2.3.2. 现存挑战

3. 跨模态技术交叉融合

3.1. 核心定义

3.2. 核心交叉方向

4. LLM基础研究与发展趋势

4.1. 基础研究：Transformer核心设计的“最优解探索”

4.2. 优化目标：从“极致性能”到“性能-成本帕累托前沿”

4.3. 硬件层面：Transformer定制化硬件优化

4.3.1. 现有GPU的核心痛点

4.3.2. 类存内计算（Analog in-memory computing）

5. LLMs的应用场景与未来展望

5.1. 当下核心应用

5.2. 未来发展趋势

5.2.1. 短期趋势（1-3年）

5.2.2. 长期愿景（3-10年）

5.3. 尚未解决的核心挑战

6. 前沿科研方法

6.1. 论文渠道（核心信息源）

6.2. 代码渠道（工程实践必备）

6.3. 资讯与学习渠道（高效跟进）

学习路径

反馈与建议

ZHY's Blog

Lecture 9 —— LLM多模态泛化与前沿探索：从ViT/VLM跨模态适配到扩散LLMs与未来发展趋势

1. Transformer的多模态泛化

1.1. 核心前提：Transformer的泛化本质

1.2. 视觉领域适配：ViTViTViT（ViViVision TTTransformer，视觉Transformer）

1.2.1. 核心改造：图像“文本化”建模

1.2.2. 核心案例：泰迪熊图像识别

1.3. 跨模态核心：VLMVLMVLM（VVVision LLLanguage MMModel）

1.3.1. 主流实现架构

1.3.2 核心关键：模态空间对齐

1.4 Transformer的全模态适配

2. 扩散LLMs：Diffusion LLMs

2.1. 背景：传统自回归LLM的缺陷

2.2. 扩散模型的核心原理（从图像到文本的迁移）

2.2.1. 图像扩散模型

2.2.2 文本扩散模型：MDMMDMMDM（MMMasked DDDiffusion MMModel）

2.3. 扩散LLMs的优势与挑战

2.3.1. 核心优势

2.3.2. 现存挑战

3. 跨模态技术交叉融合

3.1. 核心定义

3.2. 核心交叉方向

4. LLM基础研究与发展趋势

4.1. 基础研究：Transformer核心设计的“最优解探索”

4.2. 优化目标：从“极致性能”到“性能-成本帕累托前沿”

4.3. 硬件层面：Transformer定制化硬件优化

4.3.1. 现有GPU的核心痛点

4.3.2. 类存内计算（Analog in-memory computing）

5. LLMs的应用场景与未来展望

5.1. 当下核心应用

5.2. 未来发展趋势

5.2.1. 短期趋势（1-3年）

5.2.2. 长期愿景（3-10年）

5.3. 尚未解决的核心挑战

6. 前沿科研方法

6.1. 论文渠道（核心信息源）

6.2. 代码渠道（工程实践必备）

6.3. 资讯与学习渠道（高效跟进）

学习路径

反馈与建议

继续探索

Lecture 8：LLM evaluation

Lecture 7：Agentic LLMs

Lecture 6： LLM Reasoning

1.2. 视觉领域适配： $ViT$ （ $Vi$ sion $T$ ransformer，视觉Transformer）

1.3. 跨模态核心： $VLM$ （ $V$ ision $L$ anguage $M$ odel）

2.2.2 文本扩散模型： $MDM$ （ $M$ asked $D$ iffusion $M$ odel）