AI agent开发与大模型工程师面试复习纲要与高频面试题答案（1）-- 大语言模型（LLM）与视觉语言模型（VLM）

📖 核心知识点：

1. LLM基础：
   • Transformer架构：深入理解Self-Attention、Multi-Head Attention、位置编码（如RoPE）、Layer Normalization等。
   • 生成与推理：因果语言建模（Causal LM）、思维链（CoT）提示。
   • 模型演进与选择：了解Decoder-only架构（如GPT系列）成为主流的原因，以及在不同场景下如何选择模型（如Bert vs LLaMA）。
2. VLM基础：
   • 核心架构：通常包含视觉编码器（如ViT, CLIP-ViT）、投影器（将视觉特征映射到语言模型空间）和LLM三大部分。
   • 训练策略：常见多阶段训练，如投影器初始化、交错式预训练、监督微调等。
   • 预训练目标：对比学习（如CLIP）、生成式目标（如图像描述）、对齐目标（如细粒度区域-词对齐）。
3. 模型优化与推理：
   • 高效微调（PEFT）</