超全总结！大模型算法岗面试指南来了！

最新推荐文章于 2025-02-10 21:38:39 发布
最新推荐文章于 2025-02-10 21:38:39 发布
阅读量2.1k 收藏 38
点赞数 56
分类专栏： 大模型 文章标签： 算法 面试 职场和发展 大模型 检索增强生成 人工智能 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59596990/article/details/136006358
版权

大家好，从 2019 年的谷歌 T5 到 OpenAI GPT 系列，参数量爆炸的大模型不断涌现。可以说，LLMs 的研究在学界和业界都得到了很大的推进，尤其2022年11月底对话大模型 ChatGPT 的出现更是引起了社会各界的广泛关注。

近些年，在大规模语料库上预训练 Transformer 模型产生了预训练语言模型（PLMs），并在解决各类 NLP 任务上展现出了强大的能力。

当参数规模超过一定水平时，这个更大的语言模型实现了显著的性能提升，并展现出小模型中不存在的能力，比如上下文学习。为了区别于 PLM，这类模型被称为大型语言模型（LLMs）。

为了让大家更容易上车大模型赛道，最近技术群组织了一场算法面试讨论会，结合我们技术群小伙伴的面试分享和自己的面试经验，对大模型常考的面试题归纳为：大模型基础，大模型参数微调、训练、推理，大模型应用框架，大模型分布式训练，其他等内容

喜欢本文，喜欢记得收藏、关注、点赞，喜欢技术交流，文末加入我们

大模型基础

  • 你比较关注那些主流的开源大模型？

  • 目前大模型模型结构都有那些？

  • prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点？

  • 模型幻觉是什么？业内解决方案是什么？

  • 大模型的 Tokenizer 的实现方法及原理？

  • ChatGLM3 的词表实现方法？

  • GPT3、LLAMA、Chatglm 的Layer Normalization 的区别是什么？各自的优缺点是什么？

  • 大模型常用的激活函数有那些？

  • Multi-query Attention 与 Grouped-query Attention 是否了解？区别是什么？

  • 多模态大模型是否有接触？落地案例？

大模型参数微调、训练、推理

  • 为什么需要进行参选微调？参数微调的有点有那些？

  • 模型参数微调的方式有那些？你最常用那些方法？

  • prompt tuning 和 prefix tuning 在微调上的区别是什么？

  • LLaMA-adapter 如何实现稳定训练？

  • LoRA 原理与使用技巧有那些？

  • LoRA 微调优点是什么？

  • AdaLoRA 的思路是怎么样的？

  • LoRA 权重合入chatglm模型的方法？

  • P-tuning 讲一下？与 P-tuning v2 区别在哪里？优点与缺点？

  • 为什么SFT之后感觉LLM傻了?

  • 垂直领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？

  • 进行SFT操作的时候，基座模型选用Chat还是Base?

  • 领域模型词表扩增是不是有必要的？

  • 训练中文大模型的经验和方法

  • 模型微调用的什么模型？模型参数是多少？微调模型需要多大显存？

  • 预训练和SFT操作有什么不同？

  • 训练一个通用大模型的流程有那些

  • DDO 与 DPO 的区别是什么？

  • 是否接触过 embeding 模型的微调方法

  • 有哪些省内存的大语言模型训练/微调/推理方法？

  • 大模型（LLMs）评测有那些方法？如何衡量大模型的效果？

  • 如何解决三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢问题？

  • 模型训练的数据集问题：一般数据集哪里找？

  • 为什么需要进行模型量化及原理？

  • 大模型词表扩充的方法及工具？

大模型应用框架

  • 什么是 LangChain?

  • 什么是 LangChain Agent?

  • 什么是 LangChain model?

  • 除了 LangChain，是否了解其他框架？

  • 是否有基于LangChain 搭建大模型应用的经验，请详细说明？

  • 搭建大模型应用遇到过那些问题？如何解决的？

  • 如何提升大模型的检索效果

  • 是否了解上下文压缩方法？

  • 如何实现窗口上下文检索？

  • 开源的 RAG 框架有哪些，你比较了解？

  • 大模型应用框架 LangChain 和 LlamaIndex 各种的优势有那些？

  • 你使用的向量库有那些？各自有点与区别？

  • 使用外部知识数据库时需要对文档进行分块，如何科学的设置文档块的大小？

  • LLMs 受到上下文长度的限制，如果检索到的文档带有太多噪声，该如何解决这样的问题？

  • RAG（检索增强生成）对于大模型来说，有什么好处？

大模型分布式训练

  • 大模型进行训练，你用的是什么框架？

  • 业内常用的分布式AI框架，你什么了解？

  • 数据并行、张量并行、流水线并行的原理及区别？

  • 推理优化技术 Flash Attention 的作用是什么？

  • 推理优化技术 Paged Attention 的作用是什么？

  • CPU-offload，ZeRO-offload 了解?

  • ZeRO，零冗余优化器 的三个阶段？

  • 混合精度训练的优点是什么？可能带来什么问题？

  • Megatron-DeepSpeed 方法？

  • Megatron-LM 方法

其他

  • 你GPU服务器用的那些？

  • 是否使用过国产GPU服务器？

  • 是否部署过Docker 和 k8s ?

  • Linux 常见命令大全

  • Docker 常用命令大全

  • Kubernetes 常用命令大全

  • 平时使用的开发语言是什么？

技术交流

技术要学会分享、交流，不建议闭门造车。一个人走的很快、一堆人可以走的更远。

建立了大模型面试&技术交流群， 大模型学习资料、数据代码、技术交流提升， 均可加知识星球交流群获取，群友已超过2000人，添加时切记的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2060，备注：技术交流

用通俗易懂的方式讲解系列

国产AIGC大模型汇总
ChatGPT的博客
06-02 2249
此外，该模型还具有较强的迁移学习能力，可以在不同领域的数据上进行微调，适用于各种实际应用场景。：该大模型是知乎与面壁智能合作开发的一款中文大模型，已经开始运用到知乎热榜，知乎首个大模型功能“热榜摘要”上线并开启内测，利用超强的语言理解能力对知乎热榜上的问题回答进行抓取、整理和聚合，并把回答梗概展现给用户，给大家直观清晰的回答。：天工作为一款大型语言模型，拥有强大的自然语言处理和智能交互能力，能够实现智能问答、聊天互动、文本生成等多种应用场景，并且具有丰富的知识储备，涵盖科学、技术、文化、艺术、历史等领域。
2024年国内人工智能大模型汇总
m0_59235699的博客
07-04 2077
作为360鸿图大模型的重要组成，智脑模型拥有多项核心功能，包括多模态理解、多语言处理、知识问答、逻辑推理、多轮对话等。九天人工智能平台提供人工智能算力、算法、数据，汇聚优秀AI能力，打造从智算基础设施、核心算法能力到智能化应用的全栈人工智能服务，全面支持自智网络等多样化运营商智慧运营需求，为工业、医疗、政务、教育、金融等行业客户构建创新解决方案。此外，360智脑模型还积极与各行业合作伙伴共同打造行业大模型，以“行业化、专有化、轻量化”为特点，根据各行业的实际需求定制专属的行业大模型。
国内外主流AI大模型案例汇总：一文看懂
最新发布
2401_84494441的博客
02-10 2064
AI大模型就像一个智慧大载体，承载着人类最前沿的科技。同样，科技巨头们也纷纷研发自家的AI大模型，以此占据这个科技时代的新赛道。另外，包括一些大型非科技类企业也有在开创和研发行业领域的AI大模型。总之，无论国内国外，AI大模型出现百家争鸣的现象，这也为人工智能的发展创造出了一个多姿多彩，百花齐放的良好生态。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。
大语言模型汇总（ChatGPT、盘古、通义、文心一言、混元）
热门推荐
qq_30653631的博客
04-09 1万+
大语言模型，包括 NLP 大模型、CV 大模型、多模态大模型、科学计算大模型等。其可以支持多种自然语言理解和生成任务，如文本生成、文本分类、问答系统等，也可以应用于多个领域，如医疗、工业、交通、气象等。
国内外大模型汇总：Open AI大模型、Google大模型、Microsoft大模型、文心一言大模型、通义千问大模型、字节豆包大模型、智普清言大模型
2402_84466582的博客
08-19 2797
国内外大模型汇总：Open AI大模型、Google大模型、Microsoft大模型、文心一言大模型、通义千问大模型、字节豆包大模型、智普清言大模型
2023 年最热门的大模型 (LLMs)汇总
深度学习技术前沿
09-05 1516
来源：AMiner科技大模型（LLMs）是一种人工智能模型，旨在理解和生成人类语言。它们通过在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。这些模型通常基于深度学习架构，如转换器，这使它们在各种自然语言处理任务上表现出令人印象深刻的能力。大模型领域在国内外都取得了显著的成就，各个国家和地区的企业、机构以及学术界都在积极投入资源和努力，推动大模型技术的发展。比如，在...
大模型算法岗常见面试题100道（值得收藏）
2401_85324918的博客
07-24 1972
LangChain是一个用于构建和运行大型语言模型应用的开源框架。它提供了一套工具和组件，帮助开发者将大型语言模型（如 GPT-3）与其他工具和API结合，以完成更复杂的任务。1、LangChain包含哪些核心概念?Components:可重用的模块，例如API调用、数据库查询等。Chains:将多个Components链接在一起以完成特定任务的流程。Prompt Templates: 用于指导语言模型生成输出的文本模板。Output Parsers:解析语言模型输出的工具。
机器学习算法岗面试知识.pdf
08-14
以上内容仅是机器学习面试准备的一部分，全面的面试准备还需要深入理解其他算法，如SVM、决策树、神经网络等，以及掌握模型评估、调参技巧和实际项目经验。在面试前，充分准备和实践这些知识将极大地提高面试成功的...
面试面经｜大模型算法岗常见面试题100道
m0_64752471的博客
09-24 1456
大模型LLM(Large Language Models) 通常采用基于Transformer的架构。Transformer模型由多个编码器或解码器层组成，每个层包含多头自注意力机制和前馈神经网络。这些层可以并行处理输入序列中的所有位置，捕获长距离依赖关系。大模型通常具有数十亿甚至数千亿个参数，可以处理大量的文本数据，并在各种NLP任务中表现出色。
图像算法岗面试指南
Tsehooo的博客
09-30 3881
1.xboosting如何处理缺失值？ 2.生成模型和判别模型区别？ 3.svm种类？ -s svm类型：SVM设置类型(默认0) 0 – C-SVC：C-支持向量分类机；参数C为惩罚系数，C越大表示对错误分类的惩罚越大，适当的参数C对分类Accuracy很关键。 1 --v-SVC：v-支持向量分类机；由于C的选取比较困难，用另一个参数v代替C。C是“无意义”的，v是有意义的。（与C_SVC其实采用的模型相同，但是它们的参数C的范围不同,C_SVC采用的是0到正无穷，该类型是[0,1]。） 2 – 一类S
国内外大模型汇总（包括科大星火、文心一言、通义千问、智普清言、华为大模型）
2402_84466582的博客
08-30 3722
国内外大模型汇总（包括科大星火、文心一言、通义千问、智普清言、华为大模型）
国内外大模型最全合集
谢谢大家的关注
04-16 4397
中国的大模型研发在近年来取得了显著进展，众多科技公司和研究机构都投入到了这一领域，并推出了各自的大模型产品。
48个代码大模型汇总，涵盖原始、改进、专用、微调4大类
学姐带你玩AI的博客
11-29 5110
具有强大的表达能力和复杂性，可以处理各种自然语言任务，包括文本分类、问答、对话等。这些模型通常基于深度学习架构，如Transformer，并使用预训练目标（如语言建模）进行训练。在对大量代码数据的学习和训练过程中，代码大模型能够提升代码编写的效率和质量，辅助代码理解和决策，在代码生成、代码补全、代码解释、代码纠错以及单元测试等任务中都表现出十分出色的能力。为了帮大家深入掌握代码大模型的发展历程和挑战，我这次整理了相关的48个模型。
国内大模型汇总在这了
小北的博客
07-06 984
大模型 链接
全网最全-超大模型+分布式训练架构和经典论文
ZOMI酱
12-28 4902
全网最全的超大模型和分布式训练架构梳理，并附上经典论文简介。
大模型超详细盘点！常用的大模型及其优缺点、有潜力的大模型、国内大模型行业落地的现况、国内大模型优势、挑战与前景
Code1994的博客
09-21 8680
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
4.AI人工智能大模型汇总：类GPT系列模型、模型中转站Auto-GPT、多模态大模型、视觉模型、自然语言模型
丨汀、的博客
05-12 2996
AI人工智能大模型汇总：类GPT系列模型、模型中转站Auto-GPT、多模态大模型、视觉模型、自然语言模型
大模型相关技术汇总分析
珊瑚海的博客
06-13 594
随着大模型技术的发展，基于prompt方式对模型进行微调获得输出是非常普遍的做法，为获得更好的输出，对prompt进行微调是非常重要的。大模型是今年最火的概念，大模型时代必备技巧之一是-----提升工程(Prompt Engineering)。即从数据，模型，参数及执行四个方面均获得了最佳训练效果。完整的大模型由：芯片层->框架层->模型层 组成。4、分组参数切片，Sharding策略。
大模型训练数据集汇总
qq128252的博客
12-09 3146
当前大多数以上词级别的NLU模型都是针对特定任务设计的，而针对各种任务都能执行的通用模型尚未实现。为了解决这个问题，作者提出了GLUE，希望通过这个评测平台促进通用NLU系统的发展。斯坦福问答数据集（SQuAD），这是一个由众包工作者在维基百科文章上提出的10万多个问题的阅读理解数据集，每个问题的答案都是相应阅读段落的一部分文本。SQuAD数据集的构建分为三个阶段：1. 筛选文章；2. 通过众包的方式在这些文章上收集问题-答案对；3. 收集额外的答案。
深度学习&机器学习面试指南：面试笔记整理与算法岗知识要点
资源摘要信息:"《DL-面试笔记：深度学习机器学习》是一份专注于深度学习和机器学习领域的面试准备材料，旨在帮助求职者应对面试中的技术问题。该笔记包括了深度学习和机器学习中常见的面试问题，并提供了《深度学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值