OneFlow深度学习框架

不止于成为世界上最快的开源深度学习框架。https://github.com/Oneflow-Inc/oneflow

OneFlow深度学习框架

博客等级

码龄5年

企业官方账号

382
原创

2878
点赞

4177
收藏

5854
粉丝

关注

私信

热门文章

分类专栏

最新评论

用初中数学理解LLM工作原理
Dongwoo Jeong: 我对中国的初中生感到威胁，因为我拥有韩国的“物理学硕士”学位。这很容易理解。不过，我想总结一下这篇文章的一些小遗憾：在开始之前，如果有一个关于LLM组件的简单概述，会更容易理解。对于初学者来说，应该先有概述再介绍，但一开始就直接介绍，让我很难知道自己正在学习LLM的哪一部分。 1. 归一化位置（Norm）在神经网络训练中，归一化用于提高稳定性和性能。 GPT主要使用预归一化结构（在激活函数之前应用归一化）。归一化分为后向和前向归一化。 2. 激活函数（Activation Function）激活函数为神经网络引入非线性，帮助学习模式（ReLU是典型代表）。 GPT使用GELU，它比ReLU具有更平滑的过渡模式。 3. 位置编码（Positional Encoding） Transformer模型与循环神经网络（RNN）不同，无法直接处理顺序信息，因此通过位置编码传递位置信息。 GPT最近使用RoPE（旋转位置编码）作为相对位置编码。 4. 注意力机制（Attention Mechanism）注意力机制从输入文本中提取重要部分的信息。 GPT使用带有因果掩码的自注意力机制（Causal Masking）。 5. 混合专家模型（MoE）混合专家模型通过创建多个“专家”抽象层，输入令牌由路由网络选择并传递给特定层。主流架构包括：仅编码器（Encoder-only，如BERT）仅解码器（Decoder-only，如GPT系列）编码器-解码器（Encoder-Decoder，如T5）如果有这样的概述就更好了。非常感谢您用非常易懂的方式解释了原理。
用初中数学理解LLM工作原理
云淡风轻2.0: 这文章就是用ai写的，你能看懂才怪了
用初中数学理解LLM工作原理
西格玛man: 为什么我看不懂中文，作者能再润色一下语言吗，太复杂了
Cerebras：挑战英伟达，全球最快AI推理芯片的“魔法”
uttyuiuoi: 一个实验产品和人家量产的对比
开源AI背后的商业密码
深圳王哥: 这篇文章真是干货满满，作者对技术细节的把握和解析非常到位，让我对这个主题有了更深入的理解。期待作者能分享更多这样的高质量内容！

计算机架构

关注

文章平均质量分 93

关注数：文章数：1 文章阅读量：5212 文章收藏量：21

作者: OneFlow深度学习框架

SiliconCloud，让产品开发者实现Token自由。siliconflow.cn/zh-cn/siliconcloud

展开

专栏收录文章

GPU架构与计算入门指南

大多数工程师对CPU和顺序编程都十分熟悉，这是因为自从他们开始编写CPU代码以来，就与之密切接触。然而，对于GPU的内部工作原理及其独特之处，他们的了解则相对较少。过去十年，由于GPU在深度学习中得到广泛应用而变得极为重要。因此，每位软件工程师都有必要了解其基本工作原理。本文旨在为读者提供这方面的背景知识。本文作者为软件工程师Abhinav Upadhyay，他在《大规模并行处理器编程》第四版（H...

原创 2023-11-01 09:31:14 · 5212 阅读 · 0 评论