【摘要/前言】
硬件加速,可能总会是新的难点和挑战。面对信息速率和密度不断提升的AI,技术进步也会遵循摩尔定律,那硬件互连准备好了吗?
Samtec China Sr. FAE Manager 胡亚捷 在Keysight实验室开放日上海站做深度分享时,提出了以上这样的问题。
本次活动由Keysight主办,在上海、北京举办开放实验室主题日活动,携手Samtec的技术专家,共同探讨确保 AI 互连稳健性的趋势、挑战和解决方案。
【从摩尔定律看AI发展】
回顾半导体行业,英特尔创始人戈登・摩尔提出的摩尔定律,在过去五十多年近乎完美地验证了半导体技术的发展。集成电路上可容纳的晶体管数目大约每隔 18 - 24 个月便会增加一倍,性能提升一倍,价格却保持不变。而在 AI 领域,也有着类似的发展规律。
Samtec 胡亚捷 将IIya Sutskever(OPENAI前首席科学家)提出的“LLM pre-training hitting a wall” 问题作为引子,进入到硬件行业发展速度回顾和发展的讨论。这里的 “撞墙” 主要指的是大型语言模型(LLM)在预训练 (pre-training) 阶段的性能提升遇到了瓶颈,即通过增加模型规模、数据量和计算资源来提升模型性能的效果正在显著减弱和趋于平稳,边际效益显著递减。这一话题最近曾在 AI 社区引发了广泛讨论。
“AI 能力和性能不断提升,模型的规模和复杂度持续增长,就如同摩尔定律下半导体性能的迭代。例如,AI 模型的参数性能一直爬坡,比如 token 生成速度指数级上升,这种增长趋势与摩尔定律下晶体管数量的增长有着异曲同工之妙。”
另外,对于摩尔定律在 AI 硬件中的映射,他比较赞同推特上的大神@fin 老师的针对这个问题的观点 :
“目前我们面对的,早已不再狭义的摩尔定律。但每一次过分的要求,每一次技术撞墙,都一定会开辟新的世界。技术与市场的蓬勃发展,已演进成广义摩尔定律,即多个技术曲线的互相累积叠加形成的现象,比如制程、材料、互连和运算方式等。”
为此,他还从未来数年芯片加速的若干维度辅助进行了扩展分享。
【硬件是根基 互连为桥梁】
硬件是 AI 发展的根基,就如同高楼大厦的地基。没有强大的硬件支持,AI的各种设想和应用都将成为空中楼阁。为了满足 AI 日益增长的算力需求,硬件对于互连的要求越来越“过分”。
但Samtec可以满足。我们拥有丰富的产品线和强大的技术研发能力,能够为 AI 硬件互连提供全方位的解决方案。我们的产品不仅性能卓越,而且具有高度的可靠性和稳定性。在全球范围内,Samtec 与众多知名企业建立了长期合作关系,广泛应用于数据中心、智能汽车、5G、物联网等多个与 AI 紧密相关的领域。
分享中,胡亚捷重点从四个板块,为大家介绍了Samtec在AI领域的解决方案。
——Chipsets(芯片开发)
在芯片开发过程中,量测是必不可少的环节。Samtec 为客户推荐集成式的射频线束产品,如Bulls Eye测试点系统,具有压缩接口、小尺寸、高循环次数和 70GHz 的高性能,相比离散 SMA 通常可节省 4:1 的空间,其高密度能实现更小的评估板和更短的走线长度,极大地满足了芯片开发中的测试需求,为芯片的研发和优化提供了有力支持。
——SoMs/CoMs(系统模块/计算机模块)
当客户的系统涉及 AI 相关的模块板时,需要高可靠性、高密高速的板到板连接器。Samtec 的Accelerate HD超密集、多行阵列,具有高速 Edge Rate® 触点,专为高速、高循环应用设计,并且兼容 PCIe® 5.0;还有 Xilinx® Kria™自适应 SoM,采用一对 240 引脚的 AcceleRate® HD 超密集薄型阵列,小尺寸和 56Gbps PAM4 性能使其适用于 AI 边缘应用,为 AI 模块板的稳定运行提供了可靠保障。
——Accelerators(加速卡)
在加速卡应用中,卡与卡之间的互连至关重要。Samtec 提供多种解决方案,如 AcceleRate® HD 超薄,可实现 32 GT/s PCIe® 5.0 速度,适用于目标 AI - HPC 架构;其Twinax Flyover系统等高速电缆组件,能简化板布局并延长信号传输距离,满足加速卡之间高数据速率、低延迟的瞬时数据结果传输要求,有效提升了加速卡的性能和效率。
——DSAs(特定领域架构)
DSA 是针对特定计算任务或应用优化的硬件架构。Samtec 为支持 DSA,提供一系列能满足其高速、高密度、低延迟等要求的产品,像高速连接器、电缆组件等,以实现 DSA 架构中各组件之间的高效互联。例如其提供的高性能铜缆和光缆产品,可支持 DSA 所需的极高数据速率和灵活配置,助力 DSA 架构在 AI 特定领域发挥出最大效能。
【上海站小结】
除了Samtec胡亚捷的分享外,来自主办方Keysight的专家们,也分别针对“高速 AEC/AOC 电缆测试解决方案”和“下一代AI互联的测试测量要求和测试方案”做了专业分享。
在会议当中,是德科技的射频微波解决方案工程师何晓苑,深入剖析了AI产业互联的发展趋势,细致阐述了面对全新行业发展方向,市场对互联线缆提出的新要求。不仅如此,何晓苑还详尽介绍了是德科技针对这些新兴测试测量需求所精心打造的完整测试解决方案,为行业发展提供了极具价值的思路与参考。
Keysight 射频微波解决方案工程师 何晓苑
是德科技解决方案工程师张晓指出,伴随AI智算网络硬件持续发展,用于算力芯片Scale-up网络机间互连的ACC(Active Copper Cable,有源铜缆)和AEC(Active Electrical Cable,有源电缆),以及应用于内存和存储池化的PCIe AOC(Active Optical Cable,有源光缆)愈发受到关注。张晓在会议中介绍,是德科技提供的112Gbps/lane有源电缆测试方案,获得了IBTA(Infiniband Trade Association,国际InfiniBand贸易协会)官网认可;同时,其PCIe5.0/6.0 AOC有源电缆测试方案也已通过客户验证。
Keysight 解决方案工程师 张晓
现场,Keysight还与Samtec共同展出了Demo方案,供用户直观体验和讨论。
测试环境示意图
【Samtec对于AI的部分理解】
回答开篇的问题:面对 AI 发展对硬件互连提出的要求,目前的互连准备好了吗?
答案是:YES!Samtec准备好了!
硬件互连技术是 AI 产业发展的关键支撑,它的进步将直接推动 AI 技术的突破和应用拓展。硬件互连技术作为幕后英雄,虽然不常被大众瞩目,但却发挥着不可或缺的关键作用。
Samtec 在硬件互连领域的持续创新和努力,为AI的发展提供了坚实的保障。相信在未来,硬件互连技术与 AI 将相互促进、协同发展,共同创造更加精彩的科技篇章 。