Meta麾下“羊驼”一路狂奔在开源的大道上。
在过去的一年里,Llama系列可以说开辟了开源LLM的半壁江山。
嫌弃开源模型能力只有GPT-3.5,不够用?
如今Llama 3发布,又是一石激起千层浪。粗看其基础benchmark,足以让国内外一众大模型公司瑟瑟发抖。借用一句业内人士的话,“性能上来说感觉就是GPT-3.7的水平。一己之力急速拉高了开源水位”。
首先从数据层面看,Llama 3 在15T tokens上进行了训练,践行了又一次堪称恐怖的大力出奇迹;再者从训练资源方面看,2.4万卡集群训练的部署也足以展示Meta的志在必得。
Llama 3让Meta重夺开源大模型的王位,且其性能无限接近甚至超过OpenAI GPT、Gemini和Claude等闭源大模型。
难怪Meta有底气放言,就各自的参数数量而言,经过两个定制的24000 GPU集群训练的Llama 3 8B和Llama 3 70B是目前可用的性能最佳的生成式AI模型之一。
更加劲爆的是。扎克伯格在最新访谈中透露,Llama3的三个版本中,是80亿参数、700亿参数的模型开源了,而超过 4000 亿个模型还在加紧训练的路上……