小77文学欣赏 有望改写AI将来！NVIDIA全新nGPT使磨砺速率暴增20倍

幼女强奸

快科技 10 月 20 日音信小77文学欣赏，据媒体报谈，NVIDIA 的最新商量可能透顶蜕变 AI 的将来，其商量团队淡薄了一种名为归一化 Transformer（nGPT）的新式神经相聚架构。

这一架构在超球面（hypersphere）上进行暗示学习，大略显耀进步大型话语模子（LLM）的磨砺速率，最高可达 20 倍，同期保捏了模子的精度。

nGPT 架构的中枢在于将统统向量，包括镶嵌、多层感知机（MLP）、驻扎力矩阵和荫藏气象，归一化为单元范数。

这种归一化贬责使得输入的 token 在超球面名义上转移小77文学欣赏，每一层模子皆通过位移来孝顺最终的输出瞻望。

现实杀青标明，nGPT 在磨砺时所需的期间比圭臬 Transformer 模子减少了 4 到 20 倍，具体加快成果取决于序列长度。

举例，在 1k 高下文中，磨砺速率提高了 4 倍；在 4k 高下文中，提高了 10 倍；而在 8k 高下文中，更是提高了 20 倍。

商量东谈主员指出，nGPT 的优化旅途从超球面上的点初始，通过位移来孝顺最终的输出瞻望，其中位移量由 MLP 和驻扎力模块界说。

这种步调不仅提高了磨砺速率，还增强了模子的踏实性。

小77文学欣赏