2月18日，在大洋彼岸的马斯克秀出最新大模型Grok 3当天，国产AI公司深度求索（DeepSeek）最新一篇论文引发关注，创始人梁文锋在署名之列，并2月16日提交到预印本平台arxiv。
这篇论文的核心关于NSA(Natively Sparse Attention，原生稀疏注意力)。据DeepSeek，上下文建模对于下一代语言模型至关重要，但标准注意力机制的高计算成本带来了巨大的计算挑战。NSA（稀疏注意力）在提高效率同时，为提高模型能力提供新的方向，实现将算法创新与硬件对齐的优化相结合，进行高效的长上下文建模。
“此次DeepSeek发布的论文，可以称为基石更新。”业内人士向澎湃新闻记者评论，此前的DeepSeek-R1的瓶颈在于输入上下文能力方面相对不足，此次更新正是解决了原先大模型文字处理的问题。
2月18日，就在DeepSeek论文发布当天，月之暗面创始人杨植麟也带领团队发布最新论文《MoBA: MIXTURE OF BLOCK ATTENTION FOR LONG-CONTEXT LLMS（直译为“MoBA：面向长上下文大语言模型的块注意力混合方法”）》，提出了与NSA类似的稀疏注意力框架MoBA，并设计了一套可以自由切换全注意力和稀疏注意力机制的方式，为已有的全注意力模型更多的适配空间。（澎湃新闻记者 范佳来 胡含嫣）
相关文章：
“世界上最强AI模型”发布，马斯克放话！07-14
正式开园！乐高乐园度假区迎来重要时刻，上海国际级乐园IP又添新成员07-05
苹果一口咬死AI不会思考，OpenAI前高管直接开怼：AGI已来，别再酸了06-30
机器人“上学”记06-28