2月18日，在大洋彼岸的马斯克秀出最新大模型Grok 3当天，国产AI公司深度求索（DeepSeek）最新一篇论文引发关注，创始人梁文锋在署名之列，并2月16日提交到预印本平台arxiv。
这篇论文的核心关于NSA(Natively Sparse Attention，原生稀疏注意力)。据DeepSeek，上下文建模对于下一代语言模型至关重要，但标准注意力机制的高计算成本带来了巨大的计算挑战。NSA（稀疏注意力）在提高效率同时，为提高模型能力提供新的方向，实现将算法创新与硬件对齐的优化相结合，进行高效的长上下文建模。
“此次DeepSeek发布的论文，可以称为基石更新。”业内人士向澎湃新闻记者评论，此前的DeepSeek-R1的瓶颈在于输入上下文能力方面相对不足，此次更新正是解决了原先大模型文字处理的问题。
2月18日，就在DeepSeek论文发布当天，月之暗面创始人杨植麟也带领团队发布最新论文《MoBA: MIXTURE OF BLOCK ATTENTION FOR LONG-CONTEXT LLMS（直译为“MoBA：面向长上下文大语言模型的块注意力混合方法”）》，提出了与NSA类似的稀疏注意力框架MoBA，并设计了一套可以自由切换全注意力和稀疏注意力机制的方式，为已有的全注意力模型更多的适配空间。（澎湃新闻记者 范佳来 胡含嫣）
相关文章：
好消息！中央财政拟支持20城实施城市更新行动 兰州在列！06-04
7月1日起，南昌将新增南昌=海口往返航班06-02
全球人工智能聚深圳，TCL多款AI产品引领创新风向05-23
护航银行业发展！同盾科技获2024年度金融科技·新锐企业奖05-22
遭摩的司机性侵女孩家属称孩子已转学05-22
浙江“胖都来”更名“盈都来” 胖东来撞名事件告一段落05-20
《新时代的中国国家安全》白皮书05-12