大模型训练

科技人工智能

Kimi K3公开基础设施优化方案,但核心技术难以复制

月之暗面发布了Kimi K3的技术报告,详细披露了大模型训练中的AI基础设施(Infra)层设计细节。该报告阐述了三项核心优化方案:KDA线性注意力机制、AttnRes注意力残差机制和MoonEP负载均衡方法。这些方案的共同目标是消除串行等待、减少计算重复和实现动态负载均衡,而非简单依靠堆积GPU硬件。

科技人工智能

比「算力荒」更致命,「数据荒」正在带来灾难?

具身智能行业正面临一场数据危机。与大语言模型可从互联网海量获取文本数据不同,具身智能需要千万至亿小时级别的真实物理交互数据才能获得通用泛化能力,但全球可用的高质量物理交互数据总量仅约50万小时,缺口超过99%。这一瓶颈已成为制约行业发展的核心障碍,促使企业探索多条技术路线来解决数据积累难题。

科技人工智能

藏在大模型背后的新闻人:前媒体工作者成为AI训练的幕后功臣

曾经的记者、编辑和制片人如今在Meta、Google等AI公司担任内容工程师,负责定义和训练大模型的对话质量与风格 。这一新兴职业应运而生,正在吸纳传统媒体行业的人才——洛杉矶过去两年蒸发了四万多个影视岗位,美国报纸采编岗位较2008年减少了一半 。