Folia
← 返回头版

谷歌发布EmbeddingGemma 2多模态嵌入模型

谷歌推出了EmbeddingGemma 2,一款开源轻量级多模态嵌入模型,包含7.4亿参数,在Apache 2.0许可证下发布12。该模型支持将文本、代码、图像、视频和音频映射到统一的嵌入空间12,优化用于设备端推理,前代版本已获得超过2000万次下载1。

在性能方面,EmbeddingGemma 2的代码性能在MTEB Code基准上从68.76提升至78.68,增幅达9.92分1。模型的上下文窗口从4K扩展到8K token,较仅文本版本扩大4倍12,可处理5.5分钟音频、29张图像或58个视频帧1。文本仅模式需要约191MB主动RAM,完整多模态模型需要约567MB1。

EmbeddingGemma 2支持从768维动态截断至512、256或128维1,这项功能可将存储需求减少6倍1,通过Matryoshka表示学习实现向量存储压缩1。


来源

  1. Hacker NewsEmbeddingGemma 2
  2. Hacker NewsGoogle EmbeddingGemma 2

评论