摘要

在本报告中，我们介绍了Gemini 1.5模型系列，代表了新一代高效计算的多模态模型，能够在数百万个上下文标记中回忆并推理出细粒度的信息，包括多个长文档以及数小时的视频和音频。该系列包含两个新模型：（1）更新版的Gemini 1.5 Pro，在大多数能力和基准测试上超过了2月份的版本；（2）Gemini 1.5 Flash，一个更轻量级的变体，旨在提高效率的同时尽量减少质量损失。Gemini 1.5模型在跨模态的长上下文检索任务中实现了接近完美的回忆能力，在长文档问答、长视频问答和长上下文自动语音识别方面提升了现有技术水平，并在广泛的基准测试中达到或超越了Gemini 1.0 Ultra的领先性能。研究Gemini 1.5的长上下文能力极限时，我们发现其在下一个标记预测方面的持续改进以及至少在1000万个标记内实现接近完美的检索（>99%），这比现有的模型如Claude 3.0（20万个标记）和GPT-4 Turbo（12.8万个标记）有了代际飞跃。最后，我们强调了一些实际应用案例，例如Gemini 1.5与专业人士合作完成任务，在10个不同的职业类别中节省了26%到75%的时间，以及大型语言模型在前沿领域的惊人新能力；当提供卡拉芒语（Kalamang，全球使用者不足200人）的语法手册时，该模型能够以与从相同内容学习的人相似的水平将英语翻译成卡拉芒语。