Gemma 2是什么

Gemma 2是谷歌DeepMind推出的新一代开源人工智能模型，包含90亿和270亿参数版本。该模型以卓越的性能、高效的推理速度和广泛的硬件兼容性为特点，能够与参数量更大的模型（如Llama 3、Claude 3 Sonnet）相媲美。Gemma 2设计易于集成到开发者的工作流程中，支持多种AI框架，并通过Google Cloud、Kaggle和Hugging Face等平台免费提供。

Gemma 2的特点

参数规模：Gemma 2目前提供两种参数规模的模型，分别是90亿（9B）和270亿（27B）参数版本，以适应不同的应用需求和资源限制。后续还会发布26亿参数（2.6B）模型。性能优化：27B版本的Gemma 2在性能上能够与参数量超过其两倍的模型相媲美，显示出极高的性能效率比，在LMSYS Chatbot Arena中，270亿参数的Gemma 2指令微调模型击败了拥有700亿参数的Llama 3，并超过Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型，在所有开源权重的模型中位列第一。推理效率：Gemma 2特别优化了推理过程，能够在单个高端GPU或TPU上以全精度运行，无需额外的硬件资源，从而大幅降低了使用成本。硬件兼容性：Gemma 2能够在多种硬件平台上快速运行，包括个人电脑、工作站、游戏笔记本以及云服务器等。开放许可：Gemma 2采用商业友好的许可协议，允许开发者和研究人员自由地分享、使用和商业化他们的应用。框架支持：Gemma 2与多个主流AI框架兼容，包括Hugging Face Transformers、JAX、PyTorch和TensorFlow，使得开发者可以根据自己的偏好选择合适的工具。部署工具：谷歌提供了Gemma Cookbook，这是一个包含实用示例和指南的资源库，帮助用户构建应用程序和微调Gemma 2模型。负责任的AI：谷歌提供了一系列工具和资源，如Responsible Generative AI Toolkit和LLM Comparator，以支持开发者和研究人员负责任地构建和部署AI。

如何使用Gemma 2

Gemma 2可与用户常用的工具和工作流程轻松配合使用，与Hugging Face Transformers、JAX、PyTorch 和 TensorFlow 等主流 AI 框架兼容，可通过原生 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama实现。此外，Gemma 还通过NVIDIA TensorRT-LLM进行了优化，可在 NVIDIA 加速基础设施上运行或作为NVIDIA NIM推理微服务运行，并将针对NVIDIA 的 NeMo进行优化。

Gemma 2现已在Google AI Studio中推出，用户可以在无需硬件要求的情况下以 27B 的速度测试其全部性能。开发人员还可以从Kaggle和Hugging Face Models下载Gemma 2的模型权重，Vertex AI Model Garden即将推出。

为了便于研究和开发，Gemma 2 还可通过Kaggle或 Colab 笔记本免费使用。首次使用 Google Cloud 的客户有资格获得300美元的信用额度。学术研究人员可以申请Gemma 2学术研究计划，以获得 Google Cloud 信用额度，以加速他们使用 Gemma 2 的研究。申请开放时间为即日起至 8 月 9 日。