文章來源：學術頭條

圖片來源：由無界AI生成

‌剛剛，谷歌在大模型領域又有了新動作：重磅推出了一系列輕量級、先進的開放模型 Gemma。
據介紹，Gemma 由 Google DeepMind 和 Google 的其他團隊共同開發，採用與創建 Gemini 模型相同的研究和技術構建而成，專為負責任的人工智能開發而設計，其名字來自拉丁語 gemma，意為“寶石”。
Google DeepMind 首席執行官 Demis Hassabis 在 X 上表示，“我們長期以來一直支持負責任的開源和科學，這可以推動快速的研究進展，因此我們很自豪地發布了 Gemma......”

研究團隊在 Google DeepMind 官方博客中公布了一些關於 Gemma 的關鍵細節，如下：

• 谷歌將發布兩種尺寸的模型權重：Gemma 2B 和 Gemma 7B，且每種尺寸都發布了預訓練和指令微調變體。
• 新的 Responsible Generative AI 工具包為使用 Gemma 創建更安全的 AI 應用提供了指導和基本工具。
• 谷歌也為所有主要框架的推理和監督微調（SFT）提供了工具鏈：JAX、PyTorch 和 TensorFlow，以及本地 Keras 3.0。
• 現成可用的 Colab 和 Kaggle 筆記本，以及與 Hugging Face、MaxText、NVIDIA NeMo 和 TensorRT-LLM 等流行工具的集成，也使得開發者上手 Gemma 非常容易。
• 經過預訓練和指令微調的 Gemma 模型可在用戶的筆記本電腦、工作站或谷歌雲上運行，並可在 Vertex AI 和谷歌 Kubernetes Engine (GKE) 上輕鬆部署。
• 跨多個 AI 硬件平台的優化確保了行業領先的性能，包括英偉達 GPU 和谷歌雲 TPU。
• 在使用條款下，允許所有組織（無論規模大小）進行負責任的商業使用和分發。
  此外，研究團隊也在博客中寫道，“從今天開始，Gemma 將在全球發布。”也就是說，國內的開發者從今天起也可以使用 Gemma。（快速入門指南：https://ai.google.dev/gemma?hl=zh-cn）
  

同尺寸下最強

據官方博客介紹，Gemma 模型與 Gemini 共享技術和基礎設施組件，這使得 Gemma 2B 和 7B 與其他開放模型相比，在其規模上實現了同類最佳的性能。而且，Gemma 模型能夠直接在開發人員的筆記本電腦或台式電腦上運行。
值得一提的是，Gemma 在關鍵基準上超過了更大的模型，同時還符合谷歌嚴格的安全和負責任的輸出標準。

此外，為了使 Gemma 預訓練模型安全可靠，谷歌使用自動化技術從訓練集中過濾掉某些個人信息和其他敏感數據；還使用了大量的微調和基於人類反饋的強化學習（RLHF），從而使 Gemma 的指令微調模型與負責任的行為保持一致；為了解並降低 Gemma 模型的風險，谷歌進行了嚴格的評估，包括人工紅隊、自動對抗測試和危險活動模型能力評估。

跨框架、工具和硬件優化

谷歌方面表示，為適應特定的應用需求，比如匯總或檢索增強生成（RAG），開發者可以使用自己的數據對 Gemma 模型進行微調。

目前，Gemma 支持多種工具和系統：

• 多框架工具：使用最喜歡的框架，在多框架 Keras 3.0、本地 PyTorch、JAX 和 Hugging Face Transformers 中進行推理和微調的參考實現。
• 跨設備兼容性：Gemma 模型可在筆記本電腦、台式機、物聯網、移動和雲等流行設備類型中運行，從而實現廣泛的 AI 功能。
• 尖端硬件平台：谷歌與英偉達合作，針對英偉達 GPU 優化 Gemma，從數據中心到雲端再到本地 RTX AI PC，確保業界領先的性能和與尖端技術的集成。
• 針對谷歌雲進行了優化：Vertex AI 提供廣泛的 MLOps 工具集，具有一系列調整選項，並可使用內置推理優化功能進行一鍵式部署。可使用完全管理的 Vertex AI 工具或自主管理的 GKE 進行高級定製，包括部署到任何平台的 GPU、TPU 和 CPU 上具有成本效益的基礎設施。

參考鏈接：
https://blog.google/technology/developers/gemma-open-models/
技術報告鏈接：
https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf