所有語言
分享
文章來源:AIGC開放社區
3月11日晚,馬斯克在社交平台宣布,將在本周開源生成式AI產品——Grok。
Grok是馬斯克旗下公司xAI在去年11月發布的,一款類ChatGPT產品,可以提供生成文本、代碼、郵件、信息檢索等功能。其測試性能超過GPT-3.5、LLaMA 2 70B,弱於GPT-4。
目前,該產品僅為X Premium+客戶提供服務,至今沒有大範圍對外開放使用非常神秘。
Grok簡單介紹
根據xAI在官網公布的早期模型卡显示,首先開發團隊先訓練了一個330億參數的原始大模型Grok-0,其性能相當於700億參數的LLaMA 2,但僅使用其一半的訓練資源。
然後基於Grok-0進行蒸餾、微調開發了Grok-1,在GSM8k、MMLU、HumanEval等多個測試平台显示,其性能全面超過了LLaMA 2-70B、GPT-3.5。但與Claude 2、GPT-4還有較大的距離。
由於這些基準測試是公開的,Grok-1的訓練數據可能已經包含了測試答案。
隨後,開發團隊使用了2023年匈牙利全國高中決賽的數學題對Grok-1、Claude 2、GPT-4進行了人工測試。
結果显示,Grok-1 以 C (59%) 的成績通過了考試,而 Claude-2取得了差不多的成績 (55%),GPT-4 以 68% 的成績獲得了B,其推理能力還是挺不錯的。
訓練數據方面,Grok-1 發布版本所使用的訓練數據截至 2023 年第三季度的互聯網數據以及xAI人工智能導師提供的數據。
局限性,雖然 Grok-1 在信息處理方面表現出色,但需要對 Grok-1生成的內容進行審核。Grok-1 語言模型不具備獨立搜索網絡的能力,不是一個多模態的產品。
馬斯克為什麼開源Grok
本月初,馬斯克正式起訴了OpenAI以及其聯合創始人Sam Altman和Greg Brockman。
原因是,OpenAI違反合同協議、違反信託義務和不公平的商業行為,在發布ChatGPT等爆火產品後轉向閉源並開始盈利。這與最初的開放AI造福人類理念截然相反。
馬斯克作為OpenAI最初創始人之一,表示Altman 和 Brockman 在 2015 年說服他幫助創立OpenAI併為其提供資金,同時承諾該公司將是一家非營利性AI研究機構,專註於對抗來自谷歌等科技公司的競爭。訴訟稱,基於創始協議要求 OpenAI 向公眾 免費提供 其技術成果。
但根據OpenAI最新發布的回應郵件來看,為了更好的開發AGI,獲取更多資金壯大產品線走營利模式,當時馬斯克是同意的。
所以,馬斯克在這個時間點選擇開源Grok,估計和前幾天起訴OpenAI的案件有關,兌現自己當年聯合創立OpenAI時的“開源”諾言。
關於xAI
xAI成立於2023年7月13日,隸屬於馬斯克旗下。其核心團隊成員曾經分別在DeepMind、OpenAI、谷歌研究、微軟研究、特斯拉等前沿公司或多倫多大學等學術機構任職過。
本文素材來源xAI官網,如有侵權請聯繫刪除