愛游戲(ayx)中國官方網站-高達 3.6 萬億 token，PaLM 2 訓練數據翻 5 倍，全新 Bard 對比 ChatGPT 有 8 個優勢

決定大模型能力的據翻關鍵因素，到底是倍全比模型的參數，還是有個優勢訓練文本的大小？

谷歌發布的 PalM2，似乎選擇了后者作為提升的高達主要路徑。

據悉，訓新谷歌用于訓練的練數 PaLM2 的文本數量幾乎是訓練其前身模型的 5 倍。

而且上周宣布 PaLM 2 時，有個優勢谷歌明確表示，高達該模型比早期的訓新 PaLM 更小。

谷歌內部文件顯示，練數PaLM 經過了 5400 億的參數訓練，而新推出的 PaLM2，訓練參數接近腰斬，只有 3400 億個。

但是在另一個模型訓練的關鍵數據 —— 訓練語料大小上，谷歌開始瘋狂堆料，把 PaLM 的 7800 億的訓練 token 量直接推到了 3.6 萬億！

而且除了 Token 數量的激增，PaLM2 在數據質量上也有很大的提升。

所以相比 PaLM，第二代在英語語料數據量沒有顯著增長的情況下，英語性能明顯提高，部分原因是因為英語數據的質量提升了。

大模型路線選擇

OpenAI 沒有公開 GPT-4 的訓練參數數量，但是谷歌沒有藏著掖著，主動公開了 PaLM2 訓練參數。

而且在谷歌 I / O 大會上，還同時發布了 4 個參數更少的模型。

其中最小的一款模型 Gecko（壁虎），甚至可以在智能手機上運行。

這一舉動側面反應了谷歌未來的野心，希望在更多的平臺上部署自己的大模型。

在這個大背景之下，從長遠的角度來看，谷歌幾乎不可能選擇堆訓練參數量來提升模型性能，增加訓練語料的數量和質量幾乎成了必然的選擇。

PaLM 2：史上最強大模型？

在 I / O 大會上宣布 PaLM 2 時，谷歌證實：該模型經過 100 種語言的訓練，可以執行廣泛的任務。它已經被用來為 25 個功能和產品提供支持，包括谷歌的實驗性聊天機器人 Bard。

PaLM 2 有四種尺寸，從小到大依次是：Gecko（壁虎）、Otter（水獺）、Bison（野牛）和 Unicorn（獨角獸）。

基于現在公開披露的數據，PaLM 2 比現有的任何模型都更強大。

Meta 的 LLaMA 在今年二月推出，它在 1.4 萬億個 token 上進行了訓練。

而上一次 OpenAI 分享訓練規模，還是在推出 GPT-3 時，當時 OpenAI 說，它接受了 3000 億個 token 的訓練。

另外，谷歌兩年前曾提出 LaMDA 模型，當時它接受了 1.5 萬億個 token 的訓練。

AI 軍備競賽升溫，公眾要求更高透明度

對于大模型訓練數據的細節，大廠們都很默契地選擇了「Close」。

發布 GPT-4 時，OpenAI 沒有公布架構（包括模型大小）、硬件、訓練計算、數據集構建、訓練方法等細節，理由是「像 GPT-4 這樣的大規模模型的競爭格局和安全影響」。

被 OpenAI 逼到墻角的谷歌，也一直渴望展示自己 AI 技術的力量，包括如何將其嵌入到搜索、電子郵件、文字處理和電子表格中，但是此前，谷歌一直不愿意公布訓練數據的大小或其他細節。

保密的原因，當然就是業務的競爭性質。

無論是谷歌還是 OpenAI，都在爭搶著希望使用聊天機器人而不是傳統搜索引擎的用戶。

但隨著 AI 軍備競賽的升溫，研究社區正在要求更高的透明度。

而現在，隨著 AI 應用迅速成為主流，圍繞底層技術的爭議也愈發激烈。

隨著新的人工智能應用迅速成為主流，圍繞底層技術的爭議也越來越激烈。

今年 2 月，谷歌研究高級科學家 El Mahdi 因公司缺乏透明度，選擇辭職。

周二，OpenAI 首席執行官 Sam Altman 在參議院司法小組委員會關于隱私和技術的聽證會上作證，同意立法者的觀點 —— 需要監管 AI 的新系統。

「對于一項非常新的技術，我們需要一個新的框架，」Altman 說。「當然，像我們這樣的公司，對于在全球推出的工具負有很大責任。」

Bard 可以干但 ChatGPT 干不了的事

1. 訪問網絡

相對于 ChatGPT，Bard 的一個顯著優勢就是 —— 可以訪問互聯網。

問問今天（5 月 17 日）的體壇大事，Bard 快速總結出來了。

而 ChatGPT 無法直接訪問互聯網，只能通過其付費版本 Plus 上的插件訪問網絡。

2. 圖像生成

在生成圖像上，Bard 也超越了 ChatGPT 的付費和非付費版本。

谷歌宣布將通過集成 Adobe Firefly，提供 AI 圖像生成功能。這個功能增強了對話的視覺效果，讓用戶獲得了上下文更豐富的信息。

3. 語音輸入

在語音輸入方面，Bard 也優于 ChatGPT，用戶只要通過語音，就可以和模型交互了。

這樣在多任務處理和打字不方便時，用戶就多了一種快速獲取響應的邊界方式。

小編把今日體壇新聞的問題讀了一遍，Bard 就自動顯示了。唯一要注意的是，英文發音要足夠標準。??

4. 編碼能力

在編碼能力上，Bard 也超越了 ChatGPT，它能夠協助 20 多種編程語言，包括 C++、Python、Java、TypeScript、JavaScript 等。它可以輔助開發者進行代碼生成、解釋和調試。

相比之下，雖然 ChatGPT 也具有編碼功能，但它在處理額外任務時存在不足，相比之下 OpenAI 的 Codex 可能更適合執行這些任務。

讓 Bard 用 python 生成一個斐波那契數列，并打出前 10 個數字。

Bard 成功完成了。

5. 高度整合 Gmail

與 Gmail 集成，是 Bard 是另一個重要優勢。

Gmail 擁有超過 20 億用戶，是全球最大的電子郵件服務商。如果在郵件中能用 Bard，無疑為電子郵件交互開辟了新的可能性。

但是，微軟也正把 ChatGPT 添加到 Microsoft 365 中，并將嵌入到 Word、Excel、PowerPoint 以及 Gmail 的競爭者中。

6. 分享輸出內容

另外，Bard 還可以將結果立即導出到 Gmail 和 Docs。

用戶可以將生成的內容直接導出到這些平臺，輕松與他人分享。這個功能大大簡化了共享信息的過程，使撰寫電子郵件變得非常輕松。

另一方面，OpenAI 在設置中有一個類似的導出選項。用戶可以導出帳戶詳細信息和對話，以可下載文件的形式發送到電子郵箱中。

7. 支持圖像提示

Bar 還有一大功能是，能夠使用圖像作為提示。

用戶只需點擊圖片或使用 Google Lens 掃描圖像，就可以向 Bard 尋求幫助了。

比如，用戶可以查找與某張圖片類似的度假勝地，還可以詢問其這個地點的歷史意義。

同樣，GPT-4 也是一個多模態大模型，可以接受圖像和文本輸入，不過截至本文發布之日，在付費版本中也沒有引入這個功能。

8. 網頁摘要

因為 Bard 可以聯網，因而它可以通過簡單地共享鏈接來總結某個網頁。

相比之下，ChatGPT 不能聯網，用戶只能手動復制和粘貼想要總結的內容。

不過，Bard 也有其局限性，特別是在毒性方面。

在測試過程中，當給出明確的有毒提示時，Bard 在超過 30% 的時間內，會產生有毒反應。

此外，在英語、德語和葡萄牙語等語言中，PaLM 2 總體上會表現出更明顯的毒性行為。

總的來說，由于不同的架構和測試方法，直接比較這 PaLM2 和 GPT-4 有一定的挑戰性。

在推理任務中，PaLM 2 的表現與 GPT-4 類似，甚至更好。

不過，在編碼任務中，PaLM 2 需要多次嘗試，以及額外的編碼 token，才能獲得良好的性能。

參考資料：

• https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html

• https://analyticsindiamag.com/8-things-that-bard-can-do-but-chatgpt-cant/

本文來自微信公眾號：新智元 （ID：AI_era）