打破 AI 模型記憶體極限！Google 研究人員找到餵給 AI 超大量數據的新方法Google 研究人員、柏克萊大學等專家合作的一項新研究指出，利用「環形注意力」（Ring A...
打破 AI 模型記憶體極限！Google 研究人員找到餵給 AI 超大量數據的新方法
Google 研究人員、柏克萊大學等專家合作的一項新研究指出，利用「環形注意力」（Ring Attention）這種技術，可打破 AI 模型現在主要面臨的記憶體瓶頸，把數百萬的文字量放入 AI 模型的資料視窗中，使 AI 模型的輸入容量擴增到百萬級以上。
Google、柏克萊大學新研究：「環形注意力」可突破 AI 模型記憶體限制
由於訓練和運算 AI 模型 GPU 存在記憶體限制，導致 AI 模型無法瞬間處理大量的字數 / token 輸入。該怎麼實現 AI 對大量數據的高效處理，是全球許多 AI 研究人員都在積極投入的項目。
目前而言，ChatGPT 在 Context Window 一次能夠處理的文字輸入頂多只有數千字，而較大的 AI 模型單次能夠處理的上限大約為數萬字（大約是一本書的字數）。
不過，這項限制終於有了新進展。由 Google 研究人員、柏克萊大學、Databricks 技術長等專家本月聯合發布的新論文，提出一項稱為「環形注意力」的突破性技術，有望根本性的改變人類和這些強大的新科技工具互動的方式。
在 Google DeepMind 工作、同時是柏克萊研究人員的 Hao Liu 表示，環形注意力的技術是基於 2017 年革命性的 Transformer 架構，該架構構成了 ChatGPT 和近年來出現的諸多新模型的基礎，例如 GPT-4、 Llama 2，以及 Google 即將推出的 Gemini。
此實驗顯示，環形注意力能夠降低 Transformer 的記憶體需求，使 Transformer 能夠訓練比先前最先進的記憶體長 500 倍以上的序列，而不必對注意力進行近似，讓效率狀態大幅躍升。 网页链接
转载请注明：打破 AI 模型記憶體極限！Google 研究人員找到餵給 AI 超大量數據的新方法Google 研究人員、柏克萊大學等專家合作的一項新研究指出，利用「環形注意力」（Ring A... | AI 時.空 | AiTime.Space