公司創始人吉爾·維登(Gill Verdon)表示:我很高興終於分享了有關Extropic正在構建的更多信息:一個全棧硬體平台,利用物質的自然波動作為計算資源來生成人工智慧。
這種新穎的計算範式對世界實際意味著什麼?
將硬體擴展擴展遠遠超出數字計算的限制
使AI加速器比數字處理器(CPU/GPU/TPU/FPGA)更快、更節能
驗證在數字處理器上不可行的強大概率人工智慧算法
簡短的Litepaper(如下)讓您初步了解我們的技術。我們希望以下內容能讓您對未來的旅程感到興奮。加入我們,加速邁向熱力學智能未來。
- 吉爾和特雷夫-吉爾和特雷夫
Extropic的核心思想是利用自然界固有的物理隨機性作為直接的計算資源。
人工智慧時代對計算能力的需求正以前所未有的指數速度增長。幸運的是,在過去的幾十年裡,CMOS晶體管技術已經按照摩爾定律實現了小型化,通過提高計算機效率,使這種指數增長在很大程度上成為可能。
不幸的是,摩爾定律開始放緩。其原因源於基礎物理學:晶體管正在接近原子尺度,其中熱噪聲等效應開始禁止嚴格的數字操作。
結果,現代人工智慧的能源需求開始起飛。主要參與者提出了極端措施,例如建設一個專門用於大規模模型訓練和推理的核反應堆驅動數據中心。持續數十年的擴張將需要前所未有的規模基礎設施工程工作,這是擴大人類智力的艱難道路。
另一方面,生物學既不是嚴格的,也不是數字的,其計算電路比人類迄今為止建造的任何電路都效率得多。細胞之間的化學反應網絡驅動生物系統中的計算。細胞很小,因此這些網絡中反應物的數量是可計數的[6,7]。因此,反應物之間的反應確實是離散的,本質上是隨機的。這種內在隨機性的相對影響與反應物分子的數量成正比,因此波動通常主導這些系統的動力學。
由此,我們可以肯定地說,數字邏輯的約束並不限制計算設備的效率。工程挑戰是顯而易見的:我們如何從頭開始設計完整的人工智慧硬體和軟體系統,以便它能夠在固有的噪音環境中蓬勃發展?
基於能量的模型(EBM)為潛在解決方案提供了線索,因為它們是熱力學物理學和基本概率機器學習中出現的概念。在物理學中,它們被稱為參數化熱狀態,產生於參數可調的系統的穩態。在機器學習中,它們被稱為指數家庭。
眾所周知,指數族是參數化概率分布的最佳方法,需要最少量的數據來唯一確定其參數。因此,它們在低數據情況下表現良好,包括需要對關鍵任務應用程式中的尾部事件進行建模的場景,如圖1所示。他們通過用噪音填充數據中的空白來實現這一目標;他們尋求在匹配目標分布的統計數據的同時最大化信息。這種幻覺不包括在數據集中的每一種可能性並嚴厲懲罰此類事件的過程需要在訓練和推理中使用大量的隨機性。
在微觀尺度上,物質的行為,例如電子在導體中的運動,受到熱噪音和其他隨機效應的影響。這種隨機性在傳統計算中通常被視為噪音,需要最小化,但在Extropic的設計中,這種隨機性直接用於驅動計算過程。
這種抽樣要求一直是EBM生產和使用的主要限制因素。根本原因是,在數字硬體上,從一般能源格局中進行採樣非常困難,因為數字硬體必須消耗大量的電力才能產生和塑造擴散過程所需的信息。從硬體的角度來看,數字採樣似乎是人為的:當最常見和計算密集型的算法發生變化並且充滿噪音時,為什麼還要花費如此多的精力來構建日益複雜的原始數字計算機呢?
Extropic通過直接將EBM實施為參數隨機模擬電路,縮短了這種低效率並釋放生成性人工智慧的全部潛力。在基於複雜景觀採樣的算法的運行時間和能源效率方面,Extropic加速器將比數字計算機實現多個數量級的改進。
反向加速器的工作原理就像布朗運動一樣。在布朗運動中,懸浮在流體中的宏觀但輕的顆粒由於與微觀液體分子的多次碰撞而受到隨機力。這些碰撞導致顆粒在容器周圍隨機傳播。可以想像使用彈簧將布朗顆粒固定到血管壁並將其彼此固定,如圖2(a)所示。在這種情況下,彈簧將抵抗隨機力,顆粒將傾向於停留在容器的特定部分而不是其他部分。如果你反覆對粒子的位置進行採樣,並在採樣之間等待足夠長的時間(如圖2(b)所示),你會發現它們遵循一個可預測的穩態概率分布。如果我們改變彈簧的剛度,這個分布也會改變。這個簡單的機械系統是可編程隨機性的來源。
更多內容:可以去視頻後面的官網
如果您想了解更多信息,可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡,請訂閱並點讚。謝謝
論文地址:https://www.extropic.ai/future
視頻: