原創(chuàng) | 文 BFT機(jī)器人

01?介紹

定義

人工智能(A):一種廣泛的學(xué)科，其目標(biāo)是創(chuàng)造智能機(jī)器，而不是人類和動物所展示的自然智能。

通用人工智能(AlamosGold):一個術(shù)語，用來描述未來機(jī)器可以在所有有經(jīng)濟(jì)價值的任務(wù)中達(dá)到甚至超過人類的全部認(rèn)知能力。

人工智能安全:一個研究和嘗試減輕未來人工智能可能對人類造成的災(zāi)難性風(fēng)險的領(lǐng)域。

機(jī)器學(xué)習(xí)(ML):人工智能的一個子集，經(jīng)常使用統(tǒng)計技術(shù)，使機(jī)器能夠從數(shù)據(jù)中“學(xué)習(xí)”，而不需要明確給出如何這樣做的指令這個過程被稱為“訓(xùn)練”一個“模型”，使用學(xué)習(xí)“算法，逐步提高模型在特定任務(wù)中的性能。

強(qiáng)化學(xué)習(xí)(RL):機(jī)器學(xué)習(xí)的一個領(lǐng)域，在這個領(lǐng)域中，軟件代理通過在一個環(huán)境中的試驗和錯誤來學(xué)習(xí)以目標(biāo)為導(dǎo)向的行為該環(huán)境提供獎勵或懲罰以響應(yīng)他們?yōu)閷崿F(xiàn)目標(biāo)而采取的行動(稱為“策略”)。

深度學(xué)習(xí)(DL):機(jī)器學(xué)習(xí)的一個領(lǐng)域，試圖模仿大腦神經(jīng)元層的活動，以學(xué)習(xí)如何識別數(shù)據(jù)中的復(fù)雜模式?！吧疃取敝傅氖钱?dāng)代模型中大量的神經(jīng)元，有助于學(xué)習(xí)豐富的數(shù)據(jù)表示，以獲得更好的性能提升。

型號:?一旦ML算法已經(jīng)在數(shù)據(jù)上進(jìn)行了訓(xùn)練，過程的輸出就被稱為模型。然后，這可以用來作出預(yù)測。

計算機(jī)視覺(CV):使機(jī)器能夠分析、理解和處理圖像和視頻

Transformer 模型體系結(jié)構(gòu)：是大多數(shù)最先進(jìn)(SOTA)ML研究的核心。它由多“關(guān)注”層組成，這些層學(xué)習(xí)輸入數(shù)據(jù)的哪一部分對于給定的任務(wù)來說是最重要的。Transformers開始于語言建模，然后擴(kuò)展到計算機(jī)視覺、音頻和其他形式。

研究

漫射模型以其令人印象深刻的文本到圖像生成能力席卷了計算機(jī)視覺世界

人工智能研究更多的科學(xué)問題，包括塑料回收、核聚變反應(yīng)堆控制和天然產(chǎn)物發(fā)現(xiàn)。

標(biāo)度法則重新關(guān)注數(shù)據(jù):也許模型標(biāo)度并不是您所需要的全部。朝著用一個模式來統(tǒng)治他們的方向發(fā)展社區(qū)驅(qū)動的大型模型開源以極快的速度發(fā)生，使集體能夠與大型實驗室競爭受到神經(jīng)科學(xué)的啟發(fā)，人工智能研究在方法上開始看起來像認(rèn)知科學(xué)。

行業(yè)

新貴Al半導(dǎo)體初創(chuàng)公司與NVIDIA相比有沒有取得進(jìn)展?鋁的使用統(tǒng)計數(shù)據(jù)顯示，NVIDIA領(lǐng)先20-100倍。大型科技公司擴(kuò)展他們的人工智能云，并與A(G)L初創(chuàng)公司建立大規(guī)模合作伙伴關(guān)系招聘凍結(jié)和人工智能實驗室的解散加速了包括DeepMind和OpenAl在內(nèi)的許多巨頭初創(chuàng)公司的形成。

MaiorAl藥物研發(fā)公司擁有18項臨床資產(chǎn)，首個CE標(biāo)志被授予自主醫(yī)學(xué)成像診斷人工智能領(lǐng)域最新的代碼研究成果被大型科技公司和初創(chuàng)公司迅速轉(zhuǎn)化為商業(yè)開發(fā)工具。

政策

學(xué)術(shù)界和工業(yè)界在大規(guī)模人工智能工作方面的鴻溝可能無法彌補(bǔ):學(xué)術(shù)界幾乎沒有完成任何工作學(xué)術(shù)界正在把接力棒傳給由非傳統(tǒng)來源供資的分散的研究集體。

美國半導(dǎo)體能力的偉大復(fù)興是認(rèn)真的開始。

-人工智能繼續(xù)被注入更多的國防產(chǎn)品類別，國防人工智能初創(chuàng)企業(yè)獲得更多的資金安全

-人工智能安全研究的意識、人才和資金都有所提高，但仍遠(yuǎn)遠(yuǎn)落后于能力研究。

我們的2021年預(yù)測

1. 變形金剛?cè)〈鶵NN來學(xué)習(xí)世界模型，在大型和豐富的游戲中，RL代理超過了人類的性能。

   
   

2. ASML的市值達(dá)到500億美元。

   
   

3. Anthropic在GPT、DotaAlphaGo的水平上發(fā)表文章，使自己成為AlamosGold研究的第三極。

   
   

4. 隨著Graphcore、Cerebras、SambaNova、Groq或Mythic中的至少一家被大型技術(shù)公司或主要半導(dǎo)體公司收購，鋁半導(dǎo)體行業(yè)出現(xiàn)了一波整合浪潮。

   
   

5. 小型變壓器+CNN混合型號與lmageNet上的當(dāng)前SOTA相匹配(CoAtNet-7,90.88%，244B參數(shù))，參數(shù)少10倍

   
   

6. DeepMind顯示了物理科學(xué)的重大突破

   
   

7. 根據(jù)PapersWithCode的測量，JAX框架每月創(chuàng)建的回購量從1%增長到5%。

   
   

8. 一個新的以AlamosGold為重點(diǎn)的研究公司成立，該公司擁有重要的支持和路線圖，該路線圖側(cè)重于一個垂直部門(如開發(fā)人員工具、生命科學(xué))。

02?調(diào)查研究

2021預(yù)測: DeepMind在物理科學(xué)上的突破 (1/3)

2021年，我們預(yù)測:“DeepMind發(fā)布了物理科學(xué)的重大研究突破。這此后，公司在數(shù)學(xué)和材料科學(xué)方面取得了重大進(jìn)展。

數(shù)學(xué)中的決定性時刻之一是對感興趣的變量之間的關(guān)系提出一個猜想或假設(shè)。這通常是通過觀察這些變量值的大量實例來實現(xiàn)的，并且可能使用數(shù)據(jù)驅(qū)動的猜想生成方法。但它們僅限于低維、線性和一般簡單的數(shù)學(xué)對象。

在《自然》雜志的一篇文章中DeepMind的研究人員提出了一個選代的工作流程，涉及數(shù)學(xué)家和監(jiān)督ML模型(典型的是NN)。數(shù)學(xué)家假設(shè)一個函數(shù)涉及兩個變量(輸入X()和輸出Y())。一臺計算機(jī)生成大量的變量的實例和神經(jīng)網(wǎng)絡(luò)擬合的數(shù)據(jù)。梯度顯著性方法用于確定X》中最相關(guān)的輸入。數(shù)學(xué)家可以轉(zhuǎn)而完善他們的假設(shè)和/或生成更多的數(shù)據(jù)，直到猜想在大量數(shù)據(jù)上成立。

2021 預(yù)測: DeepMind在物理科學(xué)上的突破 (2/3)

2021年，據(jù)預(yù)測:“DeepMind發(fā)布了物理科學(xué)的重大研究突破。”這此后，公司在數(shù)學(xué)和材料科學(xué)方面取得了重大進(jìn)展。

DeepMind的研究人員與悉尼大學(xué)和牛津大學(xué)的數(shù)學(xué)教授合作，使用他們的框架(i)提出一個算法，可以解決表征理論中長達(dá)40年的猜想。

DeepMind在材料科學(xué)方面也做出了重要貢獻(xiàn)。結(jié)果表明，密度泛函理論中的精確泛函是計算電子能量的重要工具，可以用神經(jīng)網(wǎng)絡(luò)對其進(jìn)行有效的逼近。值得注意的是，研究人員沒有約束神經(jīng)網(wǎng)絡(luò)來驗證dft函數(shù)的數(shù)學(xué)約束，而只是將它們合并到適合神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)中。

2021 預(yù)測: DeepMind在物理科學(xué)上的突破 (3/3)

2021年，我們預(yù)測:“DeepMind發(fā)布了物理科學(xué)的重大研究突破?！边@此后，公司在數(shù)學(xué)和材料科學(xué)方面取得了重大進(jìn)展

DeepMind改變了AlphaZero的用途 (他們的RL模型訓(xùn)練來擊敗國際象棋、圍棋和將棋中最好的人類棋手)做矩陣乘法。這個AlphaTensor模型能夠找到新的確定性算法來乘以兩個矩陣。為了使用AlphaZero，研究人員將矩陣乘法問題重新定義為一個單人游戲，其中每一步都對應(yīng)一個算法指令，目標(biāo)是將一個張量歸零，以測量預(yù)測算法的正確性。

尋找更快的矩陣乘法算法，一個看似簡單且得到充分研究的問題，幾十年來一直是陳腐的。DeepMind的方法不僅有助于加速該領(lǐng)域的研究，還促進(jìn)了基于矩陣乘法的技術(shù)，即人工智能、成像，以及手機(jī)上發(fā)生的一切。

強(qiáng)化學(xué)習(xí)可能成為下一個核聚變突破的核心組成部分

DeepMind訓(xùn)練了一個強(qiáng)化學(xué)習(xí)系統(tǒng)來調(diào)整洛桑TCV(可變配置托卡馬克)的磁線圈。該系統(tǒng)的靈活性意味著它也可以用于ITER，法國正在建造的下一代托卡馬克裝置。

實現(xiàn)核聚變的一個流行途徑是使用托卡馬克裝置將極熱的等離子體限制在足夠長的時間內(nèi)。

一個主要的障礙是等離子體是不穩(wěn)定的，當(dāng)它接觸到托卡馬克的墻壁時會損失熱量和降解材料。穩(wěn)定它需要調(diào)整磁線圈每秒數(shù)千次。

DeepMind的深度RL系統(tǒng)就做到了這一點(diǎn):首先在模擬環(huán)境中，然后部署在洛桑的TCV中。該系統(tǒng)還能夠以新的方式塑造等離子體，包括使其與ITER的設(shè)計兼容。

預(yù)測整個已知蛋白質(zhì)組的結(jié)構(gòu):下一步會開啟什么?

自開源以來，DeepMind的AlphaFold2已經(jīng)在數(shù)百篇研究論文中使用。該公司目前已經(jīng)部署了該系統(tǒng)來預(yù)測來自植物、細(xì)菌、動物和其他生物體的2億種已知蛋白質(zhì)的三維結(jié)構(gòu)。這一技術(shù)所帶來的下游突破--從藥物發(fā)現(xiàn)到基礎(chǔ)科學(xué)一一需要幾年時間才能實現(xiàn)。

今天，蛋白質(zhì)數(shù)據(jù)庫中有19萬個由經(jīng)驗確定的3D結(jié)構(gòu)。這些都是通過X射線晶體學(xué)和低溫電子顯微鏡得出的。

·AlphaFoldDB于20221年7月首次發(fā)布1M預(yù)測蛋白質(zhì)結(jié)構(gòu)。

這個新版本的數(shù)據(jù)庫大小是200x。來自190個國家的500,000多名研究人員使用了該數(shù)據(jù)庫。

·AlphaFold在人工智能研究文獻(xiàn)中被提及的次數(shù)正在大幅增長，預(yù)計每年將增長三倍(右圖)。

蛋白質(zhì)的語言模型:一個熟悉的開源和縮放模型的故事

研究人員獨(dú)立地將語言模型應(yīng)用于蛋白質(zhì)的生成和結(jié)構(gòu)預(yù)測問題，同時對模型參數(shù)進(jìn)行定標(biāo)。他們都報告說，從擴(kuò)展他們的模型中獲得了巨大的好處。

Salesforce研究人員發(fā)現(xiàn)，擴(kuò)展LM可以讓他們更好地捕獲蛋白質(zhì)序列的訓(xùn)練分布使用6B參數(shù)ProGen2，他們產(chǎn)生的蛋白質(zhì)具有類似的折疊天然蛋白質(zhì)，但具有顯示不同的序列身份。但是，為了釋放規(guī)模的全部潛力，作者們堅持認(rèn)為應(yīng)該把更多的重點(diǎn)放在數(shù)據(jù)分布上。

超能力者等。介紹了蛋白質(zhì)LM的ESM家族，其大小范圍從8M到15B (稱為ESM-2)參數(shù)。使用ESM-2,他們構(gòu)建ESMFold來預(yù)測蛋白質(zhì)結(jié)構(gòu)他們表明，ESMFold產(chǎn)生類似的預(yù)測ALphaFold2和RoseTTAFold，但快了一個數(shù)量級。

這是因為ESMFold不依賴于使用多序列比對(MSA)和模板，如AlphaFold2和RoseTTAFold，而是只使用蛋白質(zhì)序列。

OpenCell:在機(jī)器學(xué)習(xí)的幫助下理解蛋白質(zhì)定位

研究人員利用基于CRISPR的內(nèi)源性標(biāo)記修飾基因，通過闡明蛋白質(zhì)功能的特定方面，來確定蛋白質(zhì)在細(xì)胞中的定位。然后，他們使用聚類算法來識別蛋白質(zhì)群落，并制定關(guān)于未表征蛋白質(zhì)的機(jī)械假設(shè)。

基因組研究的一個重要目標(biāo)是了解蛋白質(zhì)的定位以及它們在細(xì)胞中如何相互作用以實現(xiàn)特定的功能。OpenCell計劃擁有約5900張3D圖像中的1310個標(biāo)記蛋白質(zhì)的數(shù)據(jù)集，使研究人員能夠繪制蛋白質(zhì)的空間分布、功能和相互作用之間的重要聯(lián)系。

馬爾可夫聚類的圖上的蛋白質(zhì)相互作用成功地劃定功能相關(guān)的蛋白質(zhì)。這將有助于研究人員更好地了解迄今尚未定性的蛋白質(zhì)。

我們經(jīng)常期望ML能夠提供明確的預(yù)測。但這里和數(shù)學(xué)一樣，機(jī)器學(xué)習(xí)首先給出部分答案(這里是聚類)，然后人類解釋、制定和測試假設(shè)，最后給出一個確定的答案。

塑料回收得到急需的ML工程酶

來自UTAustin的研究人員設(shè)計了一種能夠降解PET的酶，PET是一種占全球固體廢物12%的塑料。

PET水解酶，稱為快速PETase，比現(xiàn)有的酶對不同的溫度和pH值更有活力。

FAST-PETase能夠在1周內(nèi)幾乎完全降解51種不同的產(chǎn)品。

他們還表明，他們可以從FAST-PET酶降解回收的單體中重新合成PET，這可能為工業(yè)規(guī)模的閉環(huán)PET回收開辟道路。

當(dāng)心復(fù)雜的錯誤。

隨著ML在定量科學(xué)中的使用越來越多，ML中的方法學(xué)錯誤可能會泄露給這些學(xué)科。普林斯頓大學(xué)的研究人員警告說，基于機(jī)器學(xué)習(xí)的科學(xué)的可重復(fù)性危機(jī)日益嚴(yán)重，部分原因是一個這樣的方法論錯誤:數(shù)據(jù)泄漏。

數(shù)據(jù)泄漏是一個總括術(shù)語，涵蓋了所有不應(yīng)該對模型可用的數(shù)據(jù)實際上是可用的情況。最常見的例子是測試數(shù)據(jù)包含在訓(xùn)練集中。但是，當(dāng)模型使用的特征是結(jié)果變量的代理時，或者當(dāng)測試數(shù)據(jù)來自與科學(xué)主張不同的分布時，泄漏可能會更加有害。

作者認(rèn)為，基干機(jī)器學(xué)習(xí)的科學(xué)的可重復(fù)性失敗是系統(tǒng)性的:他們研究了17個科學(xué)領(lǐng)域的20篇綜述，檢查了基干機(jī)器學(xué)習(xí)的科學(xué)中的錯誤，發(fā)現(xiàn)在329篇綜述中的每一篇都發(fā)生了數(shù)據(jù)泄漏錯誤。受ML中日益流行的模型卡的啟發(fā)，作者建議研究人員使用旨在防止數(shù)據(jù)泄漏問題的模型信息表。

OpenAl使用Minecraft作為計算機(jī)使用代理的測試平臺

OpenAl訓(xùn)練了一個模型(Video PreTraining,VPT)，使用少量標(biāo)記的鼠標(biāo)和鍵盤交互從視頻玩Minecraft。VPT是第一個學(xué)習(xí)制作鉆石的機(jī)器學(xué)習(xí)模型，“一項任務(wù)通常需要熟練的人類超過20分鐘(24000次操作)。

OpenAl收集了2000小時的標(biāo)記有鼠標(biāo)和鍵盤動作的視頻并訓(xùn)練了一個逆動力學(xué)模型(IDM)來預(yù)測過去和未來的動作一一這是預(yù)訓(xùn)練部分。

然后，他們使用IDM標(biāo)記70小時的視頻，在此基礎(chǔ)上，他們訓(xùn)練了一個模型，僅根據(jù)過去的視頻來預(yù)測動作。

結(jié)果表明，該模型可以通過仿真學(xué)習(xí)和強(qiáng)化學(xué)習(xí)(RL)對(a)模型進(jìn)行微調(diào)，以獲得難以從零開始使用RL的性能。

企業(yè)人工智能實驗室爭相進(jìn)入人工智能進(jìn)行代碼研究

驅(qū)動GitHub Copilot的OpenAl的Codex以其多行代碼或直接從自然語言指令完成代碼的能力給計算機(jī)科學(xué)界留下了深刻的印象。這一成功刺激了這一領(lǐng)域的更多研究，包括Salesforce、Gogle和DeepMind。

·借助對話式CodeGen,Salesforce研究人員可以利用LLM的語言理解能力來指定多回合語言交互中的編碼要求。它是唯一一個與Codex競爭的開源模式。

·谷歌的LLMPaLM取得了更令人印象深刻的成就，它實現(xiàn)了與Codex類似的性能，但其訓(xùn)練數(shù)據(jù)中的代碼少了50倍(PaLM是在更大的非代碼數(shù)據(jù)集上訓(xùn)練的)。當(dāng)對Python代碼進(jìn)行微調(diào)時，PaLM的表現(xiàn)優(yōu)于SOTA(82%vs717%) Depfix上的同行，一個代碼修復(fù)任務(wù)。

DeepMind的AlphaCode解決了一個不同的問題:在競爭性編程任務(wù)中生成整個程序。它在Codeforces一個編碼競賽平臺上排名前半。它是預(yù)先訓(xùn)練的對GitHub數(shù)據(jù)和Codeforces問題和解決方案進(jìn)行微調(diào)。然后對數(shù)百萬個可能的解決方案進(jìn)行采樣、過濾和聚類，以獲得10個最終候選方案。

Transformer五年后，一定會有一些高效的替代品。

變壓器模型核心的注意層因其輸入的二次依賴而聞名。大量的論文承諾解決這個問題，但沒有采用任何方法。

SOTALLM有不同的風(fēng)格(自編碼，自回歸，編碼器-解碼器)，但都依賴于相同的注意力機(jī)制。

在過去的幾年里，一群古戈爾的變壓器已經(jīng)被訓(xùn)練好了，花費(fèi)了數(shù)百萬數(shù)十億?)到世界各地的實驗室和公司。但是所謂的“高效變形金剛”EfficientTransformers)在大規(guī)模的LM研究中是找不到的(它們會帶來最大的不同!)GPT-3PaLMLaMDA，地鼠，OPT，布盧姆，GPT-Neo巨電子-圖靈NLG，GLM-130B等都在他們的變形金剛中使用了原始的注意層。

有幾個原因可以解釋這種缺乏采用: (一)潛在的線性加速只適用于大的輸入序列，(ii)新的方法引入額外的約束，使架構(gòu)不那么普遍， (ii) 報告的效率措施不轉(zhuǎn)化為實際的計算成本和時間節(jié)省。

語言模型的數(shù)學(xué)能力大大超過預(yù)期

基于谷歌的540B參數(shù)LM PaLM，谷歌的Minerva在數(shù)學(xué)基準(zhǔn)測試中獲得了503%的分?jǐn)?shù)(比之前的SOTA高出43.4%)，超過了預(yù)測者預(yù)期的2022年的最佳得分(13%)。同時，OpenAl訓(xùn)練了一個網(wǎng)絡(luò)來解決兩個數(shù)學(xué)奧林匹克問題(IMO)。

Google使用LaTeX和MathJax，使用來自arXiv和網(wǎng)頁的額外118GB科學(xué)論文數(shù)據(jù)集來訓(xùn)練其(預(yù)訓(xùn)練的)LLM PaLM。通過使用思維鏈提示(包括提示中的中間推理步驟，而不僅僅是最終答案)和多數(shù)投票等其他技術(shù)，Minerva將大多數(shù)數(shù)據(jù)集上的SOTA提高了至少兩位數(shù)的百分比。

Minerva只使用語言模型，并沒有明確地對形式數(shù)學(xué)進(jìn)行編碼。它更靈活，但只能自動評估其最終答案，而不是它的整個推理，這可能證明一些分?jǐn)?shù)膨脹。相比之下，OpenAl在精益正式環(huán)境中構(gòu)建了一個(基于轉(zhuǎn)換器的)定理證明器。他們的模型的不同版本能夠解決AMC12(26)、AIME(6)和IMO(2)中的一些問題(難度遞增的順序)。

??

更多精彩內(nèi)容請關(guān)注公眾號：BFT機(jī)器人
本文為原創(chuàng)文章，版權(quán)歸BFT機(jī)器人所有，如需轉(zhuǎn)載請與我們聯(lián)系。若您對該文章內(nèi)容有任何疑問，請與我們聯(lián)系，將及時回應(yīng)。