文章來源：賽先生微信公眾號

　　早在2012年，電腦就已經學會識別YouTube視頻中的貓；到了2014年11月，電腦甚至可以將一張照片正確地命名為“一群正在玩飛盤的年輕人”，于是人工智能研究者們歡呼著期盼“深度學習”還會帶來更多成就，這套成功的算法效仿了大腦的思維方式，即僅僅通過接觸發展出對于真實世界特征的敏感性。

　　通過運用最新的深度學習設計，科學家們已經越來越熟練地將人工神經元網絡架構的計算機模型應用在圖像、語音和模式識別等領域——它們都是與機器個人助理、復雜的數據分析和自動駕駛汽車相關的核心技術。可是，除了訓練計算機從其他無關的數據里提取出一些顯著特征外，研究人員還從未完全理解這種算法或稱之為生物學習的方法為何會行得通。

　　有兩位物理學家研究發現，某種形式的深度學習，其作用機理就如同物理學中最重要和最普遍的一種數學方法，即一種大尺度物理系統行為的計算方法，它常用于基本粒子、流體和宇宙學的計算。

　　這一發現由波士頓大學的潘卡吉·梅塔（Pankaj Mehta）和西北大學的大衛·施瓦布（David Schwab）共同完成。他們證明了一種叫做“重整化”（renormalization）的統計技術能夠讓人工神經網絡實現數據分類，譬如在一個給定的視頻里識別“一只貓”，無論其顏色、大小或姿勢。這種統計方法原本用于物理學領域，它使得物理學家無需知道所有組分的精確狀態，就可以準確地描述大尺度系統。

潘卡吉·梅塔，波士頓大學物理系助理教授（供圖：潘卡吉·梅塔）

　　“這些原本只是夢里的事，他們居然用確鑿的證據寫成了論文，”埃默里大學（Emory University）的生物物理學家伊利亞·內蒙曼（Ilya Nemenman）如是說，“統計物理學領域里的提取相關特征，與深度學習領域里的提取相關特征，不止是說法一樣，它們在本質上就是一回事。”

　　我們人類掌握了特殊的訣竅，能夠分辨出灌木叢中的一只貓咪，人群中一張熟悉的面孔，或者我們周圍被顏色、質地和聲音包圍的任意目標。這種生物學上的學習過程和機器的深度學習之間的強烈相似性表明，大腦也采用了某種形式的重整化來理解世界。

　　“從數據中提取相關的特征，也許這里面存在一種普遍的邏輯，”梅塔表示，“我認為這是一個暗示，它告訴我們或許有類似的東西存在。”

　　施瓦布、梅塔和其他研究者認為，在對象或語音識別的背后，物理學家的技巧和學習過程在哲學上具有相似性，上述發現使得這種觀點得以正式化。重整化的過程被施瓦布形容為“把一個非常復雜的系統精煉成它的基本部分”，他說：“這也就是深度神經網絡和我們的大腦同樣在努力做的事。”

　　分層學習

　　十年前，深度學習似乎并未獲得成功。運行程序的計算機模型往往不能識別照片里的對象或音頻記錄里的口頭用語。

　　英國多倫多大學的計算機科學家杰弗里·辛頓（Geoffrey Hinton）和其他研究者，已經設計出一種在多層虛擬神經元網絡上運行的程序，該神經元網絡能夠通過“放電”開關，發送信號至相鄰的網絡層。這種“深度”神經網絡的設計靈感來自于人腦里視覺皮層的層級結構——該腦皮層能將光子流轉換成有意義的感知。

　　當一個人看到貓穿過草坪時，大腦的視覺皮層會把這個場景分層解析，即每一連續層的神經元進行放電，以響應更大規模且更明顯的特點。起初，如果檢測到視野區域內的對比差別，即表明物體的邊緣或端點位置，視網膜上的神經元就會放電并發出信號。這些信號會傳輸到更高一層神經元，這些神經元對邊緣和其他越來越復雜部分的整合較為敏感。當信號繼續向上傳遞時，比如一根貓胡須的視覺信號可能就匹配上了另一根胡須的信號，它們可能會和貓咪那尖耳朵的視覺信號整合，最終觸發頂層神經的激活，于是對應了一只貓的概念。

　　辛頓早在十年前就開始嘗試復制上述過程，他認為正是由于該過程的存在，發育中的嬰兒大腦才越來越善于協調傳感數據的明確相關性，比如學習如何把圖像里貓的胡須與耳朵整合在一起，而不是背景里的花朵。辛頓試圖應用一些簡單的學習規則來訓練深度神經網絡，以達成這一目的，這些規則是二十世紀八十年代由他和神經科學家特里·謝諾沃斯基（Terry Sejnowski）提出的。當聲音或圖像傳入深度神經網絡的底層時，數據便會觸發放電活動的瀑布效應。一個虛擬神經元的放電也會觸發相鄰層級上的互連神經元的放電，其強度取決于兩個單元連接的強度。這種連接最初被隨機分配了一些強度值，但是當兩個神經元一同被數據激活時，辛頓和謝諾沃斯基的算法就會主動強化它們之間的連接，以增強這種連接繼續成功傳遞信號的幾率。相反，如果兩個神經元之間的連接很少被用到，那么算法將會弱化該連接。隨著更多圖像或聲音得到處理，神經元之間的連接模式會在網絡里逐漸成型，就像支流系統通過各層級慢慢向上匯聚。在理論上，支流最終將匯聚到少數頂層神經元，并以聲音或物體類別的形式表現出來。

　　問題是，在從底層網絡層傳到頂部類別的過程中，數據開拓路徑會花太長的時間。也就是說，算法效率不夠高。

　　在隨后的2005年，辛頓和他的同事們從大腦發育的一個側面獲得靈感，從而設計了一套新的訓練方案。事實上，上世紀六十年代還在劍橋大學上學的時候，辛頓就首次接觸到了大腦發育這方面的知識。當時，生物學家柯林·布萊克摩爾（Colin Blakemore）通過解剖貓的大腦發現，視覺皮層是分階段發育的，它會從視網膜開始，通過對感官數據的響應來調整其神經連接，每次一層。

　　為了復制大腦視覺皮層逐步發育的特征，辛頓將學習算法在他的網絡中逐次每層地運行，即先訓練每一層的連接，再將輸出結果——相當于原始數據更為粗略的表征——作為上一層訓練的輸入數據，然后再對網絡進行整體上的微調。這種學習過程的確變得更加高效。很快，深度學習就打破了圖像和語音識別領域的準確性記錄。谷歌、Facebook和微軟也紛紛展開了致力于此的整體研究計劃。

大衛·施瓦布，美國西北大學物理系助理教授（供圖：大衛·施瓦布）

　　“在辛頓等研究者的手中，這些深度神經網絡成為了最好的分類器，”耶路撒冷希伯來大學的計算神經科學家兼計算科學家納夫塔利·蒂希比（Naftali Tishby）評論說，“不過，這一點也同樣困擾著機器學習方面的理論家，因為他們還不明白為什么這種網絡如此有效。”

　　深度學習之所以在很大程度上有效是因為大腦也是如此運作的。這種類比還遠不夠完善；大腦皮質比人工神經網絡更加復雜，其內部網絡不停運行著未知的算法。在辛頓的突破出現之后的幾年里，深度學習由自身出發，向著各個方向形成了分支，它運用各種在生物學上難以置信的算法，解決了許多學習任務上的難題。現如今，辛頓在多倫多大學和谷歌之間巡回工作，他認為機器學習和生物學習之間存在一個關鍵原則：“學習的時候，你總是從簡單的特征開始，然后基于那些你所學的去理解更復雜的特征，這是一個分階段的發展過程。”

　　從夸克到桌子

　　2010年，當時還在普林斯頓大學擔任生物物理學博士后研究員的施瓦布，專門乘坐火車到紐約市去聽辛頓介紹深度學習的演講。辛頓提出的逐層訓練過程讓他很快想起在物理學領域被廣泛使用的一種技術，“一種體現何謂物理學的技術”，施瓦布說。

　　回到普林斯頓以后，施瓦布打電話給梅塔，問他是否覺得深度學習聽起來很像重整化。早在幾年之前，兩人就通過一個暑期研究項目成了朋友兼合作者，他們經常相互探討“瘋狂的想法”。梅塔并不覺得重整化類比特別瘋狂，于是兩人開始著手研究這個直覺是否正確。“我們經常在深夜互相打電話，然后就這么一直聊下去，”梅塔說。“我們有些陷入癡迷了。”

　　重整化是一種從微觀到宏觀的描述物理學系統的系統化方法，它緊扣影響其大尺度行為的要素，并對其余要素進行平均化。令物理學家感到慶幸的是，大多數最微觀的細節都是無關緊要的；比如描述一張桌子，我們不需要知道在亞原子層面的所有夸克之間的相互作用。但是，需要一套復雜精巧的近似方案向上跨過距離尺度，一路上放大相關的細節，同時模糊無關的細節。

　　最終的突破出現在蒙特利爾爵士音樂節上，當時梅塔和施瓦布正在喝酒。他們決定把重點放在一個被稱為變分或“塊自旋”（block-spin）的重整化程序上，這個重整化方案是統計物理學家利奧·卡丹諾夫（Leo Kadanoff）在1966年發明的。塊自旋方法包括將一個系統內的組分組合成更大的區塊，每次重組會取系統中的平均組件。該方法可以很好地描述類分形對象，即在所有尺度或不同分辨等級下，看起來都有相似形態的對象。卡丹諾夫理論里的典型例子便是二維伊辛模型（Ising model），它是一種自旋晶格，或被視為指向上或指向下的微磁極。卡丹諾夫指出，通過從依據自旋狀態來描述轉變為依據自旋塊來描繪，人們可以很容易地對晶格進行放大。

　　施瓦布和梅塔希望在深度學習的數據層次表征里應用這個方法，他們翻來覆去地研究了卡丹諾夫的那篇老論文以及辛頓及其同事們在2006年發表的兩篇詳細探討首個深度學習協議的高引用論文。最終，他們找到了如何把一種程序的數學表達映射到另一個程序中去，進而證明了這兩種對世界特征總結的機制本質上是相同的。

　　由利奧·卡丹諾夫在 1966年發明的一項技術，可用于描述不同分辨水平下的自旋晶格，此項技術等同于一種現代深度學習協議。（圖片來源：Quanta Magazine）

　　為了說明兩者的對等性，施瓦布和梅塔訓練了一個包含20000例伊辛模型晶格的四層神經網絡。從下一層的神經網絡到上一層，神經元自發地表征為更大片的自旋區域，并用卡丹諾夫的方法歸納數據。“它從應當進行區域重整化的樣本開始學習，”梅塔說。“你不用手把手教它，它自己就能學習，這令我們感到震驚。”

　　相比類似分形的磁鐵晶格，當深度神經網絡遇到貓咪的照片時，它可能會使用更多樣更靈活的重整化方式。但研究人員推測，它同樣會先從像素尺度逐層移動到寵物照片的尺度，剔除或整合數據里與貓咪相關的元素。

　　歸納世界

　　研究人員希望統計物理學和深度學習領域之間的交叉結合會在這兩個領域產生新的進展，但施瓦布認為，“在任一方向上產生殺手級的應用程序”依然言之過早。

　　由于深度學習會根據手頭的數據進行自我調整，因此研究者希望它能夠用于評估對于傳統重整化方案而言太過復雜的系統行為，如細胞或復雜蛋白質的聚集過程。這些生物系統往往缺乏對稱性，看起來毫無分形特征。對于這些系統，“我們在統計物理學研究中發明出的機械化步驟沒有一個能用得上，”內蒙曼說，“但我們仍然知道，既然我們自己的大腦能認知現實世界，那么肯定存在某種粗粒度的描述方法。如果現實世界是不可歸納的，那么這樣的描述方法就不會存在。”

　　深度學習也讓我們有希望從理論上去更好地理解人類認知。賓夕法尼亞大學的神經科學家維賈伊·巴拉薩布拉曼尼恩（Vijay Balasubramanian）說，他和其它跨領域專家很早就意識到重整化和人類感知之間的概念相似性。“施瓦布和梅塔的論文成果可能會給我們帶來精確類比的工具。”巴拉薩布拉曼尼恩說。

　　例如，這個發現似乎支持了一種新興的假設：部分大腦的工作處于一個“臨界點”上，其中每一個神經元都可能影響整個網絡。來自加州拉荷亞薩爾克生物研究所（Salk Institutefor Biological Studies）的謝諾沃斯基教授解釋到，在物理學中，重整化其實是把一個物理系統的臨界點用數學化表示，“重整化和大腦可能相關的唯一途徑在于后者是否處于臨界點。”

　　這項研究里還可能包含更深層次的信息。蒂希比就把它看作是重整化的、深度學習和生物學習其實都可以被信息論中的一個理論所囊括。所有這些技術的目的都是為了減少數據冗余，一步一步地將信息壓縮到它的本質，以至于在最后的表征中，沒有任何字節是彼此相關的。例如，貓咪有許多表達其存在的方式，只是深度神經網絡將它們不同的相關性整合在一起，并將之壓縮成單個虛擬神經元的形式。“神經網絡所做的正是壓縮信息，”蒂希比說，“而這也正是深度學習的瓶頸所在。”

　　通過將逐層剝離的數學步驟把信息拆分至最簡化形式，“這篇論文的確打開了一扇大門，讓我們通向非常令人興奮的領域。”蒂希比說。