幾乎每一門編程語言，都有一個數(shù)據(jù)類型叫做Boolean，它只有兩個值：真和假。

這是為了紀念發(fā)明布爾代數(shù)的數(shù)學家喬治·布爾。

喬治·布爾英年早逝，他絕對想不到，他的小女兒艾捷爾·麗蓮·伏尼契寫了一本著名的小說《牛虻》。

他更不可能想到，他還有一位玄孫：Geoffrey E. Hinton（辛頓），將家族的榮耀推向了巔峰，辛頓不但成了深度學習之父，還獲得了圖靈獎和諾貝爾獎。

0 1

算法的積累

辛頓出生于1947年，先在劍橋大學獲得了實驗心理學學士，然后跑到愛丁堡大學拿到了博士學位，他的論文是《放松及其在視覺中的作用》。

這聽起來和計算機毫無關系，辛頓為啥會進入到人工智能領域呢？

因為當時的人工智能和計算機科學、心理學和神經(jīng)科學“糾纏不清”，每個學科都試圖按照自己的領域來描繪技術的前景。

比如早在1958年，在海軍的資助下，康奈爾大學教授弗蘭克·羅森布拉特發(fā)明了一個模仿人腦的數(shù)學系統(tǒng)：感知機。

感知機有 400 個光傳感器，它們一起充當視網(wǎng)膜，將信息傳送給大約 1,000 個“神經(jīng)元”，這些神經(jīng)元進行處理并產(chǎn)生單一輸出。

用一系列的打孔卡訓練以后，感知機居然自己學會了識別卡片上的標記是在左側還是右側，這事兒轟動一時，媒體甚至報道“海軍設計了一個會思考的科學怪物”！

我們現(xiàn)在知道，這就是第一個神經(jīng)網(wǎng)絡。

不過，這個神經(jīng)網(wǎng)絡只有一層自適應的權重，想要完成復雜的任務，需要建立一個多層的，每一層都向下一層提供信息，這樣就可以學習感知機無法學習的復雜圖形。

但是研究人員找不到很好的方法來訓練它們，人工智能進入了第一個寒冬。

1978年，辛頓來到加州大學圣地亞哥分校做博士后研究，在這里他和David Rumelhart和Ronald Williams合作，重新“發(fā)現(xiàn)”了用于訓練神經(jīng)網(wǎng)絡的反向傳播算法，特別是證明了該算法可以使多層神經(jīng)網(wǎng)絡調(diào)整自身的權重，從而學習多層特征，完成語言和視覺的任務。

這是一個極其重要的突破，反向傳播成為當今深度學習的基礎。

1987年，出于對里根政府的不滿，辛頓來到了加拿大，加入了多倫多大學。

雖然辛頓遠離了傳統(tǒng)的人工智能中心，但是牛人在哪里，哪里就是中心。

辛頓培養(yǎng)了很多著名的學生，其中一位就是來自法國的博士后楊立昆。

楊立昆把反向傳播算法應用到了卷積神經(jīng)網(wǎng)絡（CNN）上，他開發(fā)的LeNet在識別手寫數(shù)字方面非常出色，在當時的技術條件下就能取得低于1%的錯誤率。

LeNet后來成功商業(yè)化，被金融用來識別支票上的數(shù)字。

2019年，楊立昆和辛頓一起獲得了計算機界最高獎：圖靈獎。

雖然卷積神經(jīng)網(wǎng)絡在識別數(shù)字方面表現(xiàn)優(yōu)秀，但是在處理圖像方面就力不從心了，因為圖像識別需要更多、更深的網(wǎng)絡隱藏層，當時計算機的計算能力是遠遠不夠的。

神經(jīng)網(wǎng)絡還需要人工智能之外的兩項技術來鋪平道路：

1.大量的訓練數(shù)據(jù)

2.足夠的算力。神經(jīng)網(wǎng)絡訓練涉及大量重復的矩陣乘法，最好是并行完成。

0 2

數(shù)據(jù)和算力

在過去的20年，一切都發(fā)生了重大變化。

互聯(lián)網(wǎng)蓬勃發(fā)展，數(shù)據(jù)變得無處不在，尤其是智能手機的出現(xiàn)，讓文本、圖像、視頻變得唾手可得。

而算力的解決竟然來自于游戲行業(yè)，游戲中的圖像渲染需要繁重的處理，Nvidia 等公司 開發(fā)了圖形處理單元 ( GPU)芯片，游戲開發(fā)人員使用 GPU進行復雜的著色和幾何變換。

那些渴望強大計算能力的計算機科學家立刻意識到，他們可以“欺騙”GPU 執(zhí)行其他任務，例如訓練神經(jīng)網(wǎng)絡。

Nvidia 注意到了這一趨勢，它創(chuàng)建了CUDA，讓研究人員可以輕松使用GPU進行通用數(shù)據(jù)處理。

從 2006 年開始，李飛飛計劃建立一個圖像數(shù)據(jù)集，涵蓋英語中所有名詞，用于訓練人工智能。

她和她的研究生開始在互聯(lián)網(wǎng)上收集圖像，并使用WordNet對它們進行分類。

由于任務極其艱巨，李飛飛和她的合作者最終使用亞馬遜的 Mechanical Turk 平臺將標記圖像的任務眾包給了零工。

2009 年ImageNet正式完工，比之前的任何圖像數(shù)據(jù)集都大幾個數(shù)量級。

李飛飛希望它的出現(xiàn)能幫助AI實現(xiàn)新的突破，并于 2010 年發(fā)起了一場競賽，激勵研究團隊改進他們的圖像識別算法。

現(xiàn)在我們有了神經(jīng)網(wǎng)絡和算法，訓練數(shù)據(jù)集，以及GPU算力，就差一個人把它們都結合起來，震撼世界了。

0 3

AlexNet

當辛頓的博士生Ilya Sutskever 看到ImageNet時，立刻想起了Alex Krizhevsky。

（左護法Illya，右護法Alex)

Alex是一位GPU編程大師，擅長從一個裝有GPU的電腦中壓榨出最后一點性能。

Ilya說服Alex，開始一個新項目，針對ImageNet訓練一個卷積神經(jīng)網(wǎng)絡，參加ImageNet訓練。

辛頓也加入了這個項目，擔任首席研究員。

Alex和自己的父母住在一起，他用自己臥室的一臺電腦來訓練神經(jīng)網(wǎng)絡，電腦上只有兩張Nvidia 顯卡。

在一年的時間內(nèi)，Alex不斷地調(diào)整神經(jīng)網(wǎng)絡的參數(shù)，重新進行訓練，直到2012年，這個名叫AlexNet的神經(jīng)網(wǎng)絡在競賽中以15%的錯誤率大幅領先第二名的26%，以壓倒性的優(yōu)勢贏得競賽，一鳴驚人。

看到AlexNet的論文，紐約大學楊立昆實驗室的學生們感受到了巨大的失落和遺憾。

因為AlexNet使用卷積神經(jīng)網(wǎng)絡，正是楊立昆80年代最拿手的工作。

經(jīng)過30年的奮斗，他們跌跌撞撞地走到了最后一關，卻眼看著別人破門而入。

楊立昆在當晚討論AlexNet論文的時候，說到：“多倫多大學的學生比紐約大學的學生行動更快。”

當其他資深研究員對AlexNet存在懷疑，認為它無法應用到真實世界的數(shù)據(jù)集上時，楊立昆旗幟鮮明地支持了自己老師的項目：這就是人工智能的轉折點！

楊立昆是對的，隨后幾年的ImageNet競賽中，幾乎每個項目都使用了神經(jīng)網(wǎng)絡，到2017年許多參賽者的錯誤率已經(jīng)降至5%，主辦方隨即結束了競賽。

神經(jīng)網(wǎng)絡在接下來的十年迅速發(fā)展，AlphaGo擊敗了圍棋世界冠軍，AI可以合成逼真的語音，創(chuàng)建圖像。

最終，Ilya Sutskever共同創(chuàng)辦的公司OpenAI發(fā)布了ChatGPT。

AlexNet是點燃深度學習的燎原之火，它不但開啟了技術革新，還促進了產(chǎn)業(yè)重構，甚至引發(fā)了社會變革，開啟人類深度科技化，說它是改變?nèi)祟惷\的軟件是不為過的。

0 4

結語

百度認識到了AlexNet的潛力，微軟，Google也認識到了，電子郵件紛至沓來，他們都力邀辛頓團隊加盟，百度甚至為三人開出了1200萬美元的超高價碼。

但是Ilya和Alex主張成立一個公司，辛頓采納了學生的意見，創(chuàng)建了DNNresearch公司，以對外拍賣的方式來實現(xiàn)價值最大化。

經(jīng)過激烈的競爭，Google以4400萬美元的價格，將這個只有三名員工、沒有產(chǎn)品也沒有歷史的初創(chuàng)公司收入囊中，百度錯失了AI教父辛頓。

辛頓堅持三人平分這筆錢，但是Ilya和Alex堅持老師應該拿到更大的份額：40%。辛頓說：“這體現(xiàn)了他們是什么樣的人，但沒有體現(xiàn)出我是什么樣的人?！?/p>

2020年，美國的計算機歷史博物館和Google聯(lián)系，想收錄Alex這個改變?nèi)祟愂澜绲能浖?，?jīng)過5年的協(xié)商，原汁原味的AlexNet終于在GitHub上開源發(fā)布：

縱觀AlexNet的出現(xiàn)過程，真是一代又一代人的不斷努力，不斷接力的結果。如果辛頓的團隊沒做出來，楊立昆的團隊，或者別的團隊也能完成臨門一腳，在當時的條件下，真是萬事俱備，只欠東風了。

至于AlexNet開啟的道路是不是通向通用人工智能之路，我們只有拭目以待了。

全文完，如果覺得不錯的話點個贊或者在看吧。