IT工程師數位筆記本

轉載自http://www.hdb.com/article/6eju

深度學習江湖目前有四座山頭，分別是：Geoff Hinton、Yann Lecun、Yoshua Bengio、Andrew Ng。這里面Geoff Hinton去年加入Google搞Google Brain, Yann Lecun去年加入Facebook任人工智能研究室主任，最新的消息Andrew Ng加盟某廠搞Baidu Brain，只有Yoshua Bengio還在蒙特利爾大學潛心學術界。這里面Yann Lecun是Hinton的博士后學生，Yann Lecun和Yoshua Bengio是AT&T的同事。Yoshua Bengio是Michael Jordon的博士后， Andrew Ng也是師從Michael Jodon并且是其的"得意門生"，此神目前是UC Berkey的統計學和ML的雙料教授，一手開創了統計機器學習這個領域，門下高人倍出，當然最有知名度的是Ng。據說Michael Jordon當年申請Hinton的博士后被拒了，憤然出走UC Berkey，自己開宗立派，終成一代宗師。Andrew Ng在Hinton去Google之前是"Google Brain之父"，Hinton去了之后就離開Google回了stanford，然后現在再度出山，也許有其師M.J的情節在里面也許所謂一山難容二虎吧

如果以門派論：
Jeff Hinton是深度學習的"開山祖師爺"，也是武林中的"少林派"的主持，德高望重，96年創立人工神經網絡的BP算法，驚天動地，當年被給予厚望可惜ANN沒有發展起來后來反被搞SVM的人壓制了將近20年，據說2006以前Hinton系的人被壓制到每年的NIPS ICML這樣會議都發不了，因為一定會被SVM的人斃掉。終于，蟄伏良久，厚積薄發，王者歸來，2006年開始推出深度神經網絡，終于引領了這波浪潮。Google去年收購了2個深度學習的公司，一個是DNNResearch，只有三個員工分別是Hinton和他的兩個博士生。另外一個是英國的DeepMind，創始人也是Hinton的博士生，傳言花了5億刀。

Yann Lecun可以算作DL江湖的"武當派"掌門人，因為武當派的開山鼻祖"覺遠大師"也是師出少林。Yann Lecun一手創立卷積神經網絡CNN，這也是目前DL在圖像上邊發力的必備武器。去年NIPS 2013會議上，扎克伯格突然現身，宣布Yann Lecun被他招攬到了facebook了。Yann Lecun還是紐約大學Data science center創始人和主任。

Yoshua Bengio, 從2006年開始，主要是Hinton、Yoshua、Yann Lecun開始發起的深度學習的浪潮，很多這個領域的牛paper都是出自Yoshua的手(而且是自己寫)。當前學習DL有力的工具PyLearn2和Theano都是出自他們實驗室。對其了解不多，只是覺得他的paper特別的厚而且自成體系。最近看到對他的采訪，讓他評價一下"為什么最近這些深度學習的大牛都投身工業界了?"，他的回答是："我喜歡學術界，因為我可以選擇研究我喜歡的課題，我可以選擇設立一個長期的目標來為之努力，我可以為全人類的福祉來奮斗而不是某一個特定公司的利益，而且我可以非常自由的公開討論我的研究成果和進展"。不過，Yoshua會不會被某公司收攬呢，一切不好說。凡事親力親為，門下弟子不多，淡泊名利，從這個角度看，Yoshua Bengio是應該算作"逍遙派"的"無崖子"吧。

Andrew Ng，香港出身，中文名"吳恩達", 近幾年機器學習界炙手可熱的后起之秀，年齡只有38，而且是最近才結婚(在twitter上看到他show的婚紗照了)，stanford計算機副教授 & AI Lab主任。成果無數，產出驚人，比如和David Blei 以及他們的老師Michael Jordon創建的LDA就耳熟能詳,此外還有Reinforcement Learning、Sparse coding、Bayesian network、NLP、Deep learning方面奇功無數(水平有限，無法概括大牛的領域)，在其主頁上粗粗瀏覽了一下有160多篇論文，基本上統治了ICML NIPS AAAI等所有相關領域國際頂級會議和頂級期刊。前兩年和D.Koller(Graphic model & Bayesian很厲害的一名女教授)合作推出了Coursera，風靡全球，讓人足不出戶就能聆聽大師講課。感覺Ng在學術界和工業界都很能混的開，"Google Brain之父"完了之后就是"Baidu Brain之父"，既能"出世"又能"入世"，進退自如，恢恢乎游刃有余，以stanford為據點培養了一大批博士生(比如Quoc Le現在是Google Brain的核心人員 Richard socher去年在NLP的文章也很精彩)，劍法飄逸，涉獵深廣，最重要的是年輕，這點來看可以算作武林屆的"令狐沖"。

那么誰是"風清揚"呢("風清揚"和"逍遙派"的關系待考證)，必然是其師Michael Jordon了，機器學習屆的"泰山北斗"，就像在”風清揚“在華山一手開創劍宗一脈。Michael Jordon也是一手開創統計ML, 涵蓋的領域包括： Bayesian nonparametric analysis, probabilistic graphical models, spectral methods, kernel machines and signal processing, statistical genetics, computational biology, information retrieval and natural language processing(摘自其主頁介紹http://www.eecs.berkeley.edu/Faculty/Homepages/jordan.html)，正好9個領域，簡直真真是"獨孤九劍"了，讓人嘆為觀止。

Jeff Dean, 人稱互聯網戰神，Google Senior Fellow(Google工程師最高級別，這個級別就是為Jeff Dean設立的)，締造了谷歌的很多系統和框架，極大的影響了當今互聯網、大數據的技術深度和演進。其貢獻包括：MapReduce BigTable的發明人(谷歌老三架馬車是GFS Mapreduce Bigtable)那2篇牛paper作者，Google Adsense & Adwords第一個版本作者，Five generation谷歌網頁檢索系統作者、Protocal buffer作者，分布式操作系統創始人，Google News作者，Spanner作者，DistBelief作者(這個和深度學習相關), Google Translate創始人。大規模深度學習網絡的第一個系統算是DistBelief, 當然對外的項目名稱叫做"Google Brain". DistBelief當時用了1000臺機器、16000個核做了一個深度神經網絡(paper: large scale ditributed deep networks)，算是在工業界率先開啟超大規模深度學習網絡的先河。Jeff Dean在國外內工程師心目中簡直是神一般的存在，廣為流傳的Jeff Dean的搞笑段子就是一個最好的說明。早期focus在編譯器、并行處理、大數據架構等系統方面，近期看到的一些產出都是在機器學習+大規模系統的方面，左手機器學習，右手無出其右的架構和系統，所以從宗師級的來看，Jeff Dean應該算全真教的"王重陽"。

當然深度學習界還有一些響當當的人物，比如Li Deng、Dong Yu、Kai Yu，前兩位是在微軟雷蒙德研究院，和Hinton深度合作，將DL在語音識別、語音合成上的應用提上了一個新臺階，在DL的發揚光大起了至關重要的作用。Kai Yu是國人中做DL的先驅(和如上幾位交集甚深，屬于一個圈內的人物)，某廠IDL的副廠長，一手帶動深度學習在某廠的很多領域得到應用，比如：圖像檢索和理解、語音識別、Learning to Rank和廣告里面的CTR prediction，也是國內DL的布道者，將某廠的DL的知名度和影響面成功擴大到全球領域，帶動了國內DL的浪潮，可謂風頭一時無兩。

再說說現在深度神經網絡的規模吧，最早Google的Distblief用了1000臺機器、16000核處理的網絡規模大概是10億個神經元，而后Ng回了stanford之后，用了16臺CPU Server，每個server插4個GPU，總共是64個GPU(但是用了一個超牛逼的交換機叫做InfiniBand)，可訓練的網絡規模是112億的神經元。確實，從效率、通信、擴展性上來講，GPU甚至是CPU+GPU是趨勢，這也是Ng很快搞出一個網絡規模更大、機器資源更省深度網絡之后可以馬上宣稱"堆機器有什么用，效率才是王道"的原因(這句話是我的杜撰，但是"Deep Learning with COTS HPC Systems"確實最后講明了這個工作的意義在于沒那么多的機器照樣可以做大規模的深度網絡)。最近看到的消息，某廠的網絡規模已經達到了200億的節點規模(這可能也是對Ng有吸引力的地方)，他們招攬了異構的專家搞異構計算，但總之GPU還是王道。下一步呢，我自己覺得目標將會是1000億的神經元的規模，因為深度學習的一路進展是在深度更深的背景是進行的，而且到了超大規模之后有可能能夠發現一些更加不一樣的東西，真能進入一片"不一樣的天空"也未可知。接下來就看google、facebook還是baidu誰先到這個地步了，因為規模越大，對并行架構、優化算法(至少目前的aSgd基本不能work)提出前所未有的挑戰。

PS: 這篇文章純屬八卦，一些人物細節沒有詳細考證，權當看個樂:)