天天视频国产免费入口|日本一区二区免费在线|亚洲成色999久久网站|久99久精品视频免费观|由伊人久久大最新发布版本|国产精品亚洲一区二区无码|欧美a锋一区二区三区久久|日韩一区二区视频免费在线观看

重磅分享! 焦李成:詳述深度神經(jīng)網(wǎng)絡(luò)發(fā)展歷程-Part I


2018年11月18日下午,西安電子科技大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)部主任、人工智能學(xué)院焦李成教授在成都參加了由中國人工智能學(xué)會主辦的人工智能大講堂并做特邀報告,焦李成教授在報告中回顧了深度神經(jīng)網(wǎng)絡(luò)發(fā)展歷程,闡述了復(fù)雜影像的智能解譯與識別問題,并激勵大家在人工智能領(lǐng)域勇攀學(xué)術(shù)高峰,以下為報告記錄。

焦李成:很高興有這個機(jī)會跟大家一起交流。今天的演講是命題作文,人工智能學(xué)會今年開始做人工智能大講堂,學(xué)會理事會將其作為重要的品牌在做,以前是到各個學(xué)校去做,現(xiàn)在拿到高峰論壇來做是第一次。上午的也是張院長的命題作文,一定要談人工智能,人才的培養(yǎng),我覺得很高興有這個機(jī)會,跟大家一起交流。

一個名字,深度神經(jīng)網(wǎng)絡(luò),兩句話大家記住了,李院士講的是深度學(xué)習(xí)不是萬能的,但是離開深度學(xué)習(xí)是萬萬不能的。這件事情作為我們內(nèi)行人來講,今年講的也比較多,內(nèi)行人也很自然能理解,給我們行業(yè)內(nèi)講是不講這個事的,但是給一般的聽眾講,包括給政府機(jī)關(guān)、百千萬人才、長江杰青大講堂都講了這句話,這句話的意思是只要是能夠結(jié)構(gòu)化的、只要是能夠有規(guī)則的、只要你是有數(shù)據(jù)的,那么這個問題,你不要企圖和人工智能去拼。圍棋就是這樣,象棋也是這樣,它們是封閉、完備的,在這些問題上你算不過人工智能,沒有它算得快,同時這些規(guī)則在短時間內(nèi)的實施性,人做不到,人有感情,機(jī)器沒有感情,它下錯一步,你說它怎么這么臭,它并不正視你,而是繼續(xù)下,人工智能一秒鐘算三千步,三萬步,而人看三十步已經(jīng)很偉大了。

這兩個視頻,一個是我學(xué)生做的,西安英卓未來公寓,另外一個是曠視做的。英卓未來公寓從房門開啟一直到最后的離開都是通過智能完成的。當(dāng)然你見不著人,但是人通過智能給了你最好的服務(wù)。所以他們開了第四家酒店,讓大眾能夠體驗到智能家居的生活、享受到智能的品質(zhì)。曠視在做人臉識別這件事情,最早做這個事是商湯的Mark,我的學(xué)生、也是湯曉鷗老師的第一個學(xué)生,他做了20年的人臉識別,20年的堅守厚積薄發(fā),去年的7月份到9月份,三個月內(nèi)機(jī)場、高鐵、銀行全都用了他的技術(shù)。



大家都知道,這是波士頓動力狗。大家看,它的三級跳,人都不一定能夠做得到,就是這么靈活,整個機(jī)器人經(jīng)過這么幾代以后,智能的行為、協(xié)調(diào)、所有的動作做的很棒,我覺得對我們?nèi)祟愂且环N挑戰(zhàn)。在反恐、排爆、探險,救險這些領(lǐng)域當(dāng)中,這些技術(shù)是非常有用且必要的。我的學(xué)生做了一款為漸凍人服務(wù)的眼球控制智能出行及家居生活的輪椅系統(tǒng),做了三代,正好有一位漸凍人“泰山英雄”,他的腿動不了,手也不能完全控制,但他靠著手登上了泰山、華山,所以公眾叫他“泰山英雄”,有媒體聯(lián)系到了我們,那么我們將贈送一臺智能輪椅給他,人工智能確實能夠改變我們?nèi)嗽谀承┣闆r下的不方便,我個人感覺還是一件非常有意義的事。這套輪椅系統(tǒng)能讓漸凍人及其他肌肉或骨骼受損的人不僅在室外能自己走,跟剛才說的智能公寓結(jié)合起來,通過眼睛的控制,能完成從開門到開關(guān)燈、開關(guān)窗簾、洗澡間等所有的智能生活起居。在杭州的一個比賽中,這套系統(tǒng)也很轟動,得到了大家的認(rèn)可,拿了一個獎項。當(dāng)然回來了我們認(rèn)識了“泰山英雄”,能讓他有了適合他的輪椅、能切切實實的幫到漸凍人,這是更重要的,我和我的學(xué)生都感到非常高興。

大家可能看不見,這是星載的,就是照相機(jī)和雷達(dá)裝在衛(wèi)星上然后拍攝地面的視頻,船在動、高速上面的車在動、然后機(jī)場的飛機(jī)在起飛,這是衛(wèi)星的視頻。衛(wèi)星視頻數(shù)據(jù)量非常大也非常高維,我們同時做到了在衛(wèi)星視頻數(shù)據(jù)量級上的艦船、飛機(jī)、車輛的監(jiān)測、跟蹤和分類,就是你傳送多少、運(yùn)動速度多少、未知的信息全部能夠同時的實時識別出來。

將來首先失業(yè)的有可能是播音員,為什么呢?現(xiàn)在的語音合成技術(shù)完全可以和董卿一樣、和李梓萌一樣,聽上去有感情,但是聲音是合成的。(視頻)這樣的話就可以全天候的進(jìn)行播音。剛才舉的波士頓動力、漸凍人的輪椅和智能工藝的結(jié)合、播音員的語音合成等例子都是活生生正在發(fā)生的。所以教育部也很重視人工智能,教育部各個專家組+咨詢組31個人,整個分布在十幾個高校。

其實我國的人工智能發(fā)展計劃歸結(jié)為三步走,四大任務(wù),五大智能技術(shù)方向。三步走我們怎么跟、四大任務(wù)我們怎么去完成,還有五大方向我們在科研人才的培養(yǎng)上怎樣去進(jìn)行匹配,這是我們需要考慮的問題。我認(rèn)為可以從四個部分考慮,一是基礎(chǔ)理論,二是共性技術(shù),第三是基礎(chǔ)支撐平臺,第四是智能化基礎(chǔ)設(shè)施,智能基礎(chǔ)設(shè)施建設(shè)怎么和物聯(lián)網(wǎng)和云計算的基礎(chǔ)設(shè)施的建設(shè)相互協(xié)調(diào)起來,是我們需要思考的。

工信部的《新一代人工智能產(chǎn)業(yè)發(fā)展三年行動計劃》大家應(yīng)該去看,目標(biāo)很清楚,產(chǎn)品要出來,核心技術(shù)要突破,實際上是為整個智能社會和2025智能制造做準(zhǔn)備,這件事大家一定要去做,要思考互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能三個支撐體系和基礎(chǔ)設(shè)施怎么樣相互協(xié)同,相互協(xié)調(diào),共同促進(jìn),你跟不上,你一定會落后。人工智能對全社會來講是共性的技術(shù)、普適的技術(shù),對教育來講同樣是共性的、普適的課程,這一點(diǎn)我們現(xiàn)在都無法去想象,人工智能對于教育或者是智慧教育帶來的挑戰(zhàn),我希望大家一定要去關(guān)注。

高校的行動計劃,今年教育部連發(fā)五文,時間規(guī)劃涉及到2020年、2025年、2030年,內(nèi)容涉及創(chuàng)新體系,人才培養(yǎng)體系,成果轉(zhuǎn)化和示范應(yīng)用的基地,它的目標(biāo)是想干什么?對于高校教師,寫寫論文,帶帶學(xué)生已經(jīng)不夠了。人工智能的方向有什么呢?李院士講了,這是經(jīng)過多少次爭論后列出來的主要方向,6到8個,要根據(jù)各個不同的學(xué)校、不同的單位,不同的特色去建相應(yīng)的方向,一定要有特色而不能同質(zhì)化。

圍繞基礎(chǔ)理論的研究基金委是有布局的,也經(jīng)過了專家組充分的論證。人工智能的理論研究從56年到現(xiàn)在,一直在爭論也一直在斗爭,但不管你是三起三落還是八起八落,搞學(xué)術(shù)的人都得搞。別人不做的時候我們在做,別人不待見的時候我們也在做,高潮來的時候,該怎么樣還怎么樣,做學(xué)術(shù)的人就要初心不改做自己的事。所以人工智能從誕生之初到現(xiàn)在,從需要模擬人的基本智能,推理、知識、規(guī)劃、學(xué)習(xí)、交流、感知到移動和操作物體的能力,始終在延伸,始終在往前走,水平在不斷的去提高。人工智能不是人的智能,而是希望能夠像人那樣去思考,像自然演化那樣去學(xué)習(xí)和進(jìn)化。另外,進(jìn)化計算和自然計算結(jié)合起來有一些挑戰(zhàn)和問題,我覺得這兩個之間的概括需要有人去做,我已經(jīng)講過幾回,今天先不講,未來希望有機(jī)會也跟大家聊一聊進(jìn)化計算和自然計算的結(jié)合。

智能的兩條道,學(xué)習(xí)和感知、優(yōu)化和識別的能力什么時候都需要、什么時候都是智能的主體,怎么樣能夠把這兩個結(jié)合起來?我認(rèn)為這個時代說對了一部分,這部分就是可以用梯度算法去做,另外一部分是,進(jìn)化計算在結(jié)構(gòu)優(yōu)化上一定是比BP強(qiáng)的,梯度從哪兒求這件事情我覺得還是值得思考,無法獲得梯度怎么辦?人工智能從開始的符號、聯(lián)結(jié)、行為、貝葉斯到類推,人怎么認(rèn)知、自然怎么學(xué)習(xí)演化、人是怎么想的、怎么看的、怎么聽的、怎么說的、怎么走的、怎么動的……神經(jīng)網(wǎng)絡(luò)都做到了嗎?我想說的是,從專家系統(tǒng)到中間基于特征的,再到聲音、語言,文字、圖像以及現(xiàn)在的感知行動結(jié)合起來,這件事上是值得我們?nèi)プ叩摹?/span>

我個人認(rèn)為人工智能四大挑戰(zhàn),無教師的學(xué)習(xí)何時能來?無監(jiān)督的學(xué)習(xí)深度何時能做?機(jī)器人能夠像人一樣去感知和理解這個世界嗎?機(jī)器的情感在哪里?前面說的這些都是網(wǎng)絡(luò)范式去做的,而人是在環(huán)境、場景中、運(yùn)動中去感知,首先是感知這個世界,然后理解這個世界,之后去指揮自己的行為,最后再做一系列的事情。所以最終人工智能要對環(huán)境、對場景、對情感去感知和理解,形成動力系統(tǒng)。更進(jìn)一步,人工智能的發(fā)展最重要的還是人,這個時候帶來的倫理、法律、道德、宗教等等深刻的社會問題我們怎么去思考它、怎么去理解它以及怎么去面對它。


美國白宮成立了人工智能研究中心,這是絕無僅有的,MIT結(jié)合AI成立新的計算機(jī)學(xué)院。這件事情我覺得對我們整個改革學(xué)校的教育,改革下一代的教育都有影響,我們要思考這意味著什么。人工智能改造了計算機(jī)的教育,斯坦福始終在創(chuàng)新引領(lǐng)的前沿,我們要思考他們做什么事情,我們要做以人為中心的人工智能的教育和改革。這件事情上,我們教育部的官員和教育工作者都要去好好學(xué)習(xí),更要去看別人怎么去做。

所以說到對人工智能的戰(zhàn)略投資,包括對社會的變革、長期的革命,MIT這件事情拿了10億美金,CMU創(chuàng)辦了世界上第一個人工智能本科專業(yè),我知道在紐約辦了一個藝術(shù)學(xué)院與人工智能的結(jié)合,他們用6.4億美金,專門辦了一個藝術(shù)學(xué)院。我們不能只知道人家做了這件事,更要看這件事的內(nèi)容是什么,要眼光面向全世界,要看清楚怎么去做,我們要去引領(lǐng)。我就覺得這三件事情都是今年的,都是剛剛發(fā)生的事,所以這件事情上,我覺得美國還是清醒的,站在這個制高點(diǎn),不能說我們?nèi)斯ぶ悄苡媱澮呀?jīng)很完美。當(dāng)然國內(nèi)的布局也很快,這件事情應(yīng)該說叫做“順勢而為,趁勢而上”,但我們千萬不要說吃了一碗面條,我們腦子就很聰明,好像不是那么回事,要懂得做全局優(yōu)化。


我想再強(qiáng)調(diào)一下,人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)我們內(nèi)行人應(yīng)該要搞清楚?,F(xiàn)在當(dāng)然說沒有比深度學(xué)習(xí)更有效的機(jī)器學(xué)習(xí)的辦法,人工智能當(dāng)然要去做事,肯定得靠深度學(xué)習(xí),因為你面對的是黑箱、不完全的數(shù)據(jù),而且宏觀上是大數(shù)據(jù),微觀上對問題來講又是小樣本。所以對于深度學(xué)習(xí),我們內(nèi)行人離不開他但也不要起哄。在傳統(tǒng)的體系結(jié)構(gòu)下,機(jī)器學(xué)習(xí)和深度學(xué)習(xí)是什么?這個對話不在一個頻道上。

有監(jiān)督、無監(jiān)督、半監(jiān)督和強(qiáng)化的算法怎么用要看是什么情況,我們自己做這個內(nèi)行的人,千萬不要說你那個能干什么,這個能干什么,用的場合和問題不一樣,你可能在不同的場合,不同的任務(wù),不同的問題需要用不同的方法去解決。我現(xiàn)在就害怕大家陷入一個坑,我們再回到神經(jīng)網(wǎng)絡(luò),最早1990年我出的書里神經(jīng)網(wǎng)絡(luò)的四個范式,反饋網(wǎng)絡(luò)就是現(xiàn)在大家通常講的網(wǎng)絡(luò),或者是遞歸反饋的。還有自組織網(wǎng),以及沒有體現(xiàn)的完全無監(jiān)督的學(xué)習(xí)。

大數(shù)據(jù)就講一句,我們所有處理的問題、深度學(xué)習(xí)的方法,機(jī)器學(xué)習(xí)的方法都一定是面向大數(shù)據(jù)的問題,但是單個問題拿到的又只是小樣本,一定得記住這一點(diǎn),這個意義上來講,是大數(shù)據(jù)小樣本再加學(xué)習(xí),這件事情上我們一定要把它結(jié)合起來做。面對大數(shù)據(jù),面對海量數(shù)據(jù),面對結(jié)構(gòu)和非結(jié)構(gòu)的數(shù)據(jù)大部分深度神經(jīng)網(wǎng)絡(luò)是不可解釋的、是黑箱的。大數(shù)據(jù)處理的很多方法,同樣是不可解釋的,因為我們現(xiàn)在處理這些數(shù)據(jù)時只講大、只講海,但處理數(shù)據(jù)其實也是物理過程,應(yīng)當(dāng)像人的認(rèn)知過程那樣是有生物意義和物理意義的,這個層面上來講,你把那兩個意義丟掉了,拿一堆數(shù)據(jù)就玩、算法遞歸迭代,最后什么都不解釋,人的經(jīng)驗、規(guī)則哪里去了呢?你沒有用上。我經(jīng)常講的,過馬路的時候,對面有一個大美女,打了一個手機(jī),還接了一個領(lǐng)導(dǎo)的電話,大車也穿過來了,旁邊還有一個小偷跟著你,你怎么處理?肯定保命要緊,先過馬路再說,人會分輕重緩急,而且是協(xié)同去做。回過頭來,我認(rèn)為最初研究神經(jīng)網(wǎng)絡(luò)的幾個人是要提的。通過學(xué)習(xí)的概念,通過學(xué)習(xí)感知的思想,通過學(xué)習(xí)優(yōu)化的思想,這個是神經(jīng)網(wǎng)絡(luò)的精髓。然后在這個基礎(chǔ)上再去做。中間需要把任務(wù)完成得好,就要優(yōu)化去做這件事情。所以說一定是學(xué)習(xí)、優(yōu)化、協(xié)同、控制和數(shù)據(jù)結(jié)合的。

我的印象應(yīng)該是在1988年Lippman的文章,所有神經(jīng)網(wǎng)絡(luò)做模式識別邊界的分析,邊界是那個時候劃出來的。大家第一次知道,非線性的問題變得如此簡單。那個時候才出來三層神經(jīng)網(wǎng)絡(luò),但三層神經(jīng)網(wǎng)絡(luò)可以逼近任意函數(shù),是理論上證明的,不是今天才做的。之后結(jié)構(gòu)的設(shè)計、算法的構(gòu)造,使得方法變得更加有效、實用,離問題更近。以前是數(shù)據(jù)不夠、訓(xùn)練方法欠缺,同時人們的要求也沒有那么迫切,硬件的運(yùn)行也沒有那么好,而現(xiàn)在這四個條件,大概相對30年前已經(jīng)有了巨大的改善,我第一次看神經(jīng)網(wǎng)絡(luò)大概是83年,那個時候在成都聽加州大學(xué)伯克利分校的蔡少棠講了學(xué)一個月,講的非線性和混沌,那時因為客觀條件所限,研究發(fā)展不像現(xiàn)在那么迅速,而大數(shù)據(jù)的出現(xiàn)是應(yīng)景了,這兩者是契合了。這個意義上來講,在具備了有利客觀條件的今天,我們要把問題研究得更透徹,你怎么去進(jìn)行感知、判斷、決策,哪一個是決策者、哪一個是訓(xùn)練層、哪一個是推理層、哪一個是優(yōu)化層得搞清楚了。非線性的嵌套是有結(jié)構(gòu)的。從簡單的特征,到特征的表征,到特征的學(xué)習(xí),特征的表征與學(xué)習(xí),現(xiàn)在演變成特征的表征學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)的演化進(jìn)程是有脈絡(luò)、有邏輯的。

關(guān)于神經(jīng)網(wǎng)絡(luò)和專家系統(tǒng),專家系統(tǒng)三個要點(diǎn)要記?。褐R的表示,知識的學(xué)習(xí),知識的推理。早期推理知識的辦法不多、表征的框架不多、手段不多。神經(jīng)網(wǎng)絡(luò)給了大家思想和方法,我希望大家記住對神經(jīng)網(wǎng)絡(luò)真正有貢獻(xiàn)的是這些人,43年Hebb規(guī)則和MP模型。1962年Widrow和他的學(xué)生提出了LMS。第一臺PC機(jī)是他發(fā)明的,其算法奠定了自適應(yīng)信號處理和自適應(yīng)控制技術(shù)基礎(chǔ)。這個是俄羅斯籍的斯坦福的教授,這個人記住,其貌不揚(yáng),我覺得大家都應(yīng)該記住他Werbos,BP算法是他提出來的,1974年在哈佛大學(xué)拿博士學(xué)位的時候,就發(fā)表了一篇論文就沒有論文了,但是博士學(xué)位是拿到了,真正的BP算法是他提出來的,使三層神經(jīng)網(wǎng)絡(luò)可學(xué)習(xí)。整個大概十幾年的時間很紅火,而且是自己也做過世界神經(jīng)網(wǎng)絡(luò)學(xué)會的主席和先驅(qū),加州工學(xué)院Hopfield,三篇文章奠定了他的基礎(chǔ)。另外一個記住一個C.Mead,美國的三院院士,世界第一塊神經(jīng)網(wǎng)絡(luò)的芯片是他做的,這個人在集成電路一直是明星,大家一定要記住這件事情,神經(jīng)網(wǎng)絡(luò)不僅是今天。這個是芬蘭皇家科學(xué)院的院長T.Kohonen教授,他來過很多回,提出了自組織特征映射網(wǎng)。徑向基神經(jīng)網(wǎng)絡(luò)出自Billing手,因為他是用基函數(shù)來做這件事情,做控制的人全部是用的,很高效。支撐向量機(jī),這些都是神經(jīng)網(wǎng)絡(luò)模型,而且都是學(xué)習(xí)機(jī),大家不要認(rèn)為是完全跟神經(jīng)網(wǎng)絡(luò)沒有關(guān)系,只是說那一陣跟神經(jīng)網(wǎng)絡(luò)“劃清界限”。淺層到深層的學(xué)習(xí),大家要明白,本質(zhì)性上改變的是什么?你說前面的網(wǎng)絡(luò)淺,那在哪里深呢?規(guī)模深、特征深、還是機(jī)理深?還是怎么做的呢?我說理解深度的時候,我們要去做深在什么地方,對數(shù)據(jù)的匹配在哪些上面是做了本質(zhì)性的突破和改變,這件事情上我們一定要去做的。

我還是把他們列在一起,你記住所謂深度大咖的時候,別忘了上面這些人,這些人是他們的祖師爺。

中國神經(jīng)網(wǎng)絡(luò)的發(fā)展也是有一個過程的。

我們一直不說,但是路一直在走。簡單的數(shù)據(jù)到了具體的對象,到了圖像,從小波變換到了小波網(wǎng)絡(luò),從伸縮平移到了方向,到了圖像旋轉(zhuǎn)變換。所以說包括從地上到了天上,到了空中機(jī)載的。對象在變,需求在變,神經(jīng)網(wǎng)絡(luò)也好,機(jī)器學(xué)習(xí)也好,方法也在不斷的往前走。所以我們是把這個結(jié)合起來在走。剛才為什么說我希望講一下這些道理,因為進(jìn)化計算的第一篇文章,不叫人工智能,是優(yōu)化和學(xué)習(xí)在走,包括免疫的學(xué)習(xí)優(yōu)化,包括我們用到多目標(biāo)上面去做,包括做協(xié)同的、量子的,而且用到了真正目標(biāo)的識別上,我們都做了。這個過程我們回過頭來說,對于人工智能人才的培養(yǎng),為什么我們心里面不太慌,經(jīng)過了十四五年的實踐和培養(yǎng),反正我們也出了這些書,不敢說水平有多高,但是研究生,本科的教材是有參考的,我自己寫的,我也在不斷的更新。我們幾十本書,應(yīng)了人才培養(yǎng)教材之需,去年就包括做量子的,光學(xué)的,紅外的,包括到認(rèn)知的,稀疏的,一直到高分辨遙感,老先生一定要改成雷達(dá)圖像,我們一路走過來,今年完成的是量子計算,計算智能,簡明人工智能等七八本,大概也有好幾十萬字。計算智能還有模式識別,反正都是在50、60萬字以上,還有自然計算的前沿,就是相當(dāng)于深度學(xué)習(xí)的前沿,還有一個大數(shù)據(jù)智能挖掘的。

從第一代到第二代,一直到現(xiàn)在的第三代神經(jīng)網(wǎng)絡(luò),變化在什么地方,本質(zhì)在什么地方,做這件事情,我們一定要去。第一個是卷積神經(jīng)網(wǎng)絡(luò),我理解的跟別人理解的卷積神經(jīng)網(wǎng)絡(luò)不一樣,很簡單就是內(nèi)積。然后在電路里面,在學(xué)習(xí)信息里面,很簡單,怎么走?一卷不就出來了嘛,卷積的概念大家知道是從數(shù)字信號處理出來的概念,物理概念和描述很清楚。其實最開始的時候,卷積也不火,不像現(xiàn)在牛哄哄的。

遞歸神經(jīng)網(wǎng)絡(luò),一定有聯(lián)想記憶的。其實模式識別,以前叫做聯(lián)想記憶,聯(lián)想記憶學(xué)習(xí)優(yōu)化。這四件事情,要是在神經(jīng)網(wǎng)絡(luò)里實現(xiàn)了,你的功能就比單純的卷積去做要強(qiáng)大得多。所以遞歸同樣是可以做這件事情。

深度置信網(wǎng)提供的思想一定要記住,我能夠通過概率的判斷做某件事情。我通過概率的判斷和生成,能夠使這個神經(jīng)網(wǎng)絡(luò)的構(gòu)造性設(shè)計更加合理和有效。這是置信網(wǎng)的貢獻(xiàn)。其實現(xiàn)在更熱的是貝葉斯網(wǎng)絡(luò)學(xué)習(xí)。貝葉斯的分布。

分布完了以后,參數(shù)少。接下來就是可學(xué)習(xí),這個參數(shù)我們可以學(xué)出來,學(xué)習(xí)關(guān)鍵的參數(shù),那么這個分布就找到了,或者優(yōu)化的分布就找到了。實際上就是做了一個分布的估計。貝葉斯的描述、表征,估計和深度結(jié)合起來,這是貝葉斯網(wǎng)絡(luò)火起來最重要的原因。很自然,大家好不容易抓住一個貝葉斯分布,而且可以去做。深度可以給你學(xué),何樂而不為,大家一定要找到一個結(jié)合點(diǎn)!

才能做這件事情。



主辦單位:中國電力發(fā)展促進(jìn)會  網(wǎng)站運(yùn)營:北京中電創(chuàng)智科技有限公司    國網(wǎng)信通億力科技有限責(zé)任公司  銷售熱線:400-007-1585
項目合作:400-007-1585 投稿:63413737 傳真:010-58689040 投稿郵箱:yaoguisheng@chinapower.com.cn
《 中華人民共和國電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證 》編號:京ICP證140522號 京ICP備14013100號 京公安備11010602010147號

重磅分享! 焦李成:詳述深度神經(jīng)網(wǎng)絡(luò)發(fā)展歷程-Part I

發(fā)布時間:2018-12-03   來源:中國電力網(wǎng)


2018年11月18日下午,西安電子科技大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)部主任、人工智能學(xué)院焦李成教授在成都參加了由中國人工智能學(xué)會主辦的人工智能大講堂并做特邀報告,焦李成教授在報告中回顧了深度神經(jīng)網(wǎng)絡(luò)發(fā)展歷程,闡述了復(fù)雜影像的智能解譯與識別問題,并激勵大家在人工智能領(lǐng)域勇攀學(xué)術(shù)高峰,以下為報告記錄。

焦李成:很高興有這個機(jī)會跟大家一起交流。今天的演講是命題作文,人工智能學(xué)會今年開始做人工智能大講堂,學(xué)會理事會將其作為重要的品牌在做,以前是到各個學(xué)校去做,現(xiàn)在拿到高峰論壇來做是第一次。上午的也是張院長的命題作文,一定要談人工智能,人才的培養(yǎng),我覺得很高興有這個機(jī)會,跟大家一起交流。

一個名字,深度神經(jīng)網(wǎng)絡(luò),兩句話大家記住了,李院士講的是深度學(xué)習(xí)不是萬能的,但是離開深度學(xué)習(xí)是萬萬不能的。這件事情作為我們內(nèi)行人來講,今年講的也比較多,內(nèi)行人也很自然能理解,給我們行業(yè)內(nèi)講是不講這個事的,但是給一般的聽眾講,包括給政府機(jī)關(guān)、百千萬人才、長江杰青大講堂都講了這句話,這句話的意思是只要是能夠結(jié)構(gòu)化的、只要是能夠有規(guī)則的、只要你是有數(shù)據(jù)的,那么這個問題,你不要企圖和人工智能去拼。圍棋就是這樣,象棋也是這樣,它們是封閉、完備的,在這些問題上你算不過人工智能,沒有它算得快,同時這些規(guī)則在短時間內(nèi)的實施性,人做不到,人有感情,機(jī)器沒有感情,它下錯一步,你說它怎么這么臭,它并不正視你,而是繼續(xù)下,人工智能一秒鐘算三千步,三萬步,而人看三十步已經(jīng)很偉大了。

這兩個視頻,一個是我學(xué)生做的,西安英卓未來公寓,另外一個是曠視做的。英卓未來公寓從房門開啟一直到最后的離開都是通過智能完成的。當(dāng)然你見不著人,但是人通過智能給了你最好的服務(wù)。所以他們開了第四家酒店,讓大眾能夠體驗到智能家居的生活、享受到智能的品質(zhì)。曠視在做人臉識別這件事情,最早做這個事是商湯的Mark,我的學(xué)生、也是湯曉鷗老師的第一個學(xué)生,他做了20年的人臉識別,20年的堅守厚積薄發(fā),去年的7月份到9月份,三個月內(nèi)機(jī)場、高鐵、銀行全都用了他的技術(shù)。



大家都知道,這是波士頓動力狗。大家看,它的三級跳,人都不一定能夠做得到,就是這么靈活,整個機(jī)器人經(jīng)過這么幾代以后,智能的行為、協(xié)調(diào)、所有的動作做的很棒,我覺得對我們?nèi)祟愂且环N挑戰(zhàn)。在反恐、排爆、探險,救險這些領(lǐng)域當(dāng)中,這些技術(shù)是非常有用且必要的。我的學(xué)生做了一款為漸凍人服務(wù)的眼球控制智能出行及家居生活的輪椅系統(tǒng),做了三代,正好有一位漸凍人“泰山英雄”,他的腿動不了,手也不能完全控制,但他靠著手登上了泰山、華山,所以公眾叫他“泰山英雄”,有媒體聯(lián)系到了我們,那么我們將贈送一臺智能輪椅給他,人工智能確實能夠改變我們?nèi)嗽谀承┣闆r下的不方便,我個人感覺還是一件非常有意義的事。這套輪椅系統(tǒng)能讓漸凍人及其他肌肉或骨骼受損的人不僅在室外能自己走,跟剛才說的智能公寓結(jié)合起來,通過眼睛的控制,能完成從開門到開關(guān)燈、開關(guān)窗簾、洗澡間等所有的智能生活起居。在杭州的一個比賽中,這套系統(tǒng)也很轟動,得到了大家的認(rèn)可,拿了一個獎項。當(dāng)然回來了我們認(rèn)識了“泰山英雄”,能讓他有了適合他的輪椅、能切切實實的幫到漸凍人,這是更重要的,我和我的學(xué)生都感到非常高興。

大家可能看不見,這是星載的,就是照相機(jī)和雷達(dá)裝在衛(wèi)星上然后拍攝地面的視頻,船在動、高速上面的車在動、然后機(jī)場的飛機(jī)在起飛,這是衛(wèi)星的視頻。衛(wèi)星視頻數(shù)據(jù)量非常大也非常高維,我們同時做到了在衛(wèi)星視頻數(shù)據(jù)量級上的艦船、飛機(jī)、車輛的監(jiān)測、跟蹤和分類,就是你傳送多少、運(yùn)動速度多少、未知的信息全部能夠同時的實時識別出來。

將來首先失業(yè)的有可能是播音員,為什么呢?現(xiàn)在的語音合成技術(shù)完全可以和董卿一樣、和李梓萌一樣,聽上去有感情,但是聲音是合成的。(視頻)這樣的話就可以全天候的進(jìn)行播音。剛才舉的波士頓動力、漸凍人的輪椅和智能工藝的結(jié)合、播音員的語音合成等例子都是活生生正在發(fā)生的。所以教育部也很重視人工智能,教育部各個專家組+咨詢組31個人,整個分布在十幾個高校。

其實我國的人工智能發(fā)展計劃歸結(jié)為三步走,四大任務(wù),五大智能技術(shù)方向。三步走我們怎么跟、四大任務(wù)我們怎么去完成,還有五大方向我們在科研人才的培養(yǎng)上怎樣去進(jìn)行匹配,這是我們需要考慮的問題。我認(rèn)為可以從四個部分考慮,一是基礎(chǔ)理論,二是共性技術(shù),第三是基礎(chǔ)支撐平臺,第四是智能化基礎(chǔ)設(shè)施,智能基礎(chǔ)設(shè)施建設(shè)怎么和物聯(lián)網(wǎng)和云計算的基礎(chǔ)設(shè)施的建設(shè)相互協(xié)調(diào)起來,是我們需要思考的。

工信部的《新一代人工智能產(chǎn)業(yè)發(fā)展三年行動計劃》大家應(yīng)該去看,目標(biāo)很清楚,產(chǎn)品要出來,核心技術(shù)要突破,實際上是為整個智能社會和2025智能制造做準(zhǔn)備,這件事大家一定要去做,要思考互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能三個支撐體系和基礎(chǔ)設(shè)施怎么樣相互協(xié)同,相互協(xié)調(diào),共同促進(jìn),你跟不上,你一定會落后。人工智能對全社會來講是共性的技術(shù)、普適的技術(shù),對教育來講同樣是共性的、普適的課程,這一點(diǎn)我們現(xiàn)在都無法去想象,人工智能對于教育或者是智慧教育帶來的挑戰(zhàn),我希望大家一定要去關(guān)注。

高校的行動計劃,今年教育部連發(fā)五文,時間規(guī)劃涉及到2020年、2025年、2030年,內(nèi)容涉及創(chuàng)新體系,人才培養(yǎng)體系,成果轉(zhuǎn)化和示范應(yīng)用的基地,它的目標(biāo)是想干什么?對于高校教師,寫寫論文,帶帶學(xué)生已經(jīng)不夠了。人工智能的方向有什么呢?李院士講了,這是經(jīng)過多少次爭論后列出來的主要方向,6到8個,要根據(jù)各個不同的學(xué)校、不同的單位,不同的特色去建相應(yīng)的方向,一定要有特色而不能同質(zhì)化。

圍繞基礎(chǔ)理論的研究基金委是有布局的,也經(jīng)過了專家組充分的論證。人工智能的理論研究從56年到現(xiàn)在,一直在爭論也一直在斗爭,但不管你是三起三落還是八起八落,搞學(xué)術(shù)的人都得搞。別人不做的時候我們在做,別人不待見的時候我們也在做,高潮來的時候,該怎么樣還怎么樣,做學(xué)術(shù)的人就要初心不改做自己的事。所以人工智能從誕生之初到現(xiàn)在,從需要模擬人的基本智能,推理、知識、規(guī)劃、學(xué)習(xí)、交流、感知到移動和操作物體的能力,始終在延伸,始終在往前走,水平在不斷的去提高。人工智能不是人的智能,而是希望能夠像人那樣去思考,像自然演化那樣去學(xué)習(xí)和進(jìn)化。另外,進(jìn)化計算和自然計算結(jié)合起來有一些挑戰(zhàn)和問題,我覺得這兩個之間的概括需要有人去做,我已經(jīng)講過幾回,今天先不講,未來希望有機(jī)會也跟大家聊一聊進(jìn)化計算和自然計算的結(jié)合。

智能的兩條道,學(xué)習(xí)和感知、優(yōu)化和識別的能力什么時候都需要、什么時候都是智能的主體,怎么樣能夠把這兩個結(jié)合起來?我認(rèn)為這個時代說對了一部分,這部分就是可以用梯度算法去做,另外一部分是,進(jìn)化計算在結(jié)構(gòu)優(yōu)化上一定是比BP強(qiáng)的,梯度從哪兒求這件事情我覺得還是值得思考,無法獲得梯度怎么辦?人工智能從開始的符號、聯(lián)結(jié)、行為、貝葉斯到類推,人怎么認(rèn)知、自然怎么學(xué)習(xí)演化、人是怎么想的、怎么看的、怎么聽的、怎么說的、怎么走的、怎么動的……神經(jīng)網(wǎng)絡(luò)都做到了嗎?我想說的是,從專家系統(tǒng)到中間基于特征的,再到聲音、語言,文字、圖像以及現(xiàn)在的感知行動結(jié)合起來,這件事上是值得我們?nèi)プ叩摹?/span>

我個人認(rèn)為人工智能四大挑戰(zhàn),無教師的學(xué)習(xí)何時能來?無監(jiān)督的學(xué)習(xí)深度何時能做?機(jī)器人能夠像人一樣去感知和理解這個世界嗎?機(jī)器的情感在哪里?前面說的這些都是網(wǎng)絡(luò)范式去做的,而人是在環(huán)境、場景中、運(yùn)動中去感知,首先是感知這個世界,然后理解這個世界,之后去指揮自己的行為,最后再做一系列的事情。所以最終人工智能要對環(huán)境、對場景、對情感去感知和理解,形成動力系統(tǒng)。更進(jìn)一步,人工智能的發(fā)展最重要的還是人,這個時候帶來的倫理、法律、道德、宗教等等深刻的社會問題我們怎么去思考它、怎么去理解它以及怎么去面對它。


美國白宮成立了人工智能研究中心,這是絕無僅有的,MIT結(jié)合AI成立新的計算機(jī)學(xué)院。這件事情我覺得對我們整個改革學(xué)校的教育,改革下一代的教育都有影響,我們要思考這意味著什么。人工智能改造了計算機(jī)的教育,斯坦福始終在創(chuàng)新引領(lǐng)的前沿,我們要思考他們做什么事情,我們要做以人為中心的人工智能的教育和改革。這件事情上,我們教育部的官員和教育工作者都要去好好學(xué)習(xí),更要去看別人怎么去做。

所以說到對人工智能的戰(zhàn)略投資,包括對社會的變革、長期的革命,MIT這件事情拿了10億美金,CMU創(chuàng)辦了世界上第一個人工智能本科專業(yè),我知道在紐約辦了一個藝術(shù)學(xué)院與人工智能的結(jié)合,他們用6.4億美金,專門辦了一個藝術(shù)學(xué)院。我們不能只知道人家做了這件事,更要看這件事的內(nèi)容是什么,要眼光面向全世界,要看清楚怎么去做,我們要去引領(lǐng)。我就覺得這三件事情都是今年的,都是剛剛發(fā)生的事,所以這件事情上,我覺得美國還是清醒的,站在這個制高點(diǎn),不能說我們?nèi)斯ぶ悄苡媱澮呀?jīng)很完美。當(dāng)然國內(nèi)的布局也很快,這件事情應(yīng)該說叫做“順勢而為,趁勢而上”,但我們千萬不要說吃了一碗面條,我們腦子就很聰明,好像不是那么回事,要懂得做全局優(yōu)化。


我想再強(qiáng)調(diào)一下,人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)我們內(nèi)行人應(yīng)該要搞清楚。現(xiàn)在當(dāng)然說沒有比深度學(xué)習(xí)更有效的機(jī)器學(xué)習(xí)的辦法,人工智能當(dāng)然要去做事,肯定得靠深度學(xué)習(xí),因為你面對的是黑箱、不完全的數(shù)據(jù),而且宏觀上是大數(shù)據(jù),微觀上對問題來講又是小樣本。所以對于深度學(xué)習(xí),我們內(nèi)行人離不開他但也不要起哄。在傳統(tǒng)的體系結(jié)構(gòu)下,機(jī)器學(xué)習(xí)和深度學(xué)習(xí)是什么?這個對話不在一個頻道上。

有監(jiān)督、無監(jiān)督、半監(jiān)督和強(qiáng)化的算法怎么用要看是什么情況,我們自己做這個內(nèi)行的人,千萬不要說你那個能干什么,這個能干什么,用的場合和問題不一樣,你可能在不同的場合,不同的任務(wù),不同的問題需要用不同的方法去解決。我現(xiàn)在就害怕大家陷入一個坑,我們再回到神經(jīng)網(wǎng)絡(luò),最早1990年我出的書里神經(jīng)網(wǎng)絡(luò)的四個范式,反饋網(wǎng)絡(luò)就是現(xiàn)在大家通常講的網(wǎng)絡(luò),或者是遞歸反饋的。還有自組織網(wǎng),以及沒有體現(xiàn)的完全無監(jiān)督的學(xué)習(xí)。

大數(shù)據(jù)就講一句,我們所有處理的問題、深度學(xué)習(xí)的方法,機(jī)器學(xué)習(xí)的方法都一定是面向大數(shù)據(jù)的問題,但是單個問題拿到的又只是小樣本,一定得記住這一點(diǎn),這個意義上來講,是大數(shù)據(jù)小樣本再加學(xué)習(xí),這件事情上我們一定要把它結(jié)合起來做。面對大數(shù)據(jù),面對海量數(shù)據(jù),面對結(jié)構(gòu)和非結(jié)構(gòu)的數(shù)據(jù)大部分深度神經(jīng)網(wǎng)絡(luò)是不可解釋的、是黑箱的。大數(shù)據(jù)處理的很多方法,同樣是不可解釋的,因為我們現(xiàn)在處理這些數(shù)據(jù)時只講大、只講海,但處理數(shù)據(jù)其實也是物理過程,應(yīng)當(dāng)像人的認(rèn)知過程那樣是有生物意義和物理意義的,這個層面上來講,你把那兩個意義丟掉了,拿一堆數(shù)據(jù)就玩、算法遞歸迭代,最后什么都不解釋,人的經(jīng)驗、規(guī)則哪里去了呢?你沒有用上。我經(jīng)常講的,過馬路的時候,對面有一個大美女,打了一個手機(jī),還接了一個領(lǐng)導(dǎo)的電話,大車也穿過來了,旁邊還有一個小偷跟著你,你怎么處理?肯定保命要緊,先過馬路再說,人會分輕重緩急,而且是協(xié)同去做?;剡^頭來,我認(rèn)為最初研究神經(jīng)網(wǎng)絡(luò)的幾個人是要提的。通過學(xué)習(xí)的概念,通過學(xué)習(xí)感知的思想,通過學(xué)習(xí)優(yōu)化的思想,這個是神經(jīng)網(wǎng)絡(luò)的精髓。然后在這個基礎(chǔ)上再去做。中間需要把任務(wù)完成得好,就要優(yōu)化去做這件事情。所以說一定是學(xué)習(xí)、優(yōu)化、協(xié)同、控制和數(shù)據(jù)結(jié)合的。

我的印象應(yīng)該是在1988年Lippman的文章,所有神經(jīng)網(wǎng)絡(luò)做模式識別邊界的分析,邊界是那個時候劃出來的。大家第一次知道,非線性的問題變得如此簡單。那個時候才出來三層神經(jīng)網(wǎng)絡(luò),但三層神經(jīng)網(wǎng)絡(luò)可以逼近任意函數(shù),是理論上證明的,不是今天才做的。之后結(jié)構(gòu)的設(shè)計、算法的構(gòu)造,使得方法變得更加有效、實用,離問題更近。以前是數(shù)據(jù)不夠、訓(xùn)練方法欠缺,同時人們的要求也沒有那么迫切,硬件的運(yùn)行也沒有那么好,而現(xiàn)在這四個條件,大概相對30年前已經(jīng)有了巨大的改善,我第一次看神經(jīng)網(wǎng)絡(luò)大概是83年,那個時候在成都聽加州大學(xué)伯克利分校的蔡少棠講了學(xué)一個月,講的非線性和混沌,那時因為客觀條件所限,研究發(fā)展不像現(xiàn)在那么迅速,而大數(shù)據(jù)的出現(xiàn)是應(yīng)景了,這兩者是契合了。這個意義上來講,在具備了有利客觀條件的今天,我們要把問題研究得更透徹,你怎么去進(jìn)行感知、判斷、決策,哪一個是決策者、哪一個是訓(xùn)練層、哪一個是推理層、哪一個是優(yōu)化層得搞清楚了。非線性的嵌套是有結(jié)構(gòu)的。從簡單的特征,到特征的表征,到特征的學(xué)習(xí),特征的表征與學(xué)習(xí),現(xiàn)在演變成特征的表征學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)的演化進(jìn)程是有脈絡(luò)、有邏輯的。

關(guān)于神經(jīng)網(wǎng)絡(luò)和專家系統(tǒng),專家系統(tǒng)三個要點(diǎn)要記?。褐R的表示,知識的學(xué)習(xí),知識的推理。早期推理知識的辦法不多、表征的框架不多、手段不多。神經(jīng)網(wǎng)絡(luò)給了大家思想和方法,我希望大家記住對神經(jīng)網(wǎng)絡(luò)真正有貢獻(xiàn)的是這些人,43年Hebb規(guī)則和MP模型。1962年Widrow和他的學(xué)生提出了LMS。第一臺PC機(jī)是他發(fā)明的,其算法奠定了自適應(yīng)信號處理和自適應(yīng)控制技術(shù)基礎(chǔ)。這個是俄羅斯籍的斯坦福的教授,這個人記住,其貌不揚(yáng),我覺得大家都應(yīng)該記住他Werbos,BP算法是他提出來的,1974年在哈佛大學(xué)拿博士學(xué)位的時候,就發(fā)表了一篇論文就沒有論文了,但是博士學(xué)位是拿到了,真正的BP算法是他提出來的,使三層神經(jīng)網(wǎng)絡(luò)可學(xué)習(xí)。整個大概十幾年的時間很紅火,而且是自己也做過世界神經(jīng)網(wǎng)絡(luò)學(xué)會的主席和先驅(qū),加州工學(xué)院Hopfield,三篇文章奠定了他的基礎(chǔ)。另外一個記住一個C.Mead,美國的三院院士,世界第一塊神經(jīng)網(wǎng)絡(luò)的芯片是他做的,這個人在集成電路一直是明星,大家一定要記住這件事情,神經(jīng)網(wǎng)絡(luò)不僅是今天。這個是芬蘭皇家科學(xué)院的院長T.Kohonen教授,他來過很多回,提出了自組織特征映射網(wǎng)。徑向基神經(jīng)網(wǎng)絡(luò)出自Billing手,因為他是用基函數(shù)來做這件事情,做控制的人全部是用的,很高效。支撐向量機(jī),這些都是神經(jīng)網(wǎng)絡(luò)模型,而且都是學(xué)習(xí)機(jī),大家不要認(rèn)為是完全跟神經(jīng)網(wǎng)絡(luò)沒有關(guān)系,只是說那一陣跟神經(jīng)網(wǎng)絡(luò)“劃清界限”。淺層到深層的學(xué)習(xí),大家要明白,本質(zhì)性上改變的是什么?你說前面的網(wǎng)絡(luò)淺,那在哪里深呢?規(guī)模深、特征深、還是機(jī)理深?還是怎么做的呢?我說理解深度的時候,我們要去做深在什么地方,對數(shù)據(jù)的匹配在哪些上面是做了本質(zhì)性的突破和改變,這件事情上我們一定要去做的。

我還是把他們列在一起,你記住所謂深度大咖的時候,別忘了上面這些人,這些人是他們的祖師爺。

中國神經(jīng)網(wǎng)絡(luò)的發(fā)展也是有一個過程的。

我們一直不說,但是路一直在走。簡單的數(shù)據(jù)到了具體的對象,到了圖像,從小波變換到了小波網(wǎng)絡(luò),從伸縮平移到了方向,到了圖像旋轉(zhuǎn)變換。所以說包括從地上到了天上,到了空中機(jī)載的。對象在變,需求在變,神經(jīng)網(wǎng)絡(luò)也好,機(jī)器學(xué)習(xí)也好,方法也在不斷的往前走。所以我們是把這個結(jié)合起來在走。剛才為什么說我希望講一下這些道理,因為進(jìn)化計算的第一篇文章,不叫人工智能,是優(yōu)化和學(xué)習(xí)在走,包括免疫的學(xué)習(xí)優(yōu)化,包括我們用到多目標(biāo)上面去做,包括做協(xié)同的、量子的,而且用到了真正目標(biāo)的識別上,我們都做了。這個過程我們回過頭來說,對于人工智能人才的培養(yǎng),為什么我們心里面不太慌,經(jīng)過了十四五年的實踐和培養(yǎng),反正我們也出了這些書,不敢說水平有多高,但是研究生,本科的教材是有參考的,我自己寫的,我也在不斷的更新。我們幾十本書,應(yīng)了人才培養(yǎng)教材之需,去年就包括做量子的,光學(xué)的,紅外的,包括到認(rèn)知的,稀疏的,一直到高分辨遙感,老先生一定要改成雷達(dá)圖像,我們一路走過來,今年完成的是量子計算,計算智能,簡明人工智能等七八本,大概也有好幾十萬字。計算智能還有模式識別,反正都是在50、60萬字以上,還有自然計算的前沿,就是相當(dāng)于深度學(xué)習(xí)的前沿,還有一個大數(shù)據(jù)智能挖掘的。

從第一代到第二代,一直到現(xiàn)在的第三代神經(jīng)網(wǎng)絡(luò),變化在什么地方,本質(zhì)在什么地方,做這件事情,我們一定要去。第一個是卷積神經(jīng)網(wǎng)絡(luò),我理解的跟別人理解的卷積神經(jīng)網(wǎng)絡(luò)不一樣,很簡單就是內(nèi)積。然后在電路里面,在學(xué)習(xí)信息里面,很簡單,怎么走?一卷不就出來了嘛,卷積的概念大家知道是從數(shù)字信號處理出來的概念,物理概念和描述很清楚。其實最開始的時候,卷積也不火,不像現(xiàn)在牛哄哄的。

遞歸神經(jīng)網(wǎng)絡(luò),一定有聯(lián)想記憶的。其實模式識別,以前叫做聯(lián)想記憶,聯(lián)想記憶學(xué)習(xí)優(yōu)化。這四件事情,要是在神經(jīng)網(wǎng)絡(luò)里實現(xiàn)了,你的功能就比單純的卷積去做要強(qiáng)大得多。所以遞歸同樣是可以做這件事情。

深度置信網(wǎng)提供的思想一定要記住,我能夠通過概率的判斷做某件事情。我通過概率的判斷和生成,能夠使這個神經(jīng)網(wǎng)絡(luò)的構(gòu)造性設(shè)計更加合理和有效。這是置信網(wǎng)的貢獻(xiàn)。其實現(xiàn)在更熱的是貝葉斯網(wǎng)絡(luò)學(xué)習(xí)。貝葉斯的分布。

分布完了以后,參數(shù)少。接下來就是可學(xué)習(xí),這個參數(shù)我們可以學(xué)出來,學(xué)習(xí)關(guān)鍵的參數(shù),那么這個分布就找到了,或者優(yōu)化的分布就找到了。實際上就是做了一個分布的估計。貝葉斯的描述、表征,估計和深度結(jié)合起來,這是貝葉斯網(wǎng)絡(luò)火起來最重要的原因。很自然,大家好不容易抓住一個貝葉斯分布,而且可以去做。深度可以給你學(xué),何樂而不為,大家一定要找到一個結(jié)合點(diǎn)!

才能做這件事情。





稿件媒體合作

  • 我們竭誠為您服務(wù)!
  • 我們竭誠為您服務(wù)!
  • 電話:010-63413737

廣告項目咨詢

  • 我們竭誠為您服務(wù)!
  • 我們竭誠為您服務(wù)!
  • 電話:010-63415404

投訴監(jiān)管

  • 我們竭誠為您服務(wù)!
  • 電話:010-58689065
常山县| 新绛县| 大化| 连山| 随州市| 胶南市| 石台县| 天峻县| 即墨市| 聂荣县| 调兵山市| 浮梁县| 尉氏县| 长岭县| 麦盖提县| 丽水市| 绥化市| 黔南| 江都市| 兰坪| 张家港市| 平和县| 澄城县| 买车| 饶阳县| 台州市| 南康市| 内乡县| 太仓市| 南通市| 南皮县| 磐石市| 岚皋县| 浦东新区| 卓尼县| 奉新县| 枝江市| 开原市| 林州市| 梁平县| 吉木乃县|