Jeff Hawkins & Sandra Blakeslee
第二章 神經網路模式
- 「自體聯結記憶」(auto-associative memories)模式，是建構在簡單的神經元上，它們互相連結，當刺激超越特定閾值時，就會激發，只不過它們相互連結的方式不同，還多加了很多回饋。它不像後向傳遞網路，只把訊息往前送，這個自體聯結記憶模式將每個神經元的輸出送回原來的輸入，有點像跟你自己打電話。這個回饋迴路引出了一些有趣的特質，當某個行為型態被送進人工神經元時，它們會形成對這個型態的記憶，這個自體聯結神經網路會把這些型態與它們本身連結起來，所以稱之為自體聯結記憶模式。
- 這個自體聯結記憶模式不像其他的神經網路模式，它可以儲存一序列的型態，或是具有順序的型態。這個特質是因為它在回饋中加了延宕反應時間，因為有這個延宕的差異，你就能將一序列的型態，如一段旋律，呈現給自體聯結記憶模式的神經元，它便可以記住這個序列。
- 這個問題不在於我們有沒有足夠的資料或是正確的資料，我們需要的是換個角度來看。有了合適的架構，那些細節才有意義，也才能被歸納到正確的位置。
第三章 人類的大腦
- 最低的功能區域就是初始感覺區(primary sensory area)，這是外界感覺訊息到達皮質的第一站。這裡所做的處理是針對訊息最原始、最基本的部分。例如，視覺訊息經由初始視覺區的V1進入皮質，V1注意的是低層次的視覺特質，如微小的邊緣部分、縮小比例的動作部分、雙眼視差(binocular disparity)、最基本的顏色與明暗對比的訊息。V1再把訊息送到V2、V4和IT，以及其它一大堆地方，而這每一個區域都能特化的或抽象的來處理訊息。如在V4區的細胞處理中等複雜的物體，像是分辨不同顏色(紅或藍)的星形。另一個區域叫IT，它專攻於處理物體的動作。視覺皮質再往上的等級就是你表徵視覺記憶的功能區，所以你會認得出臉、動物、工具、身體部位等等。
- 所有的神經元都有共同的地方，除了圓圓的細胞體外，還有像細鐵絲一樣的分枝叫軸突(axons)和樹突(dendrites)。當一個神經元的軸突接觸到另一個神經元的樹突時，形成一個小的連結點叫突觸(synapse)，突觸就是一個細胞的神經衝動影響另一個細胞行為的地方。一個神經的訊號到達突觸時，可以使下一個細胞比較容易發射或比較不容易發射，因此突觸可以是促進的或是抑制的。突觸的強度會因兩端細胞的行為而改變，最簡單的突觸改變型態是當兩個神經元幾乎同時活化(發射)時，這兩個神經元中間連結的強度就增加，這叫海伯學習定律(Hebbian learning)。
第四章 記憶
- 皮質用的是先前儲存的記憶來解決問題以及產生行為，而非計算出問題的答案。電腦也有記憶，它儲存在硬碟及記憶晶體中。然而，新皮質的記憶跟電腦記憶至少有四個基本的差異：
1.新皮質儲存的是序列的型態
2.新皮質是自體聯結的回憶出型態
3.新皮質是以不變的結構形式儲存型態(不變表徵invariant representations)
4.新皮質以階層性儲存型態
第五章 智慧的新架構
- 人類的皮質很大，可以儲存很多記憶，它不停地預測你即將所見、所聽與所感，只是大多為潛意識的，你並不自覺。這些預測就是我們的思想，當這些預測與感覺輸入結合起來時，它就是我們的知覺，我把這個看法稱作智慧的記憶-預測架構(the memory-prediction framework)。
- 訊息可以透過回饋系統從階層高處流往階層低處。有很多的神經軸突束從高階的IT流往低階的V4、V2和V1，此外，在視覺皮質區，回饋的神經連結網路跟向前的輸送連結一樣緊密，甚至更密。
- 但是當你開始瞭解到大腦的基本核心功能是做預測時，你就需要將回饋加到你的模式中，大腦必須能夠將訊息送回到一開始接受輸入的區域，因為做預測需要加入比較現在正在發生什麼以及你預期將要發生什麼；現在正在發生的是向上送的輸入，你預期將要發生的是向下流的預測。
- 初始聽覺區(A1區域)所能接受的型態差異是非常大的。一個字可以有不同的口音、不同的聲調、不同的速度，但是到更高階的皮質時，這些低階的特徵都無關緊要了，一個字就是一個字，不管在聲學上的差異有多大。
- 往下送的訊息填補了目前輸入的訊息，做出預測下一步會經驗到什麼。
- 高階的皮質是在掌管全貌，而低階的區域則是活躍的在處理快速變化的小細節。
- 假如皮質能開口，它會說：「我經驗到很多不同型態，有的時候我無法預測下一個出現的型態，但是這幾組型態絕對是彼此有關係的，它們總是一起出現，我可以很有信心的就在它們之間以逸代勞。只要我看到它們其中之一，我就可以推論它們一整組都存在。我往上呈報給上一級長官之道的不是個別型態的名字，而是這一整組的番號。
- 所以大腦可說是儲存「序列的序列」，皮質的每一區學習序列，發展出我所謂的「名字」或「序名」來稱呼它所學到的序列，然後把這個名字傳給皮質階層中它的上一級。
- 所以現在你可以正式開始工作了。你要在所有的輸入型態中找序列。分類和找序列這兩者是創造不變表徵的兩個必要條件，皮質的每一個區域都在做這樣的事。
- 當一個輸入是模擬兩可的，如上面既紅又橘的色紙，這時形成序列的功夫就回本了。即使你不確定它是偏紅還是偏橘，你仍必須為它挑選個桶子。假如你知道這一系列輸入最可能的序列是什麼的話，你就可以利用這個知識去分類這模稜兩可的輸入。假如你認為它們是RRGPOG序列的一員，因為你前面已經看到兩個紅色的、一個綠色的、一個紫色的，你可能會認為下一張色紙的顏色應該是橘色的，然而當收到下一張卻不是橘色的-即使它是介紅、橘之間，而且可能更偏向紅色-但是因為你熟悉並期待RRGPOG序列的關係，所以你會把它歸到橘色的桶子裡，你利用已知序列的情境資訊來解決模擬兩可。
- 請注意，序列的記憶使你不但能分辨目前輸入的模擬兩可性，同時也預測了接下來的輸入應該是什麼。
- 在皮質區，由下而上的分類及由上而下的序列是不停的在交互作用，一生都不停的在改變，這就是學習的本質。事實上，皮質的所有區域都很有彈性，可以被經驗所改變，形成新的分類及新的序列正是你記憶這個世界的方式。
- 在人工智慧及機械視覺的研究領域裡，很多人都聽過形態分類(pattern classification)這個名詞，讓我們來看一下這個歷程跟在皮質中有什麼不同。為了要使機器能辨識物體，研究者通常是創造一個樣版，例如，一個咖啡杯的樣子或某種杯子的原型，然後教導電腦將輸入與樣板配合。假如配合得很接近，電腦便認為它找到了一個咖啡杯；但是我們的大腦並沒有樣版，而且每一個皮質區所接受的輸入也不像圖片，你不會記得你視網膜所看到東西得快照，或是你的耳蝸會或皮膚形態的快照，皮質的階層性使得物體的記憶分布在各階層間，它們並不是單獨存在某一個點上。同時，因為每一個皮質都形成不變的記憶，一個典型皮質所學習到的是不變表徵的序列，它本身就是不變記憶的序列，在大腦裡你找不到咖啡杯或任何物體的相片存檔。
- 我的目的是讓你看到皮質區內的細胞如何學習和回憶形態序列，這正是形成不變表徵和做預測最重要的元素。
- 第六層細胞代表著皮質區域認為要發生的事，是特定的預測，假如一個第六層細胞可以說話，它可能會說：「我是代表某種事物的神經柱中的一份子。以我個人的情形，我的神經柱代表了音樂D-A音程，其它神經住代表其它的東西。我只能替我的皮質區域說話，當我變得活化時，就表示我的神經柱認為音程D-A正在發生或正要發生，我可能會因為從耳朵近來從下而上的輸入而活化，結果引發在我神經柱中的第四層細胞活化了整個神經柱；或者，我的活化也可能代表我們辨認出旋律，所以預測到下一個音程。不管哪一個方式，我的工作是告訴低層皮質區域我們認為正要發生的事，我代表了我們對世界的解釋，不管這個解釋是真的或只是我的想像。
- 在你清醒的每一個時刻，大腦皮質的每一區域，都在比較由上到下驅動的預期神經柱以及由下到上驅動的觀察神經柱，這兩組比對結果香蕉的地方就是我們所知覺到的。
- 資深神經網路科學家葛羅斯堡(Stephen Grossberg)把這叫做「摺疊」的回饋(folded feedback)，我則比較喜歡「想像」(imaging)。
第七章 意識和創造力
- 智慧可以由三個時期來看，每一個都用到記憶和預測。
第一個時期是物種用DNA作為記憶媒體。個體無法在有生之年學習和適應，只能將以DNA為基礎的世界記憶透過基因傳給子孫。
第二個時期是當自然界發明了能夠快速形成記憶並可以被修改的神經系統。至此，個體可以學習世界結構中中意的事物，在有生之年根據外在改變，修正行為。但是個體除了透過直接觀察的方式以外，仍然無法將知識傳給後代。新皮質的產生和擴張是在這個時期，但是並沒有闡明解釋它。
第三也是最後一個時期是人類所獨有，它開始於語言的發明和新皮質的擴大。人類在有生之年可以學習很多外在世界結構，也可以很有效的利用語言將這些知識傳給其他人。我花了一生中很多的時間來搜尋大腦的結構，以及這個結構如何產生思想和智慧；透過這本書，我將我所學到的傳遞給你，而這些科學家又是從在他們前面的科學家身上習得他們一生累積的知識，就這樣世代相習而相襲，我能夠吸收關於前人的想法與觀察，並加入自己的看法，沒有知識的傳承，人類的文明不可能如此進步。
- 創造力並非一種非凡的特質，並非需要很高的智慧和天份。創造力可以簡單得的定義為用類比的方式去預測，這是皮質上各區域都在做的事，這也是你只要醒者就不停在做的事。
創造力的發生乃是沿著一條連續得巨軸：從日常生活簡單地預測知覺(比如說聽到同一首歌，但調子不同)，到困難的天才型作為(用前所未有的方式創作一首交響曲)；前者發生在皮質的感覺區，後者則在皮質的最高階。在最基本的層次，日常生活裡的知覺預測行為其實跟蓋世、罕見的天才發現是很相似的，只是每天的預測行為太普遍了，以致我們忽略了它。
- 它用的是類比過去的經驗去預測未來。我們一般雖不認為這種行為是有創造力的行為，但是仔細想一想，它的確是。
- 創造力是透過類比做預測，因為它四處可見我們反而不容易注意到它的存在。
- 不過，當我們的記憶-預測系統在一個抽象的高層次運作時，當它用不尋常的類比做出一個不尋常的預測時，我們是真的認為我們是有創意的。
- 創造力是可以訓練的嗎？是的，絕對可以。我發現在解決問題時有很多能培養找到有用類比的方法。第一，你必須誠實的假設這個問題是有解的，很多人太容易就放棄了，
你必須有信心，解決之道正在等著你去發現。你一定要鍥而不捨的持續想這些問題。
第二，你必須讓你的心智漫遊晃蕩，你必須給大腦時間和空間去發現答案。找到一個問題的答案精確的說其實就是發現一個儲存在你皮質當中，可堪與目前待解的問題相比的
形態。假如你陷在問題中出不來，記憶-預測模式建議你應該找不同的方式來看這個問題，以增加從你過去經驗中看出類比的可能。假如你只是坐著在那裡猛盯著問題看，你是走不遠的；請將這些問題的部分拿來重新安排，用幾個不同的方式來呈現它。
- 假如你陷在問題中，沒有進展，最好先離開一陣子，先去做別的事情，然後再從頭開始，換一個新的方式去解釋這個問題。假如你這樣做個許多次，'遲早你會發現重點，豁然開朗。它可能要花上幾天或幾星期，但終有一天你會突然開竅。你的目標是尋找過去類似的情境經驗使你可以得出類比來，但是想要成功，你必須常常去思考這個問題，同時做些別事情，使皮質有機會找出一個類似的記憶。
- 直到今天，我還聽到有人說電腦應該適應使用者，這其實不見得總是對的，我們的大腦喜歡一致性和可預測的系統，但千萬別忘了我們也喜歡學習新的技術。
傑夫•霍金斯談大腦科學將如何改變電腦| TED Talk
