字體：小 中 大 |
|
|
|
| 2020/03/30 08:27:12瀏覽381｜回應0｜推薦1 | |
| 在“快思慢想”書中提出大腦有 System 1 和 System 2 兩種模式，System 1 是快速反應機制，而 System 2 是理性思考機制．目前機器學習研究已經可以征服 System 1 模式，開始往 System 2 模式前進．
Yoshua Bengio 在 NeurlPS 2019 演講中有提到這方面的發展， 他的題目就是"From System 1 Deep Learning to System 2 Deep Learning"．以計算機作為 Agent 實現 AI，需要以計算機角度考慮，比如更好的模型和知識搜索等． 對於 System 2 而言，基本要素包括注意力(Attention)和意識，注意力在現有深度學習模型中已經被大量應用，而意識最關鍵的是定義到怎樣的邊界，意識先驗可以使用因果關係模型，而整體的理論架構方面可以考慮 Meta Learning，Localized Change Hypothesis，Causal Discovery．在架構方面可以考慮如何學習不同對象的操作．對於處理數據分佈，傳統機器學習都是基於 IID (Independent and Identically Distributed)，在 System 2 更要處理 OOD (Out of Distibuted) 資料． 從認知角度來說，意識是ㄧ個很複雜的機制，Global Workspace Theory 是 1988 年 Baars 等人提出的ㄧ個架構．機器學習和意識模型相結合是關鍵點，前意識 / 意識先驗可以使用稀疏因子圖，Meta Learning 是可能實現機器學習到 OOD 和模型快速遷移的ㄧ個方法． Geoffrey Hinton 在 AAAI 2020 演講中提出膠囊網絡的最新研究成果， 他的題目就是“Stacked Capsule Autoencoders"，他ㄧ直想推翻 CNN 架構，看起來邁向成功ㄧ大步．CNN 的缺點包括不擅長旋轉和縮放，不能解析圖像，很容易受到干擾，高度巧合激活，不使用座標系．人類的認知主要是靠視覺，真是期待比 CNN 好的模型．膠囊網絡還可以套用 Transformer 架構，有足夠多的層和足夠多的訓練資料，得到好的表現是可以期待的． |
|
| ( 創作｜散文 ) |
