世界第一簡單機器學習
2019年4月
第1章 怎麼做迴歸？
- 正規化的方法分為兩種，Ridge迴歸盡可能減少大數值的係數，和Lasso迴歸增加數值趨近零的係數。
第2章 怎麼進行識別？
- 模型的輸出為權重w的函數，所以當w改變，誤差的值也會不同。遇到這樣的問題，我們可用梯度下降法(Gradient Descent)來求解。
- 由所有的訓練資料D計算梯度的方法，稱為批量梯度下降法(Batch Gradient Descent)；將D分割成適當的大小，以此為單位計算梯度的方法稱為小批量梯度下降法(Mini-batch Gradient Descen)；由D隨機選出一個資料，僅以此資料計算梯度的方法，稱為隨機梯度下降法(Stochastic Gradient Descent)。
- ID3是演算法是建立決策樹的最基本步驟。
- 亂度Entropy和資訊量
- 將原資料的亂度減去分割後的資料亂度，得到詢問可獲得的資訊量，該量成為資訊增益量Gain。
- 關於資料集算度的計算方法，除了上述的亂度(Entropy)之外，還有一種方法是以下面的式子計算吉尼係數(Gini Cofficient)。
Gini(D)=1-Pyes^2-Pno^2
- 奧卡姆剃刀(Occam's Razor)，目的是「選擇符合資料且最單純的假說」。
- 決策樹會過於適應訓練資料容易發生過度學習(Overfitting)。
第3章 評估結果
- 要掌握機器學習未知資料時的性能。其中，最簡單的方法是，將手邊的資料分割成訓練用和評估用。稱為分割學習法，機器在學習時先不使用評估資料，等到要計算準確率時才使用。這樣一來就能模擬遇到未知資料的情況。
- 會影響訓練結果的超參數(Hyperparameter)，比如線性迴歸中正則化須的權重數、決策樹訓練的樹木深度等等。調查配置訓練的超參數是否妥當，這個過程就稱為檢驗。若在檢驗作業中使用評估資料的話，評估用資料就不能算是未知資料了。
- 所以，使用分割學習法來評估性能時，一開始應該將資料分成訓練用、檢驗用、評估用三部分
- 對資料進行分割，資料的分割份數稱為折數(fold)，通常會採用10折交叉驗證。
- 評估用資料元素數為1的分割法，另外稱為留一法(Leave-one-out)。
- 準確率是在評估資料中，正確辨識類別的資料比例。為了簡化說明，舉例二分類識別問題的評估法。這是有沒有罹患某種疾病、是不是垃圾信件等問題。符合預設條件的訓練資料為正例(positive)、不符合的資料為負例(negative)。
- 混淆矩陣(Confusion Matrix)
- 只有準確度是不夠的：未罹患疾病的人數遠比罹患疾病的人數還多的情況，也就是資料中的負例比正例多很多的意思。比如1000人中僅1人罹患疾病的極端情況，使用全部判定為負的分類器，這樣準確率會是0.999。為了能夠區分這樣的情況，我們需要以其他指標來評估機器學習的結果。
- 根據上表，準確度Accuracy= TP+TN / TP+FN+FP+TN (正解數除以全部資料數就是準確率)。
- 精確度Precision，這是分類器判定為正時，可以多麼相信該結果的指標。
Presision = TP / TP+FP (正確判定為正的數量除以分類器判定為positive的數量就是精確度)。
舉例：被判定罹患某種疾病且該診斷為正的正確比例。
- 召回率Recall=TP / TP+FN (正確判定為正的數量除以所有正例的數量就是召回率)。
例：對象資料中的所有病患中，有多少人被正確診斷罹患疾病。
- 精確度和召回率往往是此消彼長的關係，一邊數值高，另一邊數值就低。
舉例來說，罹患某疾病的症狀很明顯時，分類器才判定為正的精確率會高，不過這樣了話會忽略掉輕微症狀，造成召回率變低。相反地，優先提高召回率，稍微有一些症狀就判定為正，使用這樣的分類器，會導致雖然漏掉病患的情況減少，但可能造成很多沒有生病的人需要接受精密檢查。
- 於是，我們會用下面的式子定義綜合判斷精確率和召回率的指標F值。
F-measure = 2 X Precision x Recall / Precision + Recall
- 若是三種類別的情況，混淆矩陣會變成3x3。由混淆矩陣求出各類別的性能，平均後的數值為巨觀平均(Macro Average)；由類別計算TP、FP、FN、TN相加後，除以資料數的數值為微觀平均(Micro Average)。
第4章 深度學習
- 卷積神經網路(Convolutional Neural Network)
- 前饋式神經網路(Feedforward Neural Network)
- softmax函數
- 反向傳播法(Backpropagation)
- 自動編碼器(Autoencoder)
- rectified liner函數，使用此函數的單元稱為ReLU(Rectified Linear Unit)。
- 使用Keras資料庫，Keras封裝了常用的TensorFlow深度學習庫，能夠做到更高階的敘述，可用簡潔的程式碼編寫深度學習的典型問題。
第5章 整體學習Ensemble Learning
裝袋法Bagging
隨機森林Random Forest
- 裝袋法、隨機森林是藉由改變使用的資料集，或者改變分類器的構成條件，做成不同的分類器。與此相對，不斷加入專門減少錯誤的分類器，形成反應不同的分類器集合，稱為提升法。
提升法Bossting
- AdaBoost(Adaptive Boosting)：以變更權重的資料集訓練下一個的分類器，依序形成不同的分類器。後面做成的分類器會優先識別上一個分類器錯誤判斷的資料，具有與上一個分類器不同且能夠彌補弱點的效果。
- 另外一種方式是使用損失函數。以提升法結果作成的複合分類器，可用來定義損失函數。其中，追分的分類器會選擇損失函數值減少最多的。這種方式的提升法稱為梯度提升Gradient Boosting。
- 機器學習工具Weka內建diabets.arff資料。
第6章 非監督式學習
6.1.1 集群分析
6.1.2 階層式集群分析(Hierarchical Clustering)
- 群集間的相似度可用下面的方法定義：單一連結(Single Linkage)、完全連結法(Complete Linkage)、中心法(Centroid Method)、Ward法
- k-means法、EM演算法
EM演算法基本步驟跟k-means法相同，一開始先用亂數決定隨機的平均向量和共變異數矩陣(Covariance Matrix)，這相當於在特定空間中隨意的場所放置隨意的常態分佈。
6.2 矩陣分解
- 假定用戶與商品之間存在幾項潛在因素。潛在因素是指，在分組用戶、商品時類似視點的條件，像是「女性」、「居住地」、「喜歡甜食」等等。但是，這些是在沒有監督的情況下從資料中選出，所以未必每個都能如此解釋。
- 交替最小平方法(Alternating Least Squares)。
- 非負矩陣分解(NMF)
- 分解機模型(Factorization Machine)
6.3 分割式集群分析(Partitional Clustering)
