世界第一簡單機器學習

 世界第一簡單機器學習

2019年4月

第1章 怎麼做迴歸？

- 正規化的方法分為兩種，Ridge迴歸盡可能減少大數值的係數，和Lasso迴歸增加數值趨近零的係數。    

第2章 怎麼進行識別？    

- 模型的輸出為權重w的函數，所以當w改變，誤差的值也會不同。遇到這樣的問題，我們可用梯度下降法(Gradient Descent)來求解。

- 由所有的訓練資料D計算梯度的方法，稱為批量梯度下降法(Batch Gradient Descent)；將D分割成適當的大小，以此為單位計算梯度的方法稱為小批量梯度下降法(Mini-batch Gradient Descen)；由D隨機選出一個資料，僅以此資料計算梯度的方法，稱為隨機梯度下降法(Stochastic Gradient Descent)。

- ID3是演算法是建立決策樹的最基本步驟。

- 亂度Entropy和資訊量

- 將原資料的亂度減去分割後的資料亂度，得到詢問可獲得的資訊量，該量成為資訊增益量Gain。

- 關於資料集算度的計算方法，除了上述的亂度(Entropy)之外，還有一種方法是以下面的式子計算吉尼係數(Gini Cofficient)。

Gini(D)=1-Pyes^2-Pno^2

- 奧卡姆剃刀(Occam's Razor)，目的是「選擇符合資料且最單純的假說」。

- 決策樹會過於適應訓練資料容易發生過度學習(Overfitting)。

第3章 評估結果    

- 要掌握機器學習未知資料時的性能。其中，最簡單的方法是，將手邊的資料分割成訓練用和評估用。稱為分割學習法，機器在學習時先不使用評估資料，等到要計算準確率時才使用。這樣一來就能模擬遇到未知資料的情況。  

- 會影響訓練結果的超參數(Hyperparameter)，比如線性迴歸中正則化須的權重數、決策樹訓練的樹木深度等等。調查配置訓練的超參數是否妥當，這個過程就稱為檢驗。若在檢驗作業中使用評估資料的話，評估用資料就不能算是未知資料了。

- 所以，使用分割學習法來評估性能時，一開始應該將資料分成訓練用、檢驗用、評估用三部分

- 對資料進行分割，資料的分割份數稱為折數(fold)，通常會採用10折交叉驗證。

- 評估用資料元素數為1的分割法，另外稱為留一法(Leave-one-out)。

- 準確率是在評估資料中，正確辨識類別的資料比例。為了簡化說明，舉例二分類識別問題的評估法。這是有沒有罹患某種疾病、是不是垃圾信件等問題。符合預設條件的訓練資料為正例(positive)、不符合的資料為負例(negative)。

- 混淆矩陣(Confusion Matrix)

- 只有準確度是不夠的：未罹患疾病的人數遠比罹患疾病的人數還多的情況，也就是資料中的負例比正例多很多的意思。比如1000人中僅1人罹患疾病的極端情況，使用全部判定為負的分類器，這樣準確率會是0.999。為了能夠區分這樣的情況，我們需要以其他指標來評估機器學習的結果。

- 根據上表，準確度Accuracy= TP+TN / TP+FN+FP+TN (正解數除以全部資料數就是準確率)。

- 精確度Precision，這是分類器判定為正時，可以多麼相信該結果的指標。

Presision = TP / TP+FP (正確判定為正的數量除以分類器判定為positive的數量就是精確度)。

舉例：被判定罹患某種疾病且該診斷為正的正確比例。

- 召回率Recall=TP / TP+FN (正確判定為正的數量除以所有正例的數量就是召回率)。

例：對象資料中的所有病患中，有多少人被正確診斷罹患疾病。

- 精確度和召回率往往是此消彼長的關係，一邊數值高，另一邊數值就低。

舉例來說，罹患某疾病的症狀很明顯時，分類器才判定為正的精確率會高，不過這樣了話會忽略掉輕微症狀，造成召回率變低。相反地，優先提高召回率，稍微有一些症狀就判定為正，使用這樣的分類器，會導致雖然漏掉病患的情況減少，但可能造成很多沒有生病的人需要接受精密檢查。

- 於是，我們會用下面的式子定義綜合判斷精確率和召回率的指標F值。

F-measure = 2 X Precision x Recall / Precision + Recall

- 若是三種類別的情況，混淆矩陣會變成3x3。由混淆矩陣求出各類別的性能，平均後的數值為巨觀平均(Macro Average)；由類別計算TP、FP、FN、TN相加後，除以資料數的數值為微觀平均(Micro Average)。

第4章 深度學習    

- 卷積神經網路(Convolutional Neural Network)

- 前饋式神經網路(Feedforward Neural Network)

- softmax函數

- 反向傳播法(Backpropagation)

- 自動編碼器(Autoencoder)

- rectified liner函數，使用此函數的單元稱為ReLU(Rectified Linear Unit)。

- 使用Keras資料庫，Keras封裝了常用的TensorFlow深度學習庫，能夠做到更高階的敘述，可用簡潔的程式碼編寫深度學習的典型問題。

第5章 整體學習Ensemble Learning    

裝袋法Bagging    

隨機森林Random Forest    

- 裝袋法、隨機森林是藉由改變使用的資料集，或者改變分類器的構成條件，做成不同的分類器。與此相對，不斷加入專門減少錯誤的分類器，形成反應不同的分類器集合，稱為提升法。

提升法Bossting    

- AdaBoost(Adaptive Boosting)：以變更權重的資料集訓練下一個的分類器，依序形成不同的分類器。後面做成的分類器會優先識別上一個分類器錯誤判斷的資料，具有與上一個分類器不同且能夠彌補弱點的效果。

- 另外一種方式是使用損失函數。以提升法結果作成的複合分類器，可用來定義損失函數。其中，追分的分類器會選擇損失函數值減少最多的。這種方式的提升法稱為梯度提升Gradient Boosting。

- 機器學習工具Weka內建diabets.arff資料。

第6章 非監督式學習

6.1.1 集群分析

6.1.2 階層式集群分析(Hierarchical Clustering)

- 群集間的相似度可用下面的方法定義：單一連結(Single Linkage)、完全連結法(Complete Linkage)、中心法(Centroid Method)、Ward法

- k-means法、EM演算法

EM演算法基本步驟跟k-means法相同，一開始先用亂數決定隨機的平均向量和共變異數矩陣(Covariance Matrix)，這相當於在特定空間中隨意的場所放置隨意的常態分佈。

6.2 矩陣分解

- 假定用戶與商品之間存在幾項潛在因素。潛在因素是指，在分組用戶、商品時類似視點的條件，像是「女性」、「居住地」、「喜歡甜食」等等。但是，這些是在沒有監督的情況下從資料中選出，所以未必每個都能如此解釋。

- 交替最小平方法(Alternating Least Squares)。

- 非負矩陣分解(NMF)

- 分解機模型(Factorization Machine)

6.3 分割式集群分析(Partitional Clustering)

資料庫直效行銷

 資料庫直效行銷

Direct and Database Marketing

2001年1月

第一部分 資料庫時代的行銷

第1章 什麼是直效行銷？

- 資料庫回答了五個主要問題：

誰：這個問題就是要鎖定目標客戶。

做什麼：則是要知道顧客買了些什麼(或是需要什麼)。

在哪裡：則是要知道透過哪一個銷售管道找到客戶，是經銷商、分公司、銷售人員、廣告、郵寄傳單還是電話行銷？

多少錢：也就是一筆交易的價值到底是多少？

為什麼：我們做的哪一件事能夠引發客戶購買的行動？

建立和客戶所有往來紀錄的檔案，由此可評估個別客戶的價值，作為未來和客戶交易的參考或是客戶不再和我們交易時的警訊。

- 資料庫中心要能讓我們隨時知道我們和客戶間關係的發展情形、商品在不同銷售管道的表現、顧客購買的產品種類、及哪些行銷組合最有效。

- 既然銷售給既有顧客的成本比爭取新顧客低這麼多，那麼利用增加每一個顧客的購買額來增加市場佔有率，會比增加顧客數量賺得更多利潤。

第2章 大眾化行銷的盛衰

- 提供給消費者的產品選擇增加得比可支出的薪水還要快，因此造成市場佔有率和客戶忠誠度降低。

- 銷售地點也有越來越多的選擇，而這些選擇也會隨著互動式媒體的成長而增加。消費者藉著電話來和旅行社、銀行、保險公司交易甚至做抵押借款的頻率越來越高。利用電話、傳真或電子郵件來訂購訂購商品的消費者越來越多。行銷人員現在要想得不是如何把客戶吸引到商品之前，而是如何將商品送到客戶面前。並非每一種行銷方式都能為所有消費者接受，所以在競爭策略中應該將行銷通路的選擇包含在內。

第3章 資料導向行銷的興起和成長

- 「計分卡」已漸成為行銷上普遍使用的名詞。使用迴歸分析，計分卡可以提供個別消費者可能有財務問題、對廣告的回應、或是是否成為良好客戶或其他相關問題的可靠資料。發展最迅速的部分是信用計分卡，它使得直效行銷人員能夠領先選民名冊，而使其祭出的信用卡申請保回函能夠有將近百分之百的核准率。

第二部分 建立並使用行銷資訊系統

第5章 客戶行銷的目標和策略

- 報酬率=客戶未來貢獻-折扣/淨客戶取得成本

- 達成客戶目標遠較產品行銷目標重要。但是幾乎所有公司都有設定產品行銷目標，卻很少公司設定客戶行銷目標。客戶行銷目標的重點是在盡力留住每一個讓公司獲利的客戶，這就需要增加客戶佔有率，因為很少客戶對供應商是百分之百的忠誠。

- 最難的部分，是將整個組織注意的焦點從產品或營運轉到客戶身上。

- 使用多項產品的客戶的忠誠度也高於僅使用單項產品的客戶。

第6章 資料庫：每個行銷從業人員都該知道的事

- 將資料分為：聯絡資料、分類資料、交易資料、行銷管道資料、促銷和回覆資料。

第7章 檢定、模型和預測

- 檢定最常用在直效行銷成功與否最要的兩因素上，即改進鎖定目標或選擇媒體的正確度。

- 模型可以是靜態，也可以是動態，動態模型通常是用來顯示變數間的互動情況，像是價格與需求的關係，通常需求因價格的改變而改變。 最常用的靜態模型首推群體分析。

- 迴歸分析在處理連續性的資料的價值最為有用，像是之前的購買次數(從1-10)和到某一家店的開車時間(從10分鐘以下到40分鐘以上)，計分表中也應該包含是/否的變數，像是否使用到信用卡。迴歸分析並不適於處理兩個非依變數之間的關係。

- 在鎖定目標和預測行銷支出的結果時，大多使用迴歸分析。但是它無法讓我們知道客戶的特性，所以無法和群體分析或顧客研究相匹敵。

- 神經網路是回歸模型的直接替代方案，因為最終產物都是同樣是一張計分表，但是兩種計分表代替的意義卻全然不同，神經網路和統計方法完全沒有關係，他們的結果是經由電腦系統辨識不同資料的模型而來。

- 因素分析(factor analysis)和區別分析(discriminant analysis)。因素分析是將大量的變數減少為少量幾個因素或類型，電腦會在變項間找出其相關性，而運用線性關係將變相結合而減少其數量。區別分析是用來鎖定目標，它可以利用對好顧客的陳述，到非顧客群找到符合這些陳述的目標對象。和迴歸分析不同，區別分析並不將依變數設定價值。因為區別分析關係的是事件發生的機率，像是你的車被偷或是你會回覆廣告信函的可能性，只要將之前回覆廣告郵件者的特性和目標鎖定的對象相比較即可，利用這種方法可以幫助我們重新訂定郵件名單，大部分是用以去除鎖定目標中回覆可能最低的人。

- 依變數可以代表企業所需求的任何目標，它可以是利潤、客戶滿意度、對產品的未來需求或是客戶的終生價值。

第三部分 如何整合直效行銷

第12章 直效行銷計畫

- 在使用的模型中，狀況分析分為兩個部分，第一個部分是檢視公司目前的狀況，第二部分是審查競爭的環境。

- 直效行銷人員將顧客視為利潤的來源，而將產品視為將顧客和利潤相連接的工具，沒有任何行銷人員能夠不預測新產品在既有顧客群的銷售量而做出獲利率的預測，因為交叉銷售通常比爭取新顧客的成本低得多。

- 設定完整目標的五項要件

1. 確定目標的焦點在於結果

2. 對每一個目標都要設定衡量的標準(投資的獲利、周轉率、市場佔有率等等)

3. 儘可能讓每一個目標只有單一的主題

4. 確定資源是實際可執行的

5. 確定行銷目標和公司的整體目標相吻合

- 狀況分析能夠告訴我們所處的情勢，目標則是讓我們知道在一定的時期內我們想達到的情況，而策略則是告訴我們該如何到達目標情況。我們擁有的目標和策略數目一定相同，也就是說，每一個目標都有一個相對應的策略。設定策略的目的就是讓我們知道該如何克服或跨越障礙而達成目標。- 延伸閱讀<行銷策略>Marketing Strategy

- 源自直效行銷的企劃方法是「由外而內」，它以顧客過去的行為而非股東的夢想為依據，預測未來能達成的目標。

第13章 投資報酬導向行銷

- 從表面上看來，留住既有顧客的促銷活動遠比爭取新顧客的投資划算，但是直效行銷人員透過測試和控制的程序而有更深入的看法，但我們仔細分析留住顧客的促銷活動，我們會發現，有些顧客即使沒有這些促銷活動也不會流失，有些顧客即使沒有任何折扣也會購買我們的產品，但是，促銷活動卻讓他們只需要付促銷價，兩個價格之間的差價也應算是促銷活動的隱藏成本。

- 如果最終的報酬相同，能夠得到的現金流量越快就越有價值，而貨幣的現值也該列入考慮。

第14章 如何擬定行動計畫和管理方案

- 我們將顧客視為利潤的來源，而產品則是增加和維持與顧客關係的工具，因此產品行銷目標有助於顧客行銷目標。

- 在檢視產品組合時，我們並非先在整個市場中找尋空隙，而是要看看我們無法滿足顧客的那些需求，每一項我們無法使顧客滿足的項目都會把顧客推項競爭者。

- 預測的原則：

--每一件事都有其結果的預測

--預測是個單一事件的總額

--預測是以過去的結果為依據

--預測應和實際結果做比較

--對預測和實際結果的不同應有合理的解釋

- 我們可能以積分高低來排列，而積分是以幾個項目如：查詢的最近日期、擁有車型、離最近經銷商的距離和購買意願，以做為預測回覆率、試車可能性和轉為銷售可能性的指標。如果有足夠的資料，我們也會預估最好的銷售管道和轉換率。

- 整體活動進度表應列明：

--有哪些計畫中的事件

--需要的資源

--每一事件的時間

--成本

--預測結果

--計畫中任何保留部分

- 企劃是行銷循環的四個步驟的第一步，這四個步驟分別是企劃、執行、監督和控制。

第四部分 直效行銷傳播

第15章 行銷傳播如何運作？

- 購買決策-選擇的步驟

知曉>形象契合>實際契合>經銷商契合>試用>購買>重覆購買

- 在計畫直效行銷傳播時，要時時刻刻想到投資報酬率。

- 我們可以看出公司如果將重心放在既有顧客上，就可以達到近95%的預期利潤。但是，如過這麼做，將可以預見公司生意年年萎縮的後果，因此公司決定投資在一些風險較高的活動上，甚至願意在剛開始承擔一些損失，以招來新生意。

- 直效行銷行銷傳播(1)只針對在或是接近目標目標市場的對象(2)目標在於引起查詢或訂購的反應(3)以個別的表現做評估，而且以財務上的考量，而非對整行銷活動的貢獻為基準。

第16章 直接回應：吸引新顧客

- 延伸閱讀<引起反映的廣告>(Advertising That Pills Response)

- 只有在回應廣告的報酬高於風險一定比例的情況下，觀眾才會有回應，除了改變產品之外，唯一增加回應率的方法就是廣告業主接受較高的成本或較高的風險。

- 直效行銷AIDCA：注意Attention、興趣Interest、慾望Desire、決定Conviction、行動Action。

- 購買決策的幾個階段：知曉、形象契合、實際契合、經銷商配合，試用和購買。

第19章 留住顧客

- 兩個最主要的溝通方式分為季節性和連續性(或事件導向)，兩者的不同就項寄發耶誕卡和生日卡。你會在適當的時間寄出一大批耶誕卡給你的親戚和朋友，但寄生日卡的時候，你必須依每個人不同的生日時間一次寄出一張。

- 延伸閱讀<精密行銷>(Precision Marketing)

- 甚至經由何種管道和顧客聯絡都沒有這麼重要，它只是讓我們知道顧客對電話或廣告信函的偏好程度，最需要的是比較回應者和無回應者，以找出兩者的差別。

第21章 直效行銷行動II

- 和顧客保持聯繫並發展和顧客的對話十分重要，以免因地址改變而使資料過時。如果顧客每五年搬遷一次，那麼每年就有20%的資料過時。

- 重要的不是花在每一位目標顧客身上的成本，而是每一個結果的成本。

醉漢走路

醉漢走路 - 機率如何左右你我的命運和機會
2009/04/28
Leonard Mlodinow

第二章 表象不是真相
- 希臘數學家：阿基米德、丟番圖、歐幾里得、歐多克索斯、泰勒斯及畢達哥拉斯。
- 羅馬人西塞羅看輕幾何，卻說：「機率正是生命的指引」。
「希臘人給了幾何學家最尊貴的地位，因此對他們而言，任何的進展都不如數學那麼光輝。
可是羅馬認為這門學問的用處，頂多就是測量與計數。」

第三章 機會成就命運
- 一個問題只是另一個問題的變形，數學上稱為同態(homomorphism)。
- 蒙提霍爾問題
- 樣本空間(Sample Space)。Crdano：如果一個隨機過程中，所有結果發生的可能都相等，
有些是有利的(贏的)，有些是不利的(輸的)，那麼有利的結果發生的機率，
就等於有利的結果在所有可能的結果中所占的比例。所有可能發生的結果，就稱為樣本空間。
延伸閱讀：
- 機會遊戲之書(A Book on Game of Chance)；Gerolamo Crdano。
- 算術演練(The Practice of Arithmetic)；Gerolamo Crdano。
- 大術(Ars Magna)；Gerolamo Crdano。

第四章 追蹤成功之路
- 新生代科學家反叛了亞里斯多德，改追隨伽利略，而且把這個領域發展得更深更遠，
超越了卡丹諾和伽利略，巴斯卡(Blaise Pascal)、笛卡兒、費馬。
- 巴斯卡三角形
- 巴斯卡的偉大創新之處，在於平衡得與失的方法，
這個概念就是今日我們所說的數學期望值(mathematical expectation)。
- 巴斯卡賭注常被視為賽局理論的創始；賽局理論就是針對賽局中的最佳決策做量化研究。
延伸閱讀：
- 沉思錄
- 關於骰子遊戲之所思；伽利略。

第五章 「小數法則」大陷阱
- 班佛定律(Benford's Law)，由累積方式而得到的數並不隨機，而是偏向較小的數字。
- 1995年，喬治亞理工學院的數學家希爾(Ted Hill)提出班佛定律的證明。
- 很多類型的數據都遵守班佛定律，尤其是財務數據。
這個定律似乎專門是為了從大量的財務數據中發掘詐欺，而量身訂做的。
- 隨機性的「頻率詮釋」和「主觀詮釋」。
在頻率詮釋中，我們根據樣本出現的樣子來判斷；
而主觀詮釋中，我們根據的是樣本產生的方式。
根據主觀詮釋，如果我們不知道或無法預料產生一個數或一組數的過程會是什麼樣子，
這個數或這組數就是隨機的。
- 在不完美的真實世界擲骰子，根據「主觀詮釋」是隨機的，但根據「頻率詮釋」並不是。
因為骰子不完美，因此每面擲出的機會不一樣；
然而，因我們能力的侷限，我們沒辦法事先知道哪一面比較常出現。
- 雅各·白努利的黃金定理，在不同的專業上有少許差異，而有不同的名稱：
白努利定理、大數法則、弱大數法則。
- 白努利：「評價人的行為，不應該只看結果。」
延伸閱讀：
- 自然哲學的數學原理；牛頓。

第六章 正確解讀「陽性反應」
- 白努利定理關切的是，如果擲一枚公平的硬幣許多次，你能期望擲出多少次正面；
貝氏研究的則是如果觀察到擲出了某個數目的正面，你能多確定硬幣是公平的。
如何由觀察結果推論出事件本身的機率？
- 生活中大部分的經驗是：我們只能觀察相當少量的樣本，然後就要由這些觀測結果推出資訊，
並且針對造成這些結果的特性做出判斷。
- 事前機率(Prior Probability)、事後機率(Posterior Probability)。
- 檢察官謬誤(Prosecutor's Fallacy)
- 機率是根據固定的機率值做預測，統計是根據觀察數據推論出這些機率值。
- 已知一系列的量測數據，那麼你對於度量對象的實際值，能做出多精準的猜測？
這個猜測值與精確值有多靠近？
延伸閱讀：
- 分紅給付觀察；Richard Price
- 機率分析理論；Richard Price

第七章 誤差是常態
- 拉普拉斯和拉瓦謝、庫倫(Charles de Coulomb)，改變了實驗物理這個領域。
基於天文學與實驗物理學的雙重需求，從十八世紀末到十九世紀初，
數學家花了很多工夫了解並量化隨機誤差。這些努力創造了一個新領域-數理統計。
這門數學提供了一套工具，可以詮釋由觀測及實驗得到的數據。
- 丹尼爾·白努利把天文觀測的隨機誤差比喻作弓箭手的偏差。
- 描述誤差定律的正確數學函式，即鐘形曲線。
- 鐘形曲線通常稱為常態分布，有時候也稱為高斯分布。
- 常態分布其實不是一條固定的曲線，而是一「族」曲線，
家族中每條曲線的位置與形狀，由兩個參數來決定。
第一個參數決定尖峰的位置。第二個參數決定曲線的延展寬度，這個參數稱為標準差。
- 常態分布正是誤差定律
- 棣美弗作出研究成果之後好幾十年，才有人認識到常態分布描述了量測誤差的分布情況，
這個人就是德國大數學家高斯(Karl Fridrich Gauss)。
- 拉普拉斯在1810年偶然讀到高斯的著作，才於法國科學院發表報告，
在這篇報告中，他證明了「中央極限定理」。
- 「中央極限定理」與「大數法則」是隨機理論當中最著名的兩個定理。
延伸閱讀：
- 機會論(The Doctrine of Chances)；棣美弗(Abraham De Moivre)

第八章 混沌中的秩序
- 統計群體中的每個人，雖然各自隨機行動，卻往往顯示出一致而可預料的群體行為，
看起來像是有意識地在追求同一目標。
- 康德：「每個人都是在隨著自己的意向追隨目標，通常與其他人的目標相反；
然而，個體和人群，就像是隨著某個引導的繩索，朝著一個相當自然、
但對每個人卻都屬未知的目標邁進；所有人全都努力去助長這個目標，
即使他們意識到這個目標，也甚少看重。」
- John Graunt和William Petty，後人稱他們為統計學的創始者。
- Petty的研究工作，有時候被認為是古典經濟學的先驅。
- statistics(統計)這個英文名詞，來自德文字statistik，首次出現在<畢費爾德基礎普及教育>
一書1770年的英譯本中：「統計這門科學，教導我們當今世界所有現代國家的政治狀態。」
- 到了1882年，統計這個課題，已經演變成<韋氏大字典>鎖定一
「關於社會狀態、一國國民的情況、他們的健康、壽命、國內經濟、技術、
財產及政治實力、國土等等的大量資訊。」
- 鑑識經濟學
- 預測誤差(forecast error)
- 「叫座」驅策的行業，雖然完全無法預測，遵循的其實是一個完全不同的分布，
在這種分布中，平均數與標準差都沒有意義，因為根本沒有「典型」的表現。
- 機運的作用，在某種程度上也能控制，那就是要藉由不停的嘗試，才能提升成功的機率。
- 達爾文的表弟高騰(Francis Galton)的貢獻：相關係數。
- 皮爾生(Karl Pearson)發明卡方檢定。
早期的統計學家有時候只是畫個圖看看曲線是否鐘形的，以判定是否為常態分布。
可是要如何量化曲線配適的程度？
卡方檢定(chi-square test)，可判定一組數據是否真正符合你所認知的分布。
- 卡方檢定運用廣泛，例如：
--檢驗三種麥片盒子，來決定哪一種較受消費者青睞。
如果沒有哪一種特別受到偏愛，那麼每一種盒子大約會有1/3的消費者選擇。
可實際的結果很少會分布得這麼均勻。運用卡方檢定，我們能夠決定，
勝出的盒子得到較多的選票，是因為消費者的偏愛，還是只是由於機率。
--假設有一藥廠，想試驗兩種用來預防急性器官排斥反應的治療方式，
卡方檢定可以用來決定兩種治療法的差異是否有統計顯著性。
--某家連鎖車租車公司計畫開設新的據點，他們的財務長估計有25%的客人需要小型車，
50%需要中型車，而大型車及其他類型車輛的需求各占12.5%，數據開始產生之後，
卡方檢定可以幫助財務長很快決定，究竟是他原先的估計正確，
還是這個新的據點不同於典型的分店，所以應該改變提供的車種組合。
- 波茲曼、馬克士威受了Quetelet的激發，創立了「統計物理學」。
延伸閱讀：
機率哲學隨筆；拉普拉斯
人類及其官能的發展；Adolphe Quetelet
英國文化史；Henry Tomas Buckle
統計改變了世界

第九章 模式的錯覺，錯覺的模式
- 顯著性檢定(significance test)是費雪(R.A.Fisher)在1920年代發展出來的。
- 顯著水準(significance level)
- 培根：「人的理解方式是，一旦採信了一種看法，就會蒐集所有可確認這種看法的事例，
即使反面的事例很多，也更具分量，仍通常不予理會、甚或拒不接受，以便使他們的看法屹立不搖。」
延伸閱讀：
統計，讓數字說話！

第十章 醉漢走路
- 雖然機遇確實扮演了一定的角色，但有一項成功的因子是可以控制的：
打擊的次數，嘗試的次數，抓住機會的次數。
- 就如IBM的先驅華生所說的：「如果你想成功，就加倍你的失敗率。」

大數據的另一章

大數據的另一章！資料分析3.0時代，靠分析讀懂你的客戶，讓企業贏得競爭優勢
The Analytics Revolution: 
How to Improve Your Business By Making Analytics Operational In The Big Data Era
Bill Franks

Part01｜分析革命已經開始
Chapter01　瞭解營運分析
- 國際分析研究所(International Institue for Analytics,IIA)建立的分析3.0框架。

-數據分析2.0：
- 專業分析人員在企業中部是演變為決策層的一員，就是對決策層有著直接的影響力。
專業分析人員不再是完全獨立於業務群體的幕後資源。
-數據分析3.0：
- 長期以來，客戶流失分析已經演進為尋找行為組合的特定模式，
這是因為行為組合比單一行為更具危險性。這一般稱作「路徑分析」(path analysis)。
如果一個客戶線上看到對帳單，首次了解手續費後請求取消手續費。這可能不是一件麻煩事。
但是，如果客戶透過致電客戶服務管道再次要求取消手續費，並且接下來又致電分支機構，
那麼對客戶的忽視就會加大其關閉帳戶的風險。

Part02｜奠定分析基礎
Chapter04　想要預算？先制訂商業計畫
- 關注回報而非成本
最大化關注點：解決的業務問題、價值回報、差異性。
最小化關注點：需要的工具和技術、成本、持續改進。
- 很多企業會進行一個有針對性的概念驗證(proof of comcept,POC)作為第一步，
這是一個不錯的想法，但是別讓範圍有限的概念驗證作為終點。
只解決某個問題的一小部分並不能讓一個商業計畫獲得投資通過，特別是需要大量資金和人力的投資時。

- 展開新的營運分析的第一步不必走得太遠，第一步是要簡單證明這個新想法是有價值的。
一開始你並不需要一個完整的、生產就緒的流程，只要可足夠展示價值就行了，
然後利用累積的經驗去更加有效地設計和建立最終方案。
- 為了具備差異化潛力的分析來制訂商業計畫，而不是僅改善、提升現有的分析流程。

Chapter05　建立分析平台
- 基礎流程或政策問題的一個常見表象，就是它們對所涉及的技術的影響。
在很多案例中，看上去是技術問題，但其實不是。一定要區分開「技術問題是更大問題的表象」
與「技術確實是問題的誘因」兩種不同的情況。
- 資料倉儲學院(TDWI)
- 對大多數企業來說，使分析營運化不是一個技術問題，技術問題僅僅是潛在的政策和文化問題的表象。
- 除非即將到來的一項功能是絕對重要的，否則不要因將來可能出現的技術推延今天的投資決策。

Part03｜分析營運化
Chapter07　資料分析
- CRISP-DM規定了傳統資料探勘過程的基本步驟。

- 另一個常見的模式是SAS研究所的SEMMA模式。
SEMMA代表「sample,explore,modify,modal,and assess」
(資料採樣、資料特徵探索、資料調整、模式研發和模式評價)。

- 在批次分析中用於預測對所有使用者的最佳推薦的演算法。
也可以用於預測對某一個目前正在瀏覽網頁的特定使用者的最佳推薦。
區別在於產生對目前特定使用者推薦的演算法使用的是最新資料。
- 大部分由大公司建立的分析過程都可以總結為兩個原則。
第一個是統計，其中包含了變異數分析(ANOVA)、迴歸分析以及顯著性檢驗。
第二個是預測，其中包含了傳統時間序列預測和投影預測技術。
這兩個分析原則已經無法滿足目前的要求，企業需要精通除統計和預測方法之外的更多分析原則。
像是模擬分析，蒙特卡羅(Monte Carlo)模擬是特別流行的方法。
- 最佳化分析原則也正得到越來越廣泛的使用。長久以來，最佳化都用於定價分析，
而近來其應用範圍得到了拓展。他透過分析變數和限制條件提供可能的最優方案。
蒙特卡羅模擬一一查看和量化各種可能的影響；最佳分析則從中找出最佳方案。
最佳方案通常用於重要變數可控制的情況。在定價分析中是可以控制商品的價格來獲得最優結果的，
而在退休計畫分析中，通膨率則是無法控制的，因此就不能使用這種方法。
- 為了處理資料流，「複雜事件處理原則(Complex Event Processing,CEP)」漸成主流，
CEP原則在資料流傳遞期間分析資料並快速做出決策，其也能夠同時運用大多數其他分析原則。
- 資料探勘、預測分析、人臉辨識演算法、圖形分析演算法、地理空間分析、文字分析、社群網路分析。

- 設計分析時，提出正確的問題比後面的其他工作對結果的影像更大。
- 分析結果往往取決於問題的定義、提問的內容、分析方案的設計，以及該方案一旦確立將為如何實施。與過程中的細節相比，選擇解決哪一個提問對結果的影響更大。
稍不注意，建立的分析可能就回答了錯誤問題的錯誤提問。
- 不可能探索到所有潛在的分析。當錯過了某些東西之後，總是會事後諸葛。
為此，不只記錄為什麼採取某些路徑，也記錄為什麼沒有選擇其他的路徑。
- 探索性分析允許一個寬泛的目標或有限的假說，而驗證性分析從一開始就高度集中並界線分明。
- 典型相關分析或迴歸分析可於確定那些路徑特徵與利息指標最相關。
在這種情況下，非統計學的路徑功能提供了新的資訊，可以用嚴格的統計方式進行分析。
統計方法增加了路徑分析的影響力。
- 提供解決方案，而不是分析說明。重點必須放在透過分析解決問題上。
證明一個過程是可行的，只關注結果而不是直接關注分析。
- 營運分析的發起人和使用者童常不了解或不關心分析，他們只想得到問題的解決方案。
如果不被問到風險，不必談論技術細節。

Chapter08　分析組織
- 資料科學家往往是電腦背景出身，使用Hadoop，用Python或R等語言寫程式。
傳統意義上的專業分析人員多半是統計、數學或運籌學背景，
使用的可能是關係式的分析伺服器環境，語言用的是SAS和SQL。
使用的平台或者語言不同，並不會改變背後的技能與思維方式。
- 認證分析專家(CAP,Certified Analytics Professional)，該認證項目是由美國運籌管理協會
(INFORMS,Institute for Operations Research and the Management Sciences)贊助的。
- 分析完成之後，工作仍在進行。我們還得完成分析結果的行銷和推廣，建構營運過程支撐模式，
這樣才能儘可能大地發揮影響力。
- 專業分析人員是顧問、是導師、是教練，但不是因循守舊者，該表態就表態。
舉止不像專家，別人自然不會以專家視之。

文科生也看得懂的工作用統計學

文科生也看得懂的工作用統計學

第一章  欲速則速！一口氣讀完統計學！ 
- 統計學可大致分成敘述統計學、推論統計學、貝氏統計學三大類。
還有一種多變量分析，用於處理兩個以上的變量。

- 傳統統計(頻率論)用於可預測發生頻率的事例。
反過來說，當資料很少甚或原本就沒有資料時，就很難預估。
相對地，貝氏統計學就算樣本資料很少，也可以估計，說得極端一點，
連一次都不曾發生過的事件，都可以估計其發生機率，這就是貝氏統計的特徵。
- 貝氏統計學的另一優點，就在於有新資料增加時，推論的機率也會隨之改變(精度更高)。
這個優點稱為貝氏修正。

第四章  體驗常態分配
- 樣本平均數的分配已知特徵
1.樣本平均數的分配的平均數和母體平均數一致。
2.樣本平均數的分配的變異數為σ^2/n(σ為母體標準差)
3.不論母體分配為何，樣本數越大，「樣本平均數的分配」越趨近常態分配。

擺脫挫折的統計學入門

擺脫挫折的統計學入門

第二部 統計學基礎篇
第八章 相關、迴歸、決定係數
8.2 迴歸分析
- 藉由迴歸分析可以瞭解某個變量會如何影響另一個變量。
- 由x決定y的關係，在統計學中稱作「以x解釋y」，x稱作解釋變數，y稱作被解釋變數，
而這種關係稱作y對x做迴歸。
8.3 決定係數：可以決定什麼呢？
- 殘差是實際值與迴歸直線上之估計值的落差。

- 相關係數的平方，也稱作決定係數。決定係數=1時，相關係數為正負1，是最強的相關關係，
散佈圖上的所有點都排列在同一條直線上，殘差為0。

- (1-決定係數)是以比值的形式表示「將迴歸直線模型納入考慮時，以估計值yi為中心之殘差的
分散程度」比「未將迴歸直線模型納入考慮時，原始y的分散程度」小多少。
故決定細數本身可用來表示在套用迴歸模型後，分散程度縮小的程度。
- 舉例來說，若(1-決定係數)為0.2，就表示將模型納入考慮時之殘差分散程度，
是為將模型納入考慮時之原始y分散程度的20%。此時的決定係數為0.8，故在代入模型之後，
可減少80%的分散程度。在統計學中，我們會說「這個迴歸直線模型可解釋80%的y變異數」。
也又是說，y之所以會出現變異，80%的原因是「來自於這條直線」。
- 當決定係數=1，也就是散佈圖上的點完全位於一條直線上時，這條直線可減少100%的變異數，
殘差=0，即資料的分散情形100%可由線性單迴歸解釋。

- 上圖中，(a)是相關係數為0.5時的散佈圖，(b)是相關係數為0.7時的散佈圖。
如圖所示，相關係數為0.5時，根本稱不上是中等程度的相關，而是幾乎找不到相關係數。
這是因為當相關係數=0.5時，決定係數=0.25。也就是說套入迴歸直線這個模型後所減少的變異數，
或者說模型可解釋的變異數只佔了25%，原始y的變異數還有75%仍殘留在迴歸直線的殘差中。
而當相關係數為0.7時，決定係數為其平方，也就是0.49，大約等於0.5，
故其回歸直線可解釋約一半的變異數。如圖所示，相關係數為0.7時，
比較接近所謂「中等程度的正相關」的概念。

第十章 隨機變數與機率分配模型
10.1 隨機變數的概念

- 資料的平均 = (組別值x相對次數)的總和
- 資料的變異數 = [(組別值-平均)^2 x 相對次數]的總和
10.2 機率分配模型與常態分配、中央極限定理
10.2.2 常態分配模型與中央極限定理
- 中央極限定理的意思就是「若某個隨機變數是無數個彼此獨立之隨機變數的平均，
那麼這個隨機變數所服從的機率分布，就會是一個常態分佈」。
10.2.3 常態分配模型的性質

- 上圖左方的直方圖中，灰色部分的長條面積表示隨機變數的數值落在「某個範圍」內的機率。
當把組距切得非常小，使值方圖看不到一個個長條時，灰色部分得面積仍代表同樣的機率。
這種看不到長條得直方圖所表示的機率分布，稱作「連續型機率分布」，
而直方圖的每個長條上緣連起來的曲線，則稱作「機率密度函數」。
- 常態分布有以下這個很重要的性質：若隨機變數X服從期望值為μ，
變異數為σ^2的常態分配N(μ,σ^2)，那麼隨機變數X-μ/σ服從常態分布N(0,1)。

- 如上圖，所謂的隨機變數X-μ/σ，是將隨機變數X的每一個可能數值接減去μ再除以σ後，
得到的一個新的隨機變數。要注意的是，若隨機變數的期望值為μ，變異值為σ^2，
那麼，就算原本的隨機變數X不是常態分布，X-μ/σ的期望值也會是0，變異數也會是1。
- 常態分布的性質1：若隨機變數X服從常態分布，那麼，轉換後的隨機變數X-μ/σ會服從期望值為0，
變異數為1的常態分布。
- 期望值為0，變異數為1的常態分布，也就是N(0,1)也稱作標準常態分布。

第三部 統計學進階篇
第十二章 區間估計與檢定
12.1 區間估計
12.1.1 什麼是區間估計
- 常態分配的性質2：從服從常態分布N(μ,σ^2)之母體隨機抽出樣本X1,...,Xn，
則樣本平均會服從常態分布N(μ,σ^2/n)。
- 常態分布的這個性值一般稱作「機率分布的再現性」。
更為基本的描述是「當彼此獨立的兩個隨機變數皆服從常態分布時，
這兩個隨機變數的和也會服從常態分布」。
12.1.2 常態分配與區間估計
- 不偏變異數是經過調整，使其期望值與母體變異數相等的變異數。
「不偏」就是「沒有偏離」的意思。隨然不偏變異數有時會比母體變異數大，
有時會比母體變異數小，但較大和較小的機會是「平等」的。
不會發生每次算出的不偏變異數都比母體變異數大，或都比母體變異數小之類的事。
12.2 不偏變異數、t分配與區間估計
12.2.2 t分配與區間估計
- t統計量會服從的機率分配並不是標準常態分布，而是自由度為n-1的t分配(Student's t 分配)，
可寫作t(n-1)。t分布的機率密度函數與標準常態分布相當相似，
圖形以t=0為中心左右對稱。

12.3 檢定是「在某條件下的審判」
- 型二錯誤：虛無假說實際上是錯的，實驗者卻在計算抽樣資料之後，得到「不拒絕」虛無假說的結論。型二錯誤又稱為「固步自封的錯誤」。
型二錯誤的機率有時會以β來表示。
- 即使虛無假說為真，當我們在顯著水準為5%的情況下進行多次假說檢定時，
會有5%的檢定犯下型一錯誤，拒絕了不應拒絕的虛無假說，接受了不應接受的對立假說。
型一錯誤又被稱為「杞人憂天的錯誤」。型一錯誤(=顯著水準)有時會以α來表示。

世界第一簡單統計學(因素分析篇)

世界第一簡單統計學(因素分析篇)
第1章 問卷的基礎知識
- 隨機抽樣法：單純隨機抽樣法、分層隨機抽樣法、兩段隨機抽樣法、分層兩段隨機抽樣法。
- 非隨機抽樣法：介紹法、應徵法、街頭訪問。
- 數據分析的方法：探索型數據分析、驗證型數據分析。
第4章 主成份分析
- 主成份分析的過程
Step1.求主成份和主成份得分
Step2.確認分析結果的精確度
-- 可以利用「累計貢獻率」判斷主成份分析的結果好不好。
-- 第i主成份的貢獻率大致代表「該主成份涵蓋了多少分析數據所含的資訊」。
Step3.研究分析結果
第5章 因素分析

- 因素分析的注意事項
1.主成份分析的每個主成份有這些意義：第一主成份代表綜合能力。
其他主成份和分析者的意圖無關，是(以數學規則)自動求得的數值。
；而因素分析的共同因素並沒有這些既定的意義。
總之先分析，分析者「事後」才「主觀地」解釋每個共同因素的意義。
2.主成份分析有「第一主成份」和「其他主成份」的順序；
因素分析不一樣，每個共通因素都是平等的。
3.麻煩的是分析者必須在分析「之前」設定共同因素的各數，才能進行因素分析的計算。
6.其他因素也稱為獨特因素

7.計算因素分析時，通常針對每個變數把分析的數據標準化之後才計算。
8.以算式和簡圖表示因素分析的結構。

10.因素分析並不是為了找出共同因素的分析方法。而是確認「因素負荷量」數值的分析方法。
- 因素分析的步驟如下：
Step1.求旋轉前的因素負荷量
-- 因素負荷量有很多種計算方法，例如「主因素法」和
「最大概似估計法」(Maximum likelihood estimation,MLE)
-- 假設「任意共同因素之間的單相關係數為0」這種想法稱為「直交因素模型」(orthogonal)。
不採取這種假設的想法稱為「斜交因素模型」(oblique)。
-- 以往基於「比較容易計算」，通常採取直交因素模型，不過，現在因為：
電腦性能提升、就常理判斷，「任意共同因素之間的單相關係數為0」
這種直交因素模型的假設並無法實現。分析時慢慢改用斜交因素模型。

Step2.求旋轉後的因素負荷量
-- 旋轉有很多種，大致可以分為「直交旋轉」和「斜交旋轉」。
直交旋轉：
最大變異轉軸法(Varimax)有兩種分別是「原始最大變異轉軸法」(Varimax raw)、
「標準化最大變異轉軸法」(Varimax normalized)
四次方最大值法(Quartimax)
雙重四次方最大值(Biquartimax)
斜交旋轉：
Promax轉軸法
四次方最小值法(Quartimin)
雙重四次方最小值(Biquartimin)
共變數最小法(Covarimin)
Step3.解釋每個共同因素的意義
Step4.確定分析結果的準確度
Step5.求因素得分，掌握每個個體的特徵
- 最大概似估計法，因素負荷量著名計算除了之前介紹的主因素法之外，還有最大概似估計法。
- Promax轉軸法步驟如下：
Step1.以最大變異轉軸法旋轉
Step2.猜測「根據以往的經驗，母群體一定是這個模樣」，也就是推測
「真正的因素負荷量矩陣」，這個矩陣通常為目標矩陣。
Step3.轉軸(1)的軸，盡量接近(2)推測的目標矩陣
- 時代的潮流已經由「主因素法+最大變異轉軸法」轉向「最大概似估計法+Promax轉軸法」。
- 主因素法和最大概似估計法不同，沒有「母群體必須符合多變量常態分析」這麼嚴格的限制

附錄 各種分析方法
- 多變量分析：重迴歸分析、Logistic迴歸分析、群落分析、對應分析與數量化三類、
結構方程式模型(Structural Equation Modeling,SEM)
- 其他﹕統計的假設檢定：
母平均差的檢定(也就是「t檢定」)
例如：推測「東京男性上班族每個月零用錢的平均金額」和
「大阪男性上班族每個月零用錢的平均金額」是否相同
、獨立性檢定(也就是「卡方檢定」)
例如：推測母群體的「學校」和「最喜歡的藝人」的Cramer關聯係數是否為0，
也就是彼此是否相關。、母比率差的檢定、母變異數比的檢定、Wilcoxon檢定
、Kaplan-Meier分析法：是推算存活率的方法。