醉漢走路 - 機率如何左右你我的命運和機會
2009/04/28
Leonard Mlodinow
第二章 表象不是真相
- 希臘數學家：阿基米德、丟番圖、歐幾里得、歐多克索斯、泰勒斯及畢達哥拉斯。
- 羅馬人西塞羅看輕幾何，卻說：「機率正是生命的指引」。
「希臘人給了幾何學家最尊貴的地位，因此對他們而言，任何的進展都不如數學那麼光輝。
可是羅馬認為這門學問的用處，頂多就是測量與計數。」
第三章 機會成就命運
- 一個問題只是另一個問題的變形，數學上稱為同態(homomorphism)。
- 蒙提霍爾問題
- 樣本空間(Sample Space)。Crdano：如果一個隨機過程中，所有結果發生的可能都相等，
有些是有利的(贏的)，有些是不利的(輸的)，那麼有利的結果發生的機率，
就等於有利的結果在所有可能的結果中所占的比例。所有可能發生的結果，就稱為樣本空間。
延伸閱讀：
- 機會遊戲之書(A Book on Game of Chance)；Gerolamo Crdano。
- 算術演練(The Practice of Arithmetic)；Gerolamo Crdano。
- 大術(Ars Magna)；Gerolamo Crdano。
第四章 追蹤成功之路
- 新生代科學家反叛了亞里斯多德，改追隨伽利略，而且把這個領域發展得更深更遠，
超越了卡丹諾和伽利略，巴斯卡(Blaise Pascal)、笛卡兒、費馬。
- 巴斯卡三角形
- 巴斯卡的偉大創新之處，在於平衡得與失的方法，
這個概念就是今日我們所說的數學期望值(mathematical expectation)。
- 巴斯卡賭注常被視為賽局理論的創始；賽局理論就是針對賽局中的最佳決策做量化研究。
延伸閱讀：
- 沉思錄
- 關於骰子遊戲之所思；伽利略。
第五章 「小數法則」大陷阱
- 班佛定律(Benford's Law)，由累積方式而得到的數並不隨機，而是偏向較小的數字。
- 1995年，喬治亞理工學院的數學家希爾(Ted Hill)提出班佛定律的證明。
- 很多類型的數據都遵守班佛定律，尤其是財務數據。
這個定律似乎專門是為了從大量的財務數據中發掘詐欺，而量身訂做的。
- 隨機性的「頻率詮釋」和「主觀詮釋」。
在頻率詮釋中，我們根據樣本出現的樣子來判斷；
而主觀詮釋中，我們根據的是樣本產生的方式。
根據主觀詮釋，如果我們不知道或無法預料產生一個數或一組數的過程會是什麼樣子，
這個數或這組數就是隨機的。
- 在不完美的真實世界擲骰子，根據「主觀詮釋」是隨機的，但根據「頻率詮釋」並不是。
因為骰子不完美，因此每面擲出的機會不一樣；
然而，因我們能力的侷限，我們沒辦法事先知道哪一面比較常出現。
- 雅各·白努利的黃金定理，在不同的專業上有少許差異，而有不同的名稱：
白努利定理、大數法則、弱大數法則。
- 白努利：「評價人的行為，不應該只看結果。」
延伸閱讀：
- 自然哲學的數學原理；牛頓。
第六章 正確解讀「陽性反應」
- 白努利定理關切的是，如果擲一枚公平的硬幣許多次，你能期望擲出多少次正面；
貝氏研究的則是如果觀察到擲出了某個數目的正面，你能多確定硬幣是公平的。
如何由觀察結果推論出事件本身的機率？
- 生活中大部分的經驗是：我們只能觀察相當少量的樣本，然後就要由這些觀測結果推出資訊，
並且針對造成這些結果的特性做出判斷。
- 事前機率(Prior Probability)、事後機率(Posterior Probability)。
- 檢察官謬誤(Prosecutor's Fallacy)
- 機率是根據固定的機率值做預測，統計是根據觀察數據推論出這些機率值。
- 已知一系列的量測數據，那麼你對於度量對象的實際值，能做出多精準的猜測？
這個猜測值與精確值有多靠近？
延伸閱讀：
- 分紅給付觀察；Richard Price
- 機率分析理論；Richard Price
第七章 誤差是常態
- 拉普拉斯和拉瓦謝、庫倫(Charles de Coulomb)，改變了實驗物理這個領域。
基於天文學與實驗物理學的雙重需求，從十八世紀末到十九世紀初，
數學家花了很多工夫了解並量化隨機誤差。這些努力創造了一個新領域-數理統計。
這門數學提供了一套工具，可以詮釋由觀測及實驗得到的數據。
- 丹尼爾·白努利把天文觀測的隨機誤差比喻作弓箭手的偏差。
- 描述誤差定律的正確數學函式，即鐘形曲線。
- 鐘形曲線通常稱為常態分布，有時候也稱為高斯分布。
- 常態分布其實不是一條固定的曲線，而是一「族」曲線，
家族中每條曲線的位置與形狀，由兩個參數來決定。
第一個參數決定尖峰的位置。第二個參數決定曲線的延展寬度，這個參數稱為標準差。
- 常態分布正是誤差定律
- 棣美弗作出研究成果之後好幾十年，才有人認識到常態分布描述了量測誤差的分布情況，
這個人就是德國大數學家高斯(Karl Fridrich Gauss)。
- 拉普拉斯在1810年偶然讀到高斯的著作，才於法國科學院發表報告，
在這篇報告中，他證明了「中央極限定理」。
- 「中央極限定理」與「大數法則」是隨機理論當中最著名的兩個定理。
延伸閱讀：
- 機會論(The Doctrine of Chances)；棣美弗(Abraham De Moivre)
第八章 混沌中的秩序
- 統計群體中的每個人，雖然各自隨機行動，卻往往顯示出一致而可預料的群體行為，
看起來像是有意識地在追求同一目標。
- 康德：「每個人都是在隨著自己的意向追隨目標，通常與其他人的目標相反；
然而，個體和人群，就像是隨著某個引導的繩索，朝著一個相當自然、
但對每個人卻都屬未知的目標邁進；所有人全都努力去助長這個目標，
即使他們意識到這個目標，也甚少看重。」
- John Graunt和William Petty，後人稱他們為統計學的創始者。
- Petty的研究工作，有時候被認為是古典經濟學的先驅。
- statistics(統計)這個英文名詞，來自德文字statistik，首次出現在<畢費爾德基礎普及教育>
一書1770年的英譯本中：「統計這門科學，教導我們當今世界所有現代國家的政治狀態。」
- 到了1882年，統計這個課題，已經演變成<韋氏大字典>鎖定一
「關於社會狀態、一國國民的情況、他們的健康、壽命、國內經濟、技術、
財產及政治實力、國土等等的大量資訊。」
- 鑑識經濟學
- 預測誤差(forecast error)
- 「叫座」驅策的行業，雖然完全無法預測，遵循的其實是一個完全不同的分布，
在這種分布中，平均數與標準差都沒有意義，因為根本沒有「典型」的表現。
- 機運的作用，在某種程度上也能控制，那就是要藉由不停的嘗試，才能提升成功的機率。
- 達爾文的表弟高騰(Francis Galton)的貢獻：相關係數。
- 皮爾生(Karl Pearson)發明卡方檢定。
早期的統計學家有時候只是畫個圖看看曲線是否鐘形的，以判定是否為常態分布。
可是要如何量化曲線配適的程度？
卡方檢定(chi-square test)，可判定一組數據是否真正符合你所認知的分布。
- 卡方檢定運用廣泛，例如：
--檢驗三種麥片盒子，來決定哪一種較受消費者青睞。
如果沒有哪一種特別受到偏愛，那麼每一種盒子大約會有1/3的消費者選擇。
可實際的結果很少會分布得這麼均勻。運用卡方檢定，我們能夠決定，
勝出的盒子得到較多的選票，是因為消費者的偏愛，還是只是由於機率。
--假設有一藥廠，想試驗兩種用來預防急性器官排斥反應的治療方式，
卡方檢定可以用來決定兩種治療法的差異是否有統計顯著性。
--某家連鎖車租車公司計畫開設新的據點，他們的財務長估計有25%的客人需要小型車，
50%需要中型車，而大型車及其他類型車輛的需求各占12.5%，數據開始產生之後，
卡方檢定可以幫助財務長很快決定，究竟是他原先的估計正確，
還是這個新的據點不同於典型的分店，所以應該改變提供的車種組合。
- 波茲曼、馬克士威受了Quetelet的激發，創立了「統計物理學」。
延伸閱讀：
機率哲學隨筆；拉普拉斯
人類及其官能的發展；Adolphe Quetelet
英國文化史；Henry Tomas Buckle
統計改變了世界
第九章 模式的錯覺，錯覺的模式
- 顯著性檢定(significance test)是費雪(R.A.Fisher)在1920年代發展出來的。
- 顯著水準(significance level)
- 培根：「人的理解方式是，一旦採信了一種看法，就會蒐集所有可確認這種看法的事例，
即使反面的事例很多，也更具分量，仍通常不予理會、甚或拒不接受，以便使他們的看法屹立不搖。」
延伸閱讀：
統計，讓數字說話！
第十章 醉漢走路
- 雖然機遇確實扮演了一定的角色，但有一項成功的因子是可以控制的：
打擊的次數，嘗試的次數，抓住機會的次數。
- 就如IBM的先驅華生所說的：「如果你想成功，就加倍你的失敗率。」
2020年6月16日 星期二
大數據的另一章
大數據的另一章！資料分析3.0時代，靠分析讀懂你的客戶，讓企業贏得競爭優勢
The Analytics Revolution:
How to Improve Your Business By Making Analytics Operational In The Big Data Era
Bill Franks
Part01｜分析革命已經開始
Chapter01 瞭解營運分析
- 國際分析研究所(International Institue for Analytics,IIA)建立的分析3.0框架。
-數據分析2.0：
- 專業分析人員在企業中部是演變為決策層的一員，就是對決策層有著直接的影響力。
專業分析人員不再是完全獨立於業務群體的幕後資源。
-數據分析3.0：
- 長期以來，客戶流失分析已經演進為尋找行為組合的特定模式，
這是因為行為組合比單一行為更具危險性。這一般稱作「路徑分析」(path analysis)。
如果一個客戶線上看到對帳單，首次了解手續費後請求取消手續費。這可能不是一件麻煩事。
但是，如果客戶透過致電客戶服務管道再次要求取消手續費，並且接下來又致電分支機構，
那麼對客戶的忽視就會加大其關閉帳戶的風險。
Part02｜奠定分析基礎
Chapter04 想要預算？先制訂商業計畫
- 關注回報而非成本
最大化關注點：解決的業務問題、價值回報、差異性。
最小化關注點：需要的工具和技術、成本、持續改進。
- 很多企業會進行一個有針對性的概念驗證(proof of comcept,POC)作為第一步，
這是一個不錯的想法，但是別讓範圍有限的概念驗證作為終點。
只解決某個問題的一小部分並不能讓一個商業計畫獲得投資通過，特別是需要大量資金和人力的投資時。
- 展開新的營運分析的第一步不必走得太遠，第一步是要簡單證明這個新想法是有價值的。
一開始你並不需要一個完整的、生產就緒的流程，只要可足夠展示價值就行了，
然後利用累積的經驗去更加有效地設計和建立最終方案。
- 為了具備差異化潛力的分析來制訂商業計畫，而不是僅改善、提升現有的分析流程。
Chapter05 建立分析平台
- 基礎流程或政策問題的一個常見表象，就是它們對所涉及的技術的影響。
在很多案例中，看上去是技術問題，但其實不是。一定要區分開「技術問題是更大問題的表象」
與「技術確實是問題的誘因」兩種不同的情況。
- 資料倉儲學院(TDWI)
- 對大多數企業來說，使分析營運化不是一個技術問題，技術問題僅僅是潛在的政策和文化問題的表象。
- 除非即將到來的一項功能是絕對重要的，否則不要因將來可能出現的技術推延今天的投資決策。
Part03｜分析營運化
Chapter07 資料分析
- CRISP-DM規定了傳統資料探勘過程的基本步驟。
- 另一個常見的模式是SAS研究所的SEMMA模式。
SEMMA代表「sample,explore,modify,modal,and assess」
(資料採樣、資料特徵探索、資料調整、模式研發和模式評價)。
- 在批次分析中用於預測對所有使用者的最佳推薦的演算法。
也可以用於預測對某一個目前正在瀏覽網頁的特定使用者的最佳推薦。
區別在於產生對目前特定使用者推薦的演算法使用的是最新資料。
- 大部分由大公司建立的分析過程都可以總結為兩個原則。
第一個是統計，其中包含了變異數分析(ANOVA)、迴歸分析以及顯著性檢驗。
第二個是預測，其中包含了傳統時間序列預測和投影預測技術。
這兩個分析原則已經無法滿足目前的要求，企業需要精通除統計和預測方法之外的更多分析原則。
像是模擬分析，蒙特卡羅(Monte Carlo)模擬是特別流行的方法。
- 最佳化分析原則也正得到越來越廣泛的使用。長久以來，最佳化都用於定價分析，
而近來其應用範圍得到了拓展。他透過分析變數和限制條件提供可能的最優方案。
蒙特卡羅模擬一一查看和量化各種可能的影響；最佳分析則從中找出最佳方案。
最佳方案通常用於重要變數可控制的情況。在定價分析中是可以控制商品的價格來獲得最優結果的，
而在退休計畫分析中，通膨率則是無法控制的，因此就不能使用這種方法。
- 為了處理資料流，「複雜事件處理原則(Complex Event Processing,CEP)」漸成主流，
CEP原則在資料流傳遞期間分析資料並快速做出決策，其也能夠同時運用大多數其他分析原則。
- 資料探勘、預測分析、人臉辨識演算法、圖形分析演算法、地理空間分析、文字分析、社群網路分析。
- 設計分析時，提出正確的問題比後面的其他工作對結果的影像更大。
- 分析結果往往取決於問題的定義、提問的內容、分析方案的設計，以及該方案一旦確立將為如何實施。與過程中的細節相比，選擇解決哪一個提問對結果的影響更大。
稍不注意，建立的分析可能就回答了錯誤問題的錯誤提問。
- 不可能探索到所有潛在的分析。當錯過了某些東西之後，總是會事後諸葛。
為此，不只記錄為什麼採取某些路徑，也記錄為什麼沒有選擇其他的路徑。
- 探索性分析允許一個寬泛的目標或有限的假說，而驗證性分析從一開始就高度集中並界線分明。
- 典型相關分析或迴歸分析可於確定那些路徑特徵與利息指標最相關。
在這種情況下，非統計學的路徑功能提供了新的資訊，可以用嚴格的統計方式進行分析。
統計方法增加了路徑分析的影響力。
- 提供解決方案，而不是分析說明。重點必須放在透過分析解決問題上。
證明一個過程是可行的，只關注結果而不是直接關注分析。
- 營運分析的發起人和使用者童常不了解或不關心分析，他們只想得到問題的解決方案。
如果不被問到風險，不必談論技術細節。
Chapter08 分析組織
- 資料科學家往往是電腦背景出身，使用Hadoop，用Python或R等語言寫程式。
傳統意義上的專業分析人員多半是統計、數學或運籌學背景，
使用的可能是關係式的分析伺服器環境，語言用的是SAS和SQL。
使用的平台或者語言不同，並不會改變背後的技能與思維方式。
- 認證分析專家(CAP,Certified Analytics Professional)，該認證項目是由美國運籌管理協會
(INFORMS,Institute for Operations Research and the Management Sciences)贊助的。
- 分析完成之後，工作仍在進行。我們還得完成分析結果的行銷和推廣，建構營運過程支撐模式，
這樣才能儘可能大地發揮影響力。
- 專業分析人員是顧問、是導師、是教練，但不是因循守舊者，該表態就表態。
舉止不像專家，別人自然不會以專家視之。
The Analytics Revolution:
How to Improve Your Business By Making Analytics Operational In The Big Data Era
Bill Franks
Part01｜分析革命已經開始
Chapter01 瞭解營運分析
- 國際分析研究所(International Institue for Analytics,IIA)建立的分析3.0框架。
- 專業分析人員在企業中部是演變為決策層的一員，就是對決策層有著直接的影響力。
專業分析人員不再是完全獨立於業務群體的幕後資源。
-數據分析3.0：
- 長期以來，客戶流失分析已經演進為尋找行為組合的特定模式，
這是因為行為組合比單一行為更具危險性。這一般稱作「路徑分析」(path analysis)。
如果一個客戶線上看到對帳單，首次了解手續費後請求取消手續費。這可能不是一件麻煩事。
但是，如果客戶透過致電客戶服務管道再次要求取消手續費，並且接下來又致電分支機構，
那麼對客戶的忽視就會加大其關閉帳戶的風險。
Part02｜奠定分析基礎
Chapter04 想要預算？先制訂商業計畫
- 關注回報而非成本
最大化關注點：解決的業務問題、價值回報、差異性。
最小化關注點：需要的工具和技術、成本、持續改進。
- 很多企業會進行一個有針對性的概念驗證(proof of comcept,POC)作為第一步，
這是一個不錯的想法，但是別讓範圍有限的概念驗證作為終點。
只解決某個問題的一小部分並不能讓一個商業計畫獲得投資通過，特別是需要大量資金和人力的投資時。
一開始你並不需要一個完整的、生產就緒的流程，只要可足夠展示價值就行了，
然後利用累積的經驗去更加有效地設計和建立最終方案。
- 為了具備差異化潛力的分析來制訂商業計畫，而不是僅改善、提升現有的分析流程。
Chapter05 建立分析平台
- 基礎流程或政策問題的一個常見表象，就是它們對所涉及的技術的影響。
在很多案例中，看上去是技術問題，但其實不是。一定要區分開「技術問題是更大問題的表象」
與「技術確實是問題的誘因」兩種不同的情況。
- 資料倉儲學院(TDWI)
- 對大多數企業來說，使分析營運化不是一個技術問題，技術問題僅僅是潛在的政策和文化問題的表象。
- 除非即將到來的一項功能是絕對重要的，否則不要因將來可能出現的技術推延今天的投資決策。
Part03｜分析營運化
Chapter07 資料分析
- CRISP-DM規定了傳統資料探勘過程的基本步驟。
SEMMA代表「sample,explore,modify,modal,and assess」
(資料採樣、資料特徵探索、資料調整、模式研發和模式評價)。
也可以用於預測對某一個目前正在瀏覽網頁的特定使用者的最佳推薦。
區別在於產生對目前特定使用者推薦的演算法使用的是最新資料。
- 大部分由大公司建立的分析過程都可以總結為兩個原則。
第一個是統計，其中包含了變異數分析(ANOVA)、迴歸分析以及顯著性檢驗。
第二個是預測，其中包含了傳統時間序列預測和投影預測技術。
這兩個分析原則已經無法滿足目前的要求，企業需要精通除統計和預測方法之外的更多分析原則。
像是模擬分析，蒙特卡羅(Monte Carlo)模擬是特別流行的方法。
- 最佳化分析原則也正得到越來越廣泛的使用。長久以來，最佳化都用於定價分析，
而近來其應用範圍得到了拓展。他透過分析變數和限制條件提供可能的最優方案。
蒙特卡羅模擬一一查看和量化各種可能的影響；最佳分析則從中找出最佳方案。
最佳方案通常用於重要變數可控制的情況。在定價分析中是可以控制商品的價格來獲得最優結果的，
而在退休計畫分析中，通膨率則是無法控制的，因此就不能使用這種方法。
- 為了處理資料流，「複雜事件處理原則(Complex Event Processing,CEP)」漸成主流，
CEP原則在資料流傳遞期間分析資料並快速做出決策，其也能夠同時運用大多數其他分析原則。
- 資料探勘、預測分析、人臉辨識演算法、圖形分析演算法、地理空間分析、文字分析、社群網路分析。
- 分析結果往往取決於問題的定義、提問的內容、分析方案的設計，以及該方案一旦確立將為如何實施。與過程中的細節相比，選擇解決哪一個提問對結果的影響更大。
稍不注意，建立的分析可能就回答了錯誤問題的錯誤提問。
- 不可能探索到所有潛在的分析。當錯過了某些東西之後，總是會事後諸葛。
為此，不只記錄為什麼採取某些路徑，也記錄為什麼沒有選擇其他的路徑。
- 探索性分析允許一個寬泛的目標或有限的假說，而驗證性分析從一開始就高度集中並界線分明。
- 典型相關分析或迴歸分析可於確定那些路徑特徵與利息指標最相關。
在這種情況下，非統計學的路徑功能提供了新的資訊，可以用嚴格的統計方式進行分析。
統計方法增加了路徑分析的影響力。
- 提供解決方案，而不是分析說明。重點必須放在透過分析解決問題上。
證明一個過程是可行的，只關注結果而不是直接關注分析。
- 營運分析的發起人和使用者童常不了解或不關心分析，他們只想得到問題的解決方案。
如果不被問到風險，不必談論技術細節。
Chapter08 分析組織
- 資料科學家往往是電腦背景出身，使用Hadoop，用Python或R等語言寫程式。
傳統意義上的專業分析人員多半是統計、數學或運籌學背景，
使用的可能是關係式的分析伺服器環境，語言用的是SAS和SQL。
使用的平台或者語言不同，並不會改變背後的技能與思維方式。
- 認證分析專家(CAP,Certified Analytics Professional)，該認證項目是由美國運籌管理協會
(INFORMS,Institute for Operations Research and the Management Sciences)贊助的。
- 分析完成之後，工作仍在進行。我們還得完成分析結果的行銷和推廣，建構營運過程支撐模式，
這樣才能儘可能大地發揮影響力。
- 專業分析人員是顧問、是導師、是教練，但不是因循守舊者，該表態就表態。
舉止不像專家，別人自然不會以專家視之。
2020年5月31日 星期日
文科生也看得懂的工作用統計學
文科生也看得懂的工作用統計學
第一章 欲速則速！一口氣讀完統計學！
- 統計學可大致分成敘述統計學、推論統計學、貝氏統計學三大類。
還有一種多變量分析，用於處理兩個以上的變量。
- 傳統統計(頻率論)用於可預測發生頻率的事例。
反過來說，當資料很少甚或原本就沒有資料時，就很難預估。
相對地，貝氏統計學就算樣本資料很少，也可以估計，說得極端一點，
連一次都不曾發生過的事件，都可以估計其發生機率，這就是貝氏統計的特徵。
- 貝氏統計學的另一優點，就在於有新資料增加時，推論的機率也會隨之改變(精度更高)。
這個優點稱為貝氏修正。
第四章 體驗常態分配
- 樣本平均數的分配已知特徵
1.樣本平均數的分配的平均數和母體平均數一致。
2.樣本平均數的分配的變異數為σ^2/n(σ為母體標準差)
3.不論母體分配為何，樣本數越大，「樣本平均數的分配」越趨近常態分配。
第一章 欲速則速！一口氣讀完統計學！
- 統計學可大致分成敘述統計學、推論統計學、貝氏統計學三大類。
還有一種多變量分析，用於處理兩個以上的變量。
反過來說，當資料很少甚或原本就沒有資料時，就很難預估。
相對地，貝氏統計學就算樣本資料很少，也可以估計，說得極端一點，
連一次都不曾發生過的事件，都可以估計其發生機率，這就是貝氏統計的特徵。
- 貝氏統計學的另一優點，就在於有新資料增加時，推論的機率也會隨之改變(精度更高)。
這個優點稱為貝氏修正。
第四章 體驗常態分配
- 樣本平均數的分配已知特徵
1.樣本平均數的分配的平均數和母體平均數一致。
2.樣本平均數的分配的變異數為σ^2/n(σ為母體標準差)
3.不論母體分配為何，樣本數越大，「樣本平均數的分配」越趨近常態分配。
2020年5月25日 星期一
擺脫挫折的統計學入門
擺脫挫折的統計學入門
第二部 統計學基礎篇
第八章 相關、迴歸、決定係數
8.2 迴歸分析
- 藉由迴歸分析可以瞭解某個變量會如何影響另一個變量。
- 由x決定y的關係，在統計學中稱作「以x解釋y」，x稱作解釋變數，y稱作被解釋變數，
而這種關係稱作y對x做迴歸。
8.3 決定係數：可以決定什麼呢？
- 殘差是實際值與迴歸直線上之估計值的落差。
- 相關係數的平方，也稱作決定係數。決定係數=1時，相關係數為正負1，是最強的相關關係，
散佈圖上的所有點都排列在同一條直線上，殘差為0。
- (1-決定係數)是以比值的形式表示「將迴歸直線模型納入考慮時，以估計值yi為中心之殘差的
分散程度」比「未將迴歸直線模型納入考慮時，原始y的分散程度」小多少。
故決定細數本身可用來表示在套用迴歸模型後，分散程度縮小的程度。
- 舉例來說，若(1-決定係數)為0.2，就表示將模型納入考慮時之殘差分散程度，
是為將模型納入考慮時之原始y分散程度的20%。此時的決定係數為0.8，故在代入模型之後，
可減少80%的分散程度。在統計學中，我們會說「這個迴歸直線模型可解釋80%的y變異數」。
也又是說，y之所以會出現變異，80%的原因是「來自於這條直線」。
- 當決定係數=1，也就是散佈圖上的點完全位於一條直線上時，這條直線可減少100%的變異數，
殘差=0，即資料的分散情形100%可由線性單迴歸解釋。
- 上圖中，(a)是相關係數為0.5時的散佈圖，(b)是相關係數為0.7時的散佈圖。
如圖所示，相關係數為0.5時，根本稱不上是中等程度的相關，而是幾乎找不到相關係數。
這是因為當相關係數=0.5時，決定係數=0.25。也就是說套入迴歸直線這個模型後所減少的變異數，
或者說模型可解釋的變異數只佔了25%，原始y的變異數還有75%仍殘留在迴歸直線的殘差中。
而當相關係數為0.7時，決定係數為其平方，也就是0.49，大約等於0.5，
故其回歸直線可解釋約一半的變異數。如圖所示，相關係數為0.7時，
比較接近所謂「中等程度的正相關」的概念。
第十章 隨機變數與機率分配模型
10.1 隨機變數的概念
- 資料的平均 = (組別值x相對次數)的總和
- 資料的變異數 = [(組別值-平均)^2 x 相對次數]的總和
10.2 機率分配模型與常態分配、中央極限定理
10.2.2 常態分配模型與中央極限定理
- 中央極限定理的意思就是「若某個隨機變數是無數個彼此獨立之隨機變數的平均，
那麼這個隨機變數所服從的機率分布，就會是一個常態分佈」。
10.2.3 常態分配模型的性質
- 上圖左方的直方圖中，灰色部分的長條面積表示隨機變數的數值落在「某個範圍」內的機率。
當把組距切得非常小，使值方圖看不到一個個長條時，灰色部分得面積仍代表同樣的機率。
這種看不到長條得直方圖所表示的機率分布，稱作「連續型機率分布」，
而直方圖的每個長條上緣連起來的曲線，則稱作「機率密度函數」。
- 常態分布有以下這個很重要的性質：若隨機變數X服從期望值為μ，
變異數為σ^2的常態分配N(μ,σ^2)，那麼隨機變數X-μ/σ服從常態分布N(0,1)。
- 如上圖，所謂的隨機變數X-μ/σ，是將隨機變數X的每一個可能數值接減去μ再除以σ後，
得到的一個新的隨機變數。要注意的是，若隨機變數的期望值為μ，變異值為σ^2，
那麼，就算原本的隨機變數X不是常態分布，X-μ/σ的期望值也會是0，變異數也會是1。
- 常態分布的性質1：若隨機變數X服從常態分布，那麼，轉換後的隨機變數X-μ/σ會服從期望值為0，
變異數為1的常態分布。
- 期望值為0，變異數為1的常態分布，也就是N(0,1)也稱作標準常態分布。
第三部 統計學進階篇
第十二章 區間估計與檢定
12.1 區間估計
12.1.1 什麼是區間估計
- 常態分配的性質2：從服從常態分布N(μ,σ^2)之母體隨機抽出樣本X1,...,Xn，
則樣本平均會服從常態分布N(μ,σ^2/n)。
- 常態分布的這個性值一般稱作「機率分布的再現性」。
更為基本的描述是「當彼此獨立的兩個隨機變數皆服從常態分布時，
這兩個隨機變數的和也會服從常態分布」。
12.1.2 常態分配與區間估計
- 不偏變異數是經過調整，使其期望值與母體變異數相等的變異數。
「不偏」就是「沒有偏離」的意思。隨然不偏變異數有時會比母體變異數大，
有時會比母體變異數小，但較大和較小的機會是「平等」的。
不會發生每次算出的不偏變異數都比母體變異數大，或都比母體變異數小之類的事。
12.2 不偏變異數、t分配與區間估計
12.2.2 t分配與區間估計
- t統計量會服從的機率分配並不是標準常態分布，而是自由度為n-1的t分配(Student's t 分配)，
可寫作t(n-1)。t分布的機率密度函數與標準常態分布相當相似，
圖形以t=0為中心左右對稱。
12.3 檢定是「在某條件下的審判」
- 型二錯誤：虛無假說實際上是錯的，實驗者卻在計算抽樣資料之後，得到「不拒絕」虛無假說的結論。型二錯誤又稱為「固步自封的錯誤」。
型二錯誤的機率有時會以β來表示。
- 即使虛無假說為真，當我們在顯著水準為5%的情況下進行多次假說檢定時，
會有5%的檢定犯下型一錯誤，拒絕了不應拒絕的虛無假說，接受了不應接受的對立假說。
型一錯誤又被稱為「杞人憂天的錯誤」。型一錯誤(=顯著水準)有時會以α來表示。
第二部 統計學基礎篇
第八章 相關、迴歸、決定係數
8.2 迴歸分析
- 藉由迴歸分析可以瞭解某個變量會如何影響另一個變量。
- 由x決定y的關係，在統計學中稱作「以x解釋y」，x稱作解釋變數，y稱作被解釋變數，
而這種關係稱作y對x做迴歸。
8.3 決定係數：可以決定什麼呢？
- 殘差是實際值與迴歸直線上之估計值的落差。
散佈圖上的所有點都排列在同一條直線上，殘差為0。
分散程度」比「未將迴歸直線模型納入考慮時，原始y的分散程度」小多少。
故決定細數本身可用來表示在套用迴歸模型後，分散程度縮小的程度。
- 舉例來說，若(1-決定係數)為0.2，就表示將模型納入考慮時之殘差分散程度，
是為將模型納入考慮時之原始y分散程度的20%。此時的決定係數為0.8，故在代入模型之後，
可減少80%的分散程度。在統計學中，我們會說「這個迴歸直線模型可解釋80%的y變異數」。
也又是說，y之所以會出現變異，80%的原因是「來自於這條直線」。
- 當決定係數=1，也就是散佈圖上的點完全位於一條直線上時，這條直線可減少100%的變異數，
殘差=0，即資料的分散情形100%可由線性單迴歸解釋。
如圖所示，相關係數為0.5時，根本稱不上是中等程度的相關，而是幾乎找不到相關係數。
這是因為當相關係數=0.5時，決定係數=0.25。也就是說套入迴歸直線這個模型後所減少的變異數，
或者說模型可解釋的變異數只佔了25%，原始y的變異數還有75%仍殘留在迴歸直線的殘差中。
而當相關係數為0.7時，決定係數為其平方，也就是0.49，大約等於0.5，
故其回歸直線可解釋約一半的變異數。如圖所示，相關係數為0.7時，
比較接近所謂「中等程度的正相關」的概念。
第十章 隨機變數與機率分配模型
10.1 隨機變數的概念
- 資料的變異數 = [(組別值-平均)^2 x 相對次數]的總和
10.2 機率分配模型與常態分配、中央極限定理
10.2.2 常態分配模型與中央極限定理
- 中央極限定理的意思就是「若某個隨機變數是無數個彼此獨立之隨機變數的平均，
那麼這個隨機變數所服從的機率分布，就會是一個常態分佈」。
10.2.3 常態分配模型的性質
當把組距切得非常小，使值方圖看不到一個個長條時，灰色部分得面積仍代表同樣的機率。
這種看不到長條得直方圖所表示的機率分布，稱作「連續型機率分布」，
而直方圖的每個長條上緣連起來的曲線，則稱作「機率密度函數」。
- 常態分布有以下這個很重要的性質：若隨機變數X服從期望值為μ，
變異數為σ^2的常態分配N(μ,σ^2)，那麼隨機變數X-μ/σ服從常態分布N(0,1)。
得到的一個新的隨機變數。要注意的是，若隨機變數的期望值為μ，變異值為σ^2，
那麼，就算原本的隨機變數X不是常態分布，X-μ/σ的期望值也會是0，變異數也會是1。
- 常態分布的性質1：若隨機變數X服從常態分布，那麼，轉換後的隨機變數X-μ/σ會服從期望值為0，
變異數為1的常態分布。
- 期望值為0，變異數為1的常態分布，也就是N(0,1)也稱作標準常態分布。
第三部 統計學進階篇
第十二章 區間估計與檢定
12.1 區間估計
12.1.1 什麼是區間估計
- 常態分配的性質2：從服從常態分布N(μ,σ^2)之母體隨機抽出樣本X1,...,Xn，
則樣本平均會服從常態分布N(μ,σ^2/n)。
- 常態分布的這個性值一般稱作「機率分布的再現性」。
更為基本的描述是「當彼此獨立的兩個隨機變數皆服從常態分布時，
這兩個隨機變數的和也會服從常態分布」。
12.1.2 常態分配與區間估計
- 不偏變異數是經過調整，使其期望值與母體變異數相等的變異數。
「不偏」就是「沒有偏離」的意思。隨然不偏變異數有時會比母體變異數大，
有時會比母體變異數小，但較大和較小的機會是「平等」的。
不會發生每次算出的不偏變異數都比母體變異數大，或都比母體變異數小之類的事。
12.2 不偏變異數、t分配與區間估計
12.2.2 t分配與區間估計
- t統計量會服從的機率分配並不是標準常態分布，而是自由度為n-1的t分配(Student's t 分配)，
可寫作t(n-1)。t分布的機率密度函數與標準常態分布相當相似，
圖形以t=0為中心左右對稱。
- 型二錯誤：虛無假說實際上是錯的，實驗者卻在計算抽樣資料之後，得到「不拒絕」虛無假說的結論。型二錯誤又稱為「固步自封的錯誤」。
型二錯誤的機率有時會以β來表示。
- 即使虛無假說為真，當我們在顯著水準為5%的情況下進行多次假說檢定時，
會有5%的檢定犯下型一錯誤，拒絕了不應拒絕的虛無假說，接受了不應接受的對立假說。
型一錯誤又被稱為「杞人憂天的錯誤」。型一錯誤(=顯著水準)有時會以α來表示。
2020年5月12日 星期二
世界第一簡單統計學(因素分析篇)
世界第一簡單統計學(因素分析篇)
第1章 問卷的基礎知識
- 隨機抽樣法：單純隨機抽樣法、分層隨機抽樣法、兩段隨機抽樣法、分層兩段隨機抽樣法。
- 非隨機抽樣法：介紹法、應徵法、街頭訪問。
- 數據分析的方法：探索型數據分析、驗證型數據分析。
第4章 主成份分析
- 主成份分析的過程
Step1.求主成份和主成份得分
Step2.確認分析結果的精確度
-- 可以利用「累計貢獻率」判斷主成份分析的結果好不好。
-- 第i主成份的貢獻率大致代表「該主成份涵蓋了多少分析數據所含的資訊」。
Step3.研究分析結果
第5章 因素分析
- 因素分析的注意事項
1.主成份分析的每個主成份有這些意義：第一主成份代表綜合能力。
其他主成份和分析者的意圖無關，是(以數學規則)自動求得的數值。
；而因素分析的共同因素並沒有這些既定的意義。
總之先分析，分析者「事後」才「主觀地」解釋每個共同因素的意義。
2.主成份分析有「第一主成份」和「其他主成份」的順序；
因素分析不一樣，每個共通因素都是平等的。
3.麻煩的是分析者必須在分析「之前」設定共同因素的各數，才能進行因素分析的計算。
6.其他因素也稱為獨特因素
7.計算因素分析時，通常針對每個變數把分析的數據標準化之後才計算。
8.以算式和簡圖表示因素分析的結構。
10.因素分析並不是為了找出共同因素的分析方法。而是確認「因素負荷量」數值的分析方法。
- 因素分析的步驟如下：
Step1.求旋轉前的因素負荷量
-- 因素負荷量有很多種計算方法，例如「主因素法」和
「最大概似估計法」(Maximum likelihood estimation,MLE)
-- 假設「任意共同因素之間的單相關係數為0」這種想法稱為「直交因素模型」(orthogonal)。
不採取這種假設的想法稱為「斜交因素模型」(oblique)。
-- 以往基於「比較容易計算」，通常採取直交因素模型，不過，現在因為：
電腦性能提升、就常理判斷，「任意共同因素之間的單相關係數為0」
這種直交因素模型的假設並無法實現。分析時慢慢改用斜交因素模型。
Step2.求旋轉後的因素負荷量
-- 旋轉有很多種，大致可以分為「直交旋轉」和「斜交旋轉」。
直交旋轉：
最大變異轉軸法(Varimax)有兩種分別是「原始最大變異轉軸法」(Varimax raw)、
「標準化最大變異轉軸法」(Varimax normalized)
四次方最大值法(Quartimax)
雙重四次方最大值(Biquartimax)
斜交旋轉：
Promax轉軸法
四次方最小值法(Quartimin)
雙重四次方最小值(Biquartimin)
共變數最小法(Covarimin)
Step3.解釋每個共同因素的意義
Step4.確定分析結果的準確度
Step5.求因素得分，掌握每個個體的特徵
- 最大概似估計法，因素負荷量著名計算除了之前介紹的主因素法之外，還有最大概似估計法。
- Promax轉軸法步驟如下：
Step1.以最大變異轉軸法旋轉
Step2.猜測「根據以往的經驗，母群體一定是這個模樣」，也就是推測
「真正的因素負荷量矩陣」，這個矩陣通常為目標矩陣。
Step3.轉軸(1)的軸，盡量接近(2)推測的目標矩陣
- 時代的潮流已經由「主因素法+最大變異轉軸法」轉向「最大概似估計法+Promax轉軸法」。
- 主因素法和最大概似估計法不同，沒有「母群體必須符合多變量常態分析」這麼嚴格的限制
附錄 各種分析方法
- 多變量分析：重迴歸分析、Logistic迴歸分析、群落分析、對應分析與數量化三類、
結構方程式模型(Structural Equation Modeling,SEM)
- 其他﹕統計的假設檢定：
母平均差的檢定(也就是「t檢定」)
例如：推測「東京男性上班族每個月零用錢的平均金額」和
「大阪男性上班族每個月零用錢的平均金額」是否相同
、獨立性檢定(也就是「卡方檢定」)
例如：推測母群體的「學校」和「最喜歡的藝人」的Cramer關聯係數是否為0，
也就是彼此是否相關。、母比率差的檢定、母變異數比的檢定、Wilcoxon檢定
、Kaplan-Meier分析法：是推算存活率的方法。
第1章 問卷的基礎知識
- 隨機抽樣法：單純隨機抽樣法、分層隨機抽樣法、兩段隨機抽樣法、分層兩段隨機抽樣法。
- 非隨機抽樣法：介紹法、應徵法、街頭訪問。
- 數據分析的方法：探索型數據分析、驗證型數據分析。
第4章 主成份分析
- 主成份分析的過程
Step1.求主成份和主成份得分
Step2.確認分析結果的精確度
-- 可以利用「累計貢獻率」判斷主成份分析的結果好不好。
-- 第i主成份的貢獻率大致代表「該主成份涵蓋了多少分析數據所含的資訊」。
Step3.研究分析結果
第5章 因素分析
1.主成份分析的每個主成份有這些意義：第一主成份代表綜合能力。
其他主成份和分析者的意圖無關，是(以數學規則)自動求得的數值。
；而因素分析的共同因素並沒有這些既定的意義。
總之先分析，分析者「事後」才「主觀地」解釋每個共同因素的意義。
2.主成份分析有「第一主成份」和「其他主成份」的順序；
因素分析不一樣，每個共通因素都是平等的。
3.麻煩的是分析者必須在分析「之前」設定共同因素的各數，才能進行因素分析的計算。
6.其他因素也稱為獨特因素
8.以算式和簡圖表示因素分析的結構。
- 因素分析的步驟如下：
Step1.求旋轉前的因素負荷量
-- 因素負荷量有很多種計算方法，例如「主因素法」和
「最大概似估計法」(Maximum likelihood estimation,MLE)
-- 假設「任意共同因素之間的單相關係數為0」這種想法稱為「直交因素模型」(orthogonal)。
不採取這種假設的想法稱為「斜交因素模型」(oblique)。
-- 以往基於「比較容易計算」，通常採取直交因素模型，不過，現在因為：
電腦性能提升、就常理判斷，「任意共同因素之間的單相關係數為0」
這種直交因素模型的假設並無法實現。分析時慢慢改用斜交因素模型。
Step2.求旋轉後的因素負荷量
-- 旋轉有很多種，大致可以分為「直交旋轉」和「斜交旋轉」。
直交旋轉：
最大變異轉軸法(Varimax)有兩種分別是「原始最大變異轉軸法」(Varimax raw)、
「標準化最大變異轉軸法」(Varimax normalized)
四次方最大值法(Quartimax)
雙重四次方最大值(Biquartimax)
斜交旋轉：
Promax轉軸法
四次方最小值法(Quartimin)
雙重四次方最小值(Biquartimin)
共變數最小法(Covarimin)
Step3.解釋每個共同因素的意義
Step4.確定分析結果的準確度
Step5.求因素得分，掌握每個個體的特徵
- 最大概似估計法，因素負荷量著名計算除了之前介紹的主因素法之外，還有最大概似估計法。
- Promax轉軸法步驟如下：
Step1.以最大變異轉軸法旋轉
Step2.猜測「根據以往的經驗，母群體一定是這個模樣」，也就是推測
「真正的因素負荷量矩陣」，這個矩陣通常為目標矩陣。
Step3.轉軸(1)的軸，盡量接近(2)推測的目標矩陣
- 時代的潮流已經由「主因素法+最大變異轉軸法」轉向「最大概似估計法+Promax轉軸法」。
- 主因素法和最大概似估計法不同，沒有「母群體必須符合多變量常態分析」這麼嚴格的限制
附錄 各種分析方法
- 多變量分析：重迴歸分析、Logistic迴歸分析、群落分析、對應分析與數量化三類、
結構方程式模型(Structural Equation Modeling,SEM)
- 其他﹕統計的假設檢定：
母平均差的檢定(也就是「t檢定」)
例如：推測「東京男性上班族每個月零用錢的平均金額」和
「大阪男性上班族每個月零用錢的平均金額」是否相同
、獨立性檢定(也就是「卡方檢定」)
例如：推測母群體的「學校」和「最喜歡的藝人」的Cramer關聯係數是否為0，
也就是彼此是否相關。、母比率差的檢定、母變異數比的檢定、Wilcoxon檢定
、Kaplan-Meier分析法：是推算存活率的方法。
2020年4月25日 星期六
大數據預測行銷：翻轉品牌X會員經營X精準行銷
大數據預測行銷：翻轉品牌X會員經營X精準行銷
2019/07/09
I. 大數據X大真相
- 大數據是一門跨領域的知識，涵蓋了資訊科學、統計演算以及商業實務。
- 大數據軟體：KNIME,Weka,Power BI,Tableau,SPSS,SAS,Statistica,Excel...。
- 在大數據投資的目的上，B2B的企業如製造業，著重在應用大數據分析改善流程、降低生產成本；
B2C的企業如零售業，著重在應用大數據預測行銷，增加銷售，提升利潤。
II. 大數據X大平台品牌策略
- 大數據時代顛覆企業經營
- 經營內容品牌PRRO取代AIDA。
過去，經營實體品牌，有個由美國廣告先驅Elias St.Elmo Lewis最早所提出、也是最經典的，
幾乎是所有行銷人都能朗朗上口的行銷觀念：A-I-D-A，
即要達成行銷目標，首先要建立品牌知名度(Awareness)，沒有知名度一切免談；
其次要引起消費者對品牌產生興趣(Interest)及對產品產生購買渴望(Desire)；
完成以上三項任務，就有可能讓消費採取購買行動(Action)。
- 大數據時代大眾媒體不再那麼有效，卻給了我們一個新的機會，應用分散式信任的機制來建立品牌。
即以PRRO來取代傳統的AIDA，成為經營品牌的新法則。
PRRO就是Platform(平台),Review(評價),Reliance(信賴),Order(購買)。
Platform：首先，你必須找出最多人用、最有影響力的幾個平台品牌，然後依附在上面。
Review：接著，認真經營品牌在這些平台上的評價。
Reliance：鎖定平台後，再透過各種服務及行銷方法，提升顧客的評價。
Order：當信賴度越高的時候，就會為品牌帶來大量的訂單。
- 定位大師AI Ries：「如果網路是一門生意，但是你同時把品牌名放在實體店及網路，
將是一個嚴重的錯誤。」
III. 大數據X大平台行銷策略
- 人機介面研究教授Larry Constantine提出，好的UI需要滿足六個原則：即
結構原則、簡單原則、視覺原則、回饋原則、容錯原則及再用原則。
作者再補充兩個品牌行銷的觀點，就是UI的設計也要考慮美觀原則及定位原則。
--結構原則：就是UI的結構要清晰，同類、同層次的東西要放在一起，是平台或APP的生命。
- 好的UI決定了完美的UX(消費體驗)、完美的UX決定了消費者的黏著度，
也就決定了交易的轉換率(Conversion Rate)，決定了平台的成敗。
- 平台品牌的行銷策略：供給面策略、需求面策略。
- 平台的供給面行銷策略：
1.影響者策略(Influencer Strategy)
2.MGM策略(Member-Get-Member Strategy)
3.事件策略(Event Strategy)
4.獎勵策略(Incentive Strategy)
5.附加價值策略(Value-Added Strategy)
6.意見領袖策略(Opinion Leader Strategy)
7.延伸策略(Extension Strategy)
- 平台需求面策略：
1.影響者策略(Influencer Strategy)
2.MGM策略(Member-Get-Member Strategy)
3.事件策略(Event Strategy)
4.回饋策略(Reward Strategy)
5.異業合作策略(Co-op Strategy)
6.蠶食鯨吞策略(Encroachment Strategy)
7.免費試用策略(Free Trial Strategy)
IV. 大數據X預測行銷
- 商業分析6步驟：TASSS$
(Task-Analysis-StrategicViewpoint-Strategic Option-Schedule-Budget)
Step1. Task 課題：報告中所有的分析跟結論，都要圍繞著「課題」。
如果能塑造吸睛的題目，就能提高讀者的興趣，用問句破題也是一個被證明有效的方法。
例如「銀行分行坪效分析」、「國際品牌策略」，
就不比「如何提高銀行分行的坪效？」、「如何打造一個國際品牌？」有吸引力。
Step2. Analysis 分析：資料到處都有，但要寫出一份聚焦的報告，分析的範圍，
就要僅限跟課題有關的資料。要用哪些工具做分析呢？作者偏好使用
STEP、競-消-我、以及SWOT三種分析。
--STEP分析對象是環境面。指的是從社會(Society)、科技(Technology)、
經濟(Economy)與政治(Politics)四個角度來分析。
--「競-消-我」分析就是「競爭者-消費者-自我」分析，對象是產業面。
要思考「誰跟我競爭？」、「消費者怎麼看？」、「我們有什麼優勢？」
這三個問題，正好構成一個金三角。
--SWOT分析，對象是企業面，SWOT分別代表Strength優勢、Weakness弱點、
Opportunity機會、Threat威脅。
Step3.Strategic Viewpoint 策略性觀點
Step4.Strategic Option 策略性方案
Step5.Schedule 執行時間表
Step6.Budget 預算
- 做分析要多琢磨策略性觀點與策略性方案。大數據決策，指的正是看了數據之後產生觀點；
或有了觀點之後，再找數據佐證。
- 觀點能驅動數據，即Insight drives big data，沒有觀點，大數據分析就沒有意義了。
- 預測分析6步驟TAMEDI：建立精準模型
Step1.Task 課題：與商業分析最大的不同是，預測分析的課題，是解決「一個個人」的問題。
例如：「如何提高每一個顧客的貢獻率？」、「如何喚醒每一個沉睡中的客人？」
Step2.Analysis 分析
Step3.Modeling 建立模型
Step4.Evaluation 評估
Step5.Devloyment 導入
Step6.Interpretation & Insight 解讀與洞察
- 商業分析，行銷主管該關心的9個議題
1.我的目標對象是誰？
2.各品牌的消費對象有何不同？
3.消費者購買了什麼產品？
4.消費者對產品的滿意度如何？
5.消費者都接觸什麼媒體？
6.什麼通路的銷售最好？
7.什麼促銷活動最有效？
8.品牌是否已經老化？
9.新舊客人的比率有何變化？
- 預測分析，行銷主管關心9種個人行為
1.誰會點擊？(Who will click？)
--要觀察顧客在網路上的行為，有5個重要指標：流量、曝光量、點擊率、參與率與轉換率。
2.誰會買？(Who will buy？)
--點擊的人很多，但誰才是最後購買產品的人？這就是轉換率。
企業花錢行銷，最後關心的也是這個。
3.誰會進入「沉睡」？(Who will lapse？)
4.誰會詐騙？(Who will lie？)
5.誰會掛掉？(Who will die？)
6.誰會是恐怖份子？(Who will commit crime？)
7.什麼時候買？(When will he/she buy？)
8.買什麼？(What will he/she buy？)
9.花了多少錢？(How much？)
* 商業分析演算法，就能解決80%工作難題，五種商業分析方法：
1.整體分析(Aggregate Analysis)。
可用來分析某個市場、品牌或產品的族群結構、產品結構或行銷組合等。
2.相關分析(Correlation Analysis)。
就是分析兩個或多個事件之關係，目的是希望找到其中一個事件對另一個事件的影響。
例如：「網路廣告量的多寡，是否與銷售有直接關係？」、
「上網時間的長短，是否會影響產品銷售的轉換率？」
3.規模分析(Sizing Estimation)
4.趨勢分析(Trend Analysis)是指一段時間內的總量發展趨勢，又可分為
縱斷面(Longitudinal Study)與橫斷面分析(Cross-Sectional Study)。
例如：分析Facebook年齡結構的改變，發現10年來，年輕人的比率有減少的趨勢，則可判斷為品牌老化的徵兆。這是時間數列分析，也較縱斷面分析。又例如，第一季的廣告營收與去年同期相較，增加了20%，表示出現強勁的成長。同期比較的好處，是能克服季節性的影響，這種分析方法叫作橫斷面分析。
5.指數分析(Index Analysis)是以指數大小，判斷哪一個市場/品牌/產品較為突出。
以母體平均數作為分母，個別項目作為分子，會得到三個可能數字：大於、小於、等於100。
例如：以總體人口的各年齡級距，除A品牌對應的年齡層級距，乘以100，
就可以得到三個大於、小於或等於100的數字，而我們關心的是指數大於105及小於95的級距。
當指數小於95，代表A品牌的目標對象在該年齡層相對少；
大於105，則代表目標對象在該年齡層相對多。
* 預測分析演算法，創造另外80%的價值，七個演算法：
1. 迴歸分析(Regression Analysis)：這是最常用到的統計演算法，主要是用已知的一件事
(自變數)來預測另一件事(因變數)，稱為簡單迴歸；也可以是已知的兩件事來預測另一件事，
稱為複迴歸。例如根據衛生紙及面紙的購買數量，預測家裡可能居住的人口數，
用來決定可以推薦個人產品或家庭常用品。
2. 邏輯迴歸(Logistic Regression)：主要是處理「是」與「非」、「YES」與「NO」的問題。
例如預測一筆交易是否可能為盜刷？
一名顧客是否會逾期繳息？一個人是否可能得癌症？
工作中我們需要多做很多這一類0與1的決策，而邏輯迴歸提供了這樣的科學依據。
3.k-均值分群(k-mean Cluster)：簡單說，就是將手中的資料根據某種方式分群，
同一群內的資料同值性高，不同群之間的差異大。
例如消費者生活型態的調查，同一區域的消費者，可以根據不同的活動、興趣及意見，
區分成不同的族群，而有所謂的「個體創業族」、「小確性逍遙族」等，
針對不同的族群可以採取不同的訴求及策略。
4.時間數列(Time Series)：是按照時間收集及排列某個時間的數據，透過分析時間數列所反映出來
的發展過程、方向和趨勢，藉以預測下一個時點可能出現的事件。
例如收集及排列歷年的GNP、公司銷售數字，藉以預測下一階段的經濟成長及企業銷售。
5.決策樹(Decision Tree)：顧名思義，這個方法將資料集中的變量由上而下分解，建立一個預測模型，
而這個模型長得像棵樹形圖，然後透過這樹形圖的流向來預測一個人的行為。
6.關聯法則(Association Rule)：這是大數據預測的熱名應用，方法是尋找一個事件與另一個事件出現的
依賴性(例如爸爸下班買紙尿褲，就會順便把啤酒買回家)，
如果有關係，就可以用一個事件的出現來預測另一個事件也可能會發生。
關聯法則的演算法包括AIS,SETM及Apriori等，而Apriori是被廣泛應用的演算法，
它透過機器學習的原理，學習交易資料之間的關係，適合應用於大量資料的分析，
從而建構出一個預測模型。
- 關聯法則，可以應用於購物籃分析決策(Market Basket Analysis)。
購物籃分析，目的是在探究貨架上產品是如何被消費者購買，產品與產品之間被拿取有什麼關係。
如果掌握到它們之間的關係，比如買A產品的顧客也會買B產品，就可以將這兩個產品擺在一起
(這是超市的決策)；買A產品的顧客，就推薦他買B產品(這是電商的決策)；
為了賣A產品，提供B產品優惠(這是促銷決策)。
- 到了2010年代，加拿大多倫多大學的Geoffrey Hinton教授，克服了人工神經網路反向傳播優化
(找出最小值)的問題，為機器學習重新換上了「深度學習」的名字及應用了深度神經網路演算法。
深度神經網路演算法，是由輸入和輸出之間的許多「中間隱藏層」組成，演算法學習這些中間層的特徵。
* 大數據分析，從資料清理開始
第一個挑戰：沒有資料(No Data)
第二個挑戰：過時的資料(Out-of-date Data)
第三個挑戰：不完整的資料(Imcomplete Data)
第四個挑戰：遺失的資料(Missing Data)
第五個挑戰：稀少的資料(Sparse Data)
第六個挑戰：不精確的資料(Inaccurate Data)：最常發生的狀況，就是用不同的衡量方法，
提供不一樣的資料。
- 大數據並非「數大就是美」，應該是「不怕少，怕不好」。
如果用在預測分析，例如透過機器學習建立大數據預測模型，資料是多多益善。
但是如果是大數據用在商業分析，2千筆的顧客或者銷售資料，
絕對比20萬筆沒有經過清理的資料來得有用。
例如：應用2千筆有效的會員資料，去做新會員推廣，轉換率絕對高於20萬筆，而且成本更低。
- 大數據要發揮價值，有兩個面向。
第一個，從資料分析中，看出問題，這個面向適合善於分析資料得大數據專家。
第二個，從實務中發現問題、大膽假設，再透過大數據找答案，這個面向具有實務經驗的專家，比較容易做到。
- 大數據預測科學就是predicting something for an individual case.
* 預測行銷，6個KPI檢視成效：
4個預測指標(Predictive Indicator)，包括Traffic(流量)、Impression(曝光量)、
Engagement(參與數)、Conversion(轉換數)；以及兩個財務指標(Financial Indicator)，
包括CPA(Cost Per Action，每一互動成本)、OPI(Operating Profit Index，毛利指數)。
1.Traffic 流量：就是消費者可能接觸到你的品牌訊息的潛在最大數量；
但是事實上，不會這麼理想。不過，這個指標讓你知道，品牌的打擊面夠不夠廣，
是1萬人、10萬人，或者100萬人，也牽涉到行銷的成本，以及你對市場的企圖心。
2.Impression曝光量：曝光在品牌訊息的不重複人數流量，就是Impression。
所以，如果你推播訊息給100萬個消費者或100萬封email給顧客，
實際上有看到這則訊息的人可能只有40萬人，這時你的Impression是40萬，Impression Rate則是40%。
Impression可以說是最基本的績效指標，因為之後計算Engagement Rate及
Conversion Rate都是基於這個指標。
3.Engagement 參與數：有曝光在你推播訊息的消費者，或者收到你發送email的顧客，
不一定會看到你的訊息或打開你的email，所以這階段會關心到底有多少人參與了活動。
參與數的計算就包括了按讚、留言、分享、點「more」、按連結、滑照片、看影片、打開email。
4.Conversion 轉換數：轉換數，包含了要消費者或顧客的回應，比如下載檔案、安裝應用程式、
填寫問卷、註冊成為會員、達成交易等。這幾個轉換行為，可以一開始就設定為你的行銷目標，
例如這一波活動要吸收5萬個會員、達成1萬個人次的交易。
例如：會員Conversion Rate = (會員Conversion / Impression) X 100%
成交Conversion Rate = (成交Conversion / Impression) X 100%
- Open Rate(開信率)、Engagement Rate(參與率)和Conversion Rate(轉換率)的共同分母都是Inpression(曝光量)，這是因為便於在共同的基礎上做比較，解讀資料比較不會出現誤判。
5.CPA(Cost Per Action，每一互動成本)：要知道一檔活動有沒有賺錢，首先要計算達成行銷目標，
也就是取得轉換數所需付出的代價，由此可以計算出CPA。
6.OPI(Operating Profit Index，毛利指數)：OPI的計算方式，就是毛利除以總收入，乘上100；
如果是正的就是有利潤；如果是負的代表作越多，賠越多。
如果經優化，OPI還是負的，就代表不能再執行這類活動了，而且必須改變策略。
- 從以上的指標，一個個推演到這裡，你會發現要提高OPI，就必須要提高轉換率，要提高轉換率就必須要提高參與率，要提高參與率就必須要提高曝光率，每一環節都不能放過。
- Impression Rate = (Impression / Traffic) x 100%
- Open Rate = (Email的Open數/寄信數) x 100%
- Engagement Rate = (某事件的Engagement / Impression) x 100%
- Conversion Rate - (某事件的Conversion / Impressiom) x 100%
- CPA = Total Cost / Conversion (或Engagement)
- OPI = (淨收入 - 總變動成本) / 淨收入 x 100
V. 大數據X會員經營
- 企業經營的終極資產會是「品牌」加「會員」。
品牌代表了市場、訂價權，也代表了利潤，這個大家應該都知道。那為什麼是會員呢？有機個原因：
一是現在市場趨近飽和；二是開發新客人不容易；三是開發一個新客人的成本，幾乎是維持舊客人的5到10倍；四是業績每個月會歸零，但是會員會不斷累積；最後是手中有了會員，行銷的成本將大幅度降低。
- 在大數據時代，行銷大師Philip Kotler提出了5A行為反應模式：知名(Aware)、訴求(Appeal)、
詢問(Ask)、行動(Action)，最後就是倡導(Advocate)。
倡導就是請客人推薦客人，背後的思維就是會員經營。
- 三種潛在客人：準顧客、知道未買、完全不知
- 三種既有客人：首購客人、忠誠客人及冬眠客人。
- 首購客人是夠過行銷努力開發來的新客人；
而忠誠客人是因為對產品、服務滿意，而持續上門的客人。
公司的總體營收，就是由首購客人及忠誠客人所構成。
因此首購客人與忠誠客人的黃金比率，顯得非常重要。對於一個成熟的品牌而言，
這兩種客人的比率是3:7，也就是有3成的新客人持續為品牌注入活水，加上7成的死忠支持者。
- 兩手策略：一手握住手中的鳥，另一手森林中部斷抓來新的鳥，生意才會源源不絕。
* 先決定會員類型，再決定如何行銷
- 五級會員制度
- 傳統的行銷學講究STP，先區隔市場(Segmentation)，然後訂定目標客層(Target)，最後進行市場定位(Positioning)。然而在大數據時代，區隔市場的方法，有了巨大改變，不再靠地理區隔、人口統計或心理特徵當作變數，而是以消費者行為來區分、預測顧客未來的行為。
- 大數據預測科學透過演算法，來預測每一位顧客的行為，但真正導入大數據預測科學演算法前，
仍可用簡單的行為變數，來分類預測顧客的行為。
行為分類的方法很多，歸納出三組變數，分別是RFM,4P,TCC。
1.RFM:這是一般常用的方法，也就是根據客人的回籠時間(Recency)、客人的消費頻率(Frequency)，
以及客人對營收的貢獻(Monetary)來分類。
- 以「回籠時間」為例，可以將既有的顧客分為「第一次」來的客人、「近一年」來的客人，
及「超過一年以上」未回來的客人。
至於該如何區分客人回籠的時間，是「最近一年」，還是「最近三個月」？取決於該產品的消費者購改週期。
- 「消費頻率」，則是按照客人的消費次數，加以排列。例如可以將最近一年來過的客人，按照1次到6次以上，算出每一種次數來的客人百分比。次數分配可以幫我們判斷，誰是「忠誠客人」或「重度使用者」。
- 「營收貢獻」，則是顧客的購買金額。消費次數多的客人，不代表貢獻金額高。所以Monetary的分類，是要讓我們了解誰是重要的客戶。
根據80/20法則，20%的客人極有可能貢獻了80%的價值，把重要客人照顧好，基本盤就有了。
2. 4P就是按照購買週期(Purchase Cycle)、價格敏感度(Price Sensitive)、促銷敏感度(Promotion Seneitive)及獲利程度(Profitability)加以分類。
3. TCC指的是消費者的瀏覽及購買時間(Timing)；習慣在什麼通路瀏覽及購買(Channel)，是否在線下瀏覽商品、線上購買，或者通通在線上或線下完成。
最後一個C，則是假設顧客一生對公司貢獻的潛在價值(Customer lifetime value)。
- RFM-4P-TCC也適用於會員分類及行銷，實務上，我們可以用RFM將會員分級，再以4P+TCC來做會員行銷。
* 會員經營一部曲：以RFM為客群分級
(表2會員資料集按回籠時間(R)分類)
(表3會員資料集按消費頻率(F)及貢獻金額(M)分類)
(表4以R將會員分三級)
* 會員經營二部曲：設定分級權益
- 會員的權益可分成6大類，即價格優惠型、服務擴大型、功能升級型、內容加值型、
免費贈品型，現金或點數回饋型。
- 實體品牌偏愛免費贈品型、服務擴大型；消費品電商偏愛價格優惠型；內容平台偏愛內容加值型；
工作類電商偏愛功能升級型；銀行、航空公司及零售業偏愛現金或點數回饋型。
* 會員經營三部曲：創造入會渴望
- 大數據會員行銷分成三個階段：入會前、入會時、入會後。
- 入會前要告訴潛在的消費者，為他所設計的「頂級」會員權益。
盡可能的把殺手級的服務或優惠攤在消費者眼前，同時詳細說明各種權益價值，
最終目的就是讓消費者成為會員。
- 入會時就是一旦消費者加入會員那一刻開始，就要給他絕佳的體驗。
*會員經營四部曲：會員行銷創造高業績
- 品牌與客戶互動的四種活動類型：權益行銷、預測行銷、互動行銷、全員行銷。
1. 權益行銷就是要用後台的大數據，監測會員的消費狀況，提醒會員可以不斷升級，享受更高的權益。
2. 預測行銷就是要用大數據的概念，建立模組，預測顧客的消費行為，適時推薦他需要的產品。
又可再分為「一般購買行為預測」及「產品購買週期預測」。
- 預測行銷透過關聯法則學習(Association Rule Learning)，Amazon及Walmart等零售商，可以知道消費者購買貨品之間的關係，再你買了A產品後推薦你買B產品，或者把B產品陳列在A產品旁邊，大大增加成交的機會，Amazon甚至有30%的營收來自預測行銷。
- 產品購買週期預測：只要掌握每一類產品的購買週期，在消費者的購買點之前，推播他必要的產品資訊、優惠方案等，就可以大大提高產品購買機會，為公司創造更高營收。
產品購買週期是結合消費者行為的預測方法，例如你可以將所有顧客劃分為一個購買週期、兩個購買週期、三個購買週期回來，以及超過三個購買週期未回來的客人，分別給予不同的行銷方案。
例如對於一個購買週期內回來1次以上的客人，表示對品牌及產品的忠誠度極支持度都比較高，可以進一步推薦關聯性的產品組合，進行交叉行銷(Cross-Sales)，提高營收。對於超過一個購買週期尚未回來的顧客，可以發送提醒訊息(如問候)，加強對顧客的關心，引起他的注意。對於超過兩個購買週期尚未回來的客人，表示這位客人準備進入「冬眠」的狀態，必須包裝更有吸引力的優惠方案，來吸引顧客回籠。
3.互動行銷就是邀請消費者參加專屬的活動，可以分成一對一的線上活動，以及一對多的線下活動。
4.全員行銷也就是只要是會員，不分等級都可以參加這類活動，包括購前提醒、購後致謝、
生日祝福、結婚紀念日慶祝、節慶關懷及新品訊息告知等六小類。
- 當掌握了會員資料之後，會發現還有很多事情可以做，例如：
1.MGM：Member Get Member就是請現有的會員去邀請新會員加入，成功後雙方都可以給予優惠，
無論是傳統品牌或網路品牌都非常適合。
2.異業合作：當手握龐大的會員資料，你賺的就不只是會員財了。可以透過異業合作，
一來為會員爭取權益，二來提高會員貢獻。
VI. 大數據X行銷迷思
- 360度品牌行銷
- 找出問題背後的問題(QBQ,Question Behind the Question)
- 當品牌形象出現問題的時候，採取什麼樣的大數據行銷都沒有用。
消費者對一個品牌失去好感時，無論透過什麼大數據分析、預測、推薦，都引不起消費者的興趣。
市場上不乏這類的品牌，逆勢而為，不斷促銷，打折打到骨折，都就不了這個品牌。
這時候最重要的事，就是品牌再造，而不是大數據或者任何行銷。
- 當我們在談品牌時，是假設產品特色及商業模式已經被消費者接受的，因為商業模式及產品必須走在品牌之前，畢竟「沒有好產品，就沒有好品牌。」
靠行銷打出來的品牌，是不會持久的！反過來說，每間公司都會認為自己有一個好產品，
如果光有好產品，沒有好品牌行銷，也是埋沒在茫茫的產品之中。
- 大數據時代，今天的資訊與知識，明天可能就不適用了，所以面對改變唯一不變的就是
「知識與勇氣」。知識是每天吸收新知，不讓資訊與知識過期：
勇氣是擁抱新知識時勇敢踏出第一步，翻轉個人或經營的企業。
2019/07/09
I. 大數據X大真相
- 大數據是一門跨領域的知識，涵蓋了資訊科學、統計演算以及商業實務。
- 大數據軟體：KNIME,Weka,Power BI,Tableau,SPSS,SAS,Statistica,Excel...。
- 在大數據投資的目的上，B2B的企業如製造業，著重在應用大數據分析改善流程、降低生產成本；
B2C的企業如零售業，著重在應用大數據預測行銷，增加銷售，提升利潤。
II. 大數據X大平台品牌策略
- 大數據時代顛覆企業經營
過去，經營實體品牌，有個由美國廣告先驅Elias St.Elmo Lewis最早所提出、也是最經典的，
幾乎是所有行銷人都能朗朗上口的行銷觀念：A-I-D-A，
即要達成行銷目標，首先要建立品牌知名度(Awareness)，沒有知名度一切免談；
其次要引起消費者對品牌產生興趣(Interest)及對產品產生購買渴望(Desire)；
完成以上三項任務，就有可能讓消費採取購買行動(Action)。
- 大數據時代大眾媒體不再那麼有效，卻給了我們一個新的機會，應用分散式信任的機制來建立品牌。
即以PRRO來取代傳統的AIDA，成為經營品牌的新法則。
PRRO就是Platform(平台),Review(評價),Reliance(信賴),Order(購買)。
Platform：首先，你必須找出最多人用、最有影響力的幾個平台品牌，然後依附在上面。
Review：接著，認真經營品牌在這些平台上的評價。
Reliance：鎖定平台後，再透過各種服務及行銷方法，提升顧客的評價。
Order：當信賴度越高的時候，就會為品牌帶來大量的訂單。
- 定位大師AI Ries：「如果網路是一門生意，但是你同時把品牌名放在實體店及網路，
將是一個嚴重的錯誤。」
III. 大數據X大平台行銷策略
- 人機介面研究教授Larry Constantine提出，好的UI需要滿足六個原則：即
結構原則、簡單原則、視覺原則、回饋原則、容錯原則及再用原則。
作者再補充兩個品牌行銷的觀點，就是UI的設計也要考慮美觀原則及定位原則。
--結構原則：就是UI的結構要清晰，同類、同層次的東西要放在一起，是平台或APP的生命。
- 好的UI決定了完美的UX(消費體驗)、完美的UX決定了消費者的黏著度，
也就決定了交易的轉換率(Conversion Rate)，決定了平台的成敗。
- 平台品牌的行銷策略：供給面策略、需求面策略。
- 平台的供給面行銷策略：
1.影響者策略(Influencer Strategy)
2.MGM策略(Member-Get-Member Strategy)
3.事件策略(Event Strategy)
4.獎勵策略(Incentive Strategy)
5.附加價值策略(Value-Added Strategy)
6.意見領袖策略(Opinion Leader Strategy)
7.延伸策略(Extension Strategy)
1.影響者策略(Influencer Strategy)
2.MGM策略(Member-Get-Member Strategy)
3.事件策略(Event Strategy)
4.回饋策略(Reward Strategy)
5.異業合作策略(Co-op Strategy)
6.蠶食鯨吞策略(Encroachment Strategy)
7.免費試用策略(Free Trial Strategy)
- 商業分析6步驟：TASSS$
(Task-Analysis-StrategicViewpoint-Strategic Option-Schedule-Budget)
如果能塑造吸睛的題目，就能提高讀者的興趣，用問句破題也是一個被證明有效的方法。
例如「銀行分行坪效分析」、「國際品牌策略」，
就不比「如何提高銀行分行的坪效？」、「如何打造一個國際品牌？」有吸引力。
Step2. Analysis 分析：資料到處都有，但要寫出一份聚焦的報告，分析的範圍，
就要僅限跟課題有關的資料。要用哪些工具做分析呢？作者偏好使用
STEP、競-消-我、以及SWOT三種分析。
--STEP分析對象是環境面。指的是從社會(Society)、科技(Technology)、
經濟(Economy)與政治(Politics)四個角度來分析。
--「競-消-我」分析就是「競爭者-消費者-自我」分析，對象是產業面。
要思考「誰跟我競爭？」、「消費者怎麼看？」、「我們有什麼優勢？」
這三個問題，正好構成一個金三角。
--SWOT分析，對象是企業面，SWOT分別代表Strength優勢、Weakness弱點、
Opportunity機會、Threat威脅。
Step3.Strategic Viewpoint 策略性觀點
Step4.Strategic Option 策略性方案
Step5.Schedule 執行時間表
Step6.Budget 預算
- 做分析要多琢磨策略性觀點與策略性方案。大數據決策，指的正是看了數據之後產生觀點；
或有了觀點之後，再找數據佐證。
- 觀點能驅動數據，即Insight drives big data，沒有觀點，大數據分析就沒有意義了。
- 預測分析6步驟TAMEDI：建立精準模型
例如：「如何提高每一個顧客的貢獻率？」、「如何喚醒每一個沉睡中的客人？」
Step2.Analysis 分析
Step3.Modeling 建立模型
Step4.Evaluation 評估
Step5.Devloyment 導入
Step6.Interpretation & Insight 解讀與洞察
- 商業分析，行銷主管該關心的9個議題
1.我的目標對象是誰？
2.各品牌的消費對象有何不同？
3.消費者購買了什麼產品？
4.消費者對產品的滿意度如何？
5.消費者都接觸什麼媒體？
6.什麼通路的銷售最好？
7.什麼促銷活動最有效？
8.品牌是否已經老化？
9.新舊客人的比率有何變化？
- 預測分析，行銷主管關心9種個人行為
1.誰會點擊？(Who will click？)
--要觀察顧客在網路上的行為，有5個重要指標：流量、曝光量、點擊率、參與率與轉換率。
2.誰會買？(Who will buy？)
--點擊的人很多，但誰才是最後購買產品的人？這就是轉換率。
企業花錢行銷，最後關心的也是這個。
3.誰會進入「沉睡」？(Who will lapse？)
4.誰會詐騙？(Who will lie？)
5.誰會掛掉？(Who will die？)
6.誰會是恐怖份子？(Who will commit crime？)
7.什麼時候買？(When will he/she buy？)
8.買什麼？(What will he/she buy？)
9.花了多少錢？(How much？)
* 商業分析演算法，就能解決80%工作難題，五種商業分析方法：
可用來分析某個市場、品牌或產品的族群結構、產品結構或行銷組合等。
2.相關分析(Correlation Analysis)。
就是分析兩個或多個事件之關係，目的是希望找到其中一個事件對另一個事件的影響。
例如：「網路廣告量的多寡，是否與銷售有直接關係？」、
「上網時間的長短，是否會影響產品銷售的轉換率？」
3.規模分析(Sizing Estimation)
4.趨勢分析(Trend Analysis)是指一段時間內的總量發展趨勢，又可分為
縱斷面(Longitudinal Study)與橫斷面分析(Cross-Sectional Study)。
例如：分析Facebook年齡結構的改變，發現10年來，年輕人的比率有減少的趨勢，則可判斷為品牌老化的徵兆。這是時間數列分析，也較縱斷面分析。又例如，第一季的廣告營收與去年同期相較，增加了20%，表示出現強勁的成長。同期比較的好處，是能克服季節性的影響，這種分析方法叫作橫斷面分析。
5.指數分析(Index Analysis)是以指數大小，判斷哪一個市場/品牌/產品較為突出。
以母體平均數作為分母，個別項目作為分子，會得到三個可能數字：大於、小於、等於100。
例如：以總體人口的各年齡級距，除A品牌對應的年齡層級距，乘以100，
就可以得到三個大於、小於或等於100的數字，而我們關心的是指數大於105及小於95的級距。
當指數小於95，代表A品牌的目標對象在該年齡層相對少；
大於105，則代表目標對象在該年齡層相對多。
* 預測分析演算法，創造另外80%的價值，七個演算法：
(自變數)來預測另一件事(因變數)，稱為簡單迴歸；也可以是已知的兩件事來預測另一件事，
稱為複迴歸。例如根據衛生紙及面紙的購買數量，預測家裡可能居住的人口數，
用來決定可以推薦個人產品或家庭常用品。
2. 邏輯迴歸(Logistic Regression)：主要是處理「是」與「非」、「YES」與「NO」的問題。
例如預測一筆交易是否可能為盜刷？
一名顧客是否會逾期繳息？一個人是否可能得癌症？
工作中我們需要多做很多這一類0與1的決策，而邏輯迴歸提供了這樣的科學依據。
3.k-均值分群(k-mean Cluster)：簡單說，就是將手中的資料根據某種方式分群，
同一群內的資料同值性高，不同群之間的差異大。
例如消費者生活型態的調查，同一區域的消費者，可以根據不同的活動、興趣及意見，
區分成不同的族群，而有所謂的「個體創業族」、「小確性逍遙族」等，
針對不同的族群可以採取不同的訴求及策略。
4.時間數列(Time Series)：是按照時間收集及排列某個時間的數據，透過分析時間數列所反映出來
的發展過程、方向和趨勢，藉以預測下一個時點可能出現的事件。
例如收集及排列歷年的GNP、公司銷售數字，藉以預測下一階段的經濟成長及企業銷售。
5.決策樹(Decision Tree)：顧名思義，這個方法將資料集中的變量由上而下分解，建立一個預測模型，
而這個模型長得像棵樹形圖，然後透過這樹形圖的流向來預測一個人的行為。
6.關聯法則(Association Rule)：這是大數據預測的熱名應用，方法是尋找一個事件與另一個事件出現的
依賴性(例如爸爸下班買紙尿褲，就會順便把啤酒買回家)，
如果有關係，就可以用一個事件的出現來預測另一個事件也可能會發生。
關聯法則的演算法包括AIS,SETM及Apriori等，而Apriori是被廣泛應用的演算法，
它透過機器學習的原理，學習交易資料之間的關係，適合應用於大量資料的分析，
從而建構出一個預測模型。
- 關聯法則，可以應用於購物籃分析決策(Market Basket Analysis)。
購物籃分析，目的是在探究貨架上產品是如何被消費者購買，產品與產品之間被拿取有什麼關係。
如果掌握到它們之間的關係，比如買A產品的顧客也會買B產品，就可以將這兩個產品擺在一起
(這是超市的決策)；買A產品的顧客，就推薦他買B產品(這是電商的決策)；
為了賣A產品，提供B產品優惠(這是促銷決策)。
- 到了2010年代，加拿大多倫多大學的Geoffrey Hinton教授，克服了人工神經網路反向傳播優化
(找出最小值)的問題，為機器學習重新換上了「深度學習」的名字及應用了深度神經網路演算法。
深度神經網路演算法，是由輸入和輸出之間的許多「中間隱藏層」組成，演算法學習這些中間層的特徵。
* 大數據分析，從資料清理開始
第一個挑戰：沒有資料(No Data)
第二個挑戰：過時的資料(Out-of-date Data)
第三個挑戰：不完整的資料(Imcomplete Data)
第四個挑戰：遺失的資料(Missing Data)
第五個挑戰：稀少的資料(Sparse Data)
第六個挑戰：不精確的資料(Inaccurate Data)：最常發生的狀況，就是用不同的衡量方法，
提供不一樣的資料。
- 大數據並非「數大就是美」，應該是「不怕少，怕不好」。
如果用在預測分析，例如透過機器學習建立大數據預測模型，資料是多多益善。
但是如果是大數據用在商業分析，2千筆的顧客或者銷售資料，
絕對比20萬筆沒有經過清理的資料來得有用。
例如：應用2千筆有效的會員資料，去做新會員推廣，轉換率絕對高於20萬筆，而且成本更低。
- 大數據要發揮價值，有兩個面向。
第一個，從資料分析中，看出問題，這個面向適合善於分析資料得大數據專家。
第二個，從實務中發現問題、大膽假設，再透過大數據找答案，這個面向具有實務經驗的專家，比較容易做到。
- 大數據預測科學就是predicting something for an individual case.
* 預測行銷，6個KPI檢視成效：
4個預測指標(Predictive Indicator)，包括Traffic(流量)、Impression(曝光量)、
Engagement(參與數)、Conversion(轉換數)；以及兩個財務指標(Financial Indicator)，
包括CPA(Cost Per Action，每一互動成本)、OPI(Operating Profit Index，毛利指數)。
但是事實上，不會這麼理想。不過，這個指標讓你知道，品牌的打擊面夠不夠廣，
是1萬人、10萬人，或者100萬人，也牽涉到行銷的成本，以及你對市場的企圖心。
2.Impression曝光量：曝光在品牌訊息的不重複人數流量，就是Impression。
所以，如果你推播訊息給100萬個消費者或100萬封email給顧客，
實際上有看到這則訊息的人可能只有40萬人，這時你的Impression是40萬，Impression Rate則是40%。
Impression可以說是最基本的績效指標，因為之後計算Engagement Rate及
Conversion Rate都是基於這個指標。
3.Engagement 參與數：有曝光在你推播訊息的消費者，或者收到你發送email的顧客，
不一定會看到你的訊息或打開你的email，所以這階段會關心到底有多少人參與了活動。
參與數的計算就包括了按讚、留言、分享、點「more」、按連結、滑照片、看影片、打開email。
4.Conversion 轉換數：轉換數，包含了要消費者或顧客的回應，比如下載檔案、安裝應用程式、
填寫問卷、註冊成為會員、達成交易等。這幾個轉換行為，可以一開始就設定為你的行銷目標，
例如這一波活動要吸收5萬個會員、達成1萬個人次的交易。
例如：會員Conversion Rate = (會員Conversion / Impression) X 100%
成交Conversion Rate = (成交Conversion / Impression) X 100%
- Open Rate(開信率)、Engagement Rate(參與率)和Conversion Rate(轉換率)的共同分母都是Inpression(曝光量)，這是因為便於在共同的基礎上做比較，解讀資料比較不會出現誤判。
5.CPA(Cost Per Action，每一互動成本)：要知道一檔活動有沒有賺錢，首先要計算達成行銷目標，
也就是取得轉換數所需付出的代價，由此可以計算出CPA。
6.OPI(Operating Profit Index，毛利指數)：OPI的計算方式，就是毛利除以總收入，乘上100；
如果是正的就是有利潤；如果是負的代表作越多，賠越多。
如果經優化，OPI還是負的，就代表不能再執行這類活動了，而且必須改變策略。
- 從以上的指標，一個個推演到這裡，你會發現要提高OPI，就必須要提高轉換率，要提高轉換率就必須要提高參與率，要提高參與率就必須要提高曝光率，每一環節都不能放過。
- Impression Rate = (Impression / Traffic) x 100%
- Open Rate = (Email的Open數/寄信數) x 100%
- Engagement Rate = (某事件的Engagement / Impression) x 100%
- Conversion Rate - (某事件的Conversion / Impressiom) x 100%
- CPA = Total Cost / Conversion (或Engagement)
- OPI = (淨收入 - 總變動成本) / 淨收入 x 100
V. 大數據X會員經營
- 企業經營的終極資產會是「品牌」加「會員」。
品牌代表了市場、訂價權，也代表了利潤，這個大家應該都知道。那為什麼是會員呢？有機個原因：
一是現在市場趨近飽和；二是開發新客人不容易；三是開發一個新客人的成本，幾乎是維持舊客人的5到10倍；四是業績每個月會歸零，但是會員會不斷累積；最後是手中有了會員，行銷的成本將大幅度降低。
- 在大數據時代，行銷大師Philip Kotler提出了5A行為反應模式：知名(Aware)、訴求(Appeal)、
詢問(Ask)、行動(Action)，最後就是倡導(Advocate)。
倡導就是請客人推薦客人，背後的思維就是會員經營。
- 三種潛在客人：準顧客、知道未買、完全不知
- 三種既有客人：首購客人、忠誠客人及冬眠客人。
而忠誠客人是因為對產品、服務滿意，而持續上門的客人。
公司的總體營收，就是由首購客人及忠誠客人所構成。
因此首購客人與忠誠客人的黃金比率，顯得非常重要。對於一個成熟的品牌而言，
這兩種客人的比率是3:7，也就是有3成的新客人持續為品牌注入活水，加上7成的死忠支持者。
- 兩手策略：一手握住手中的鳥，另一手森林中部斷抓來新的鳥，生意才會源源不絕。
* 先決定會員類型，再決定如何行銷
- 五級會員制度
- 大數據預測科學透過演算法，來預測每一位顧客的行為，但真正導入大數據預測科學演算法前，
仍可用簡單的行為變數，來分類預測顧客的行為。
行為分類的方法很多，歸納出三組變數，分別是RFM,4P,TCC。
1.RFM:這是一般常用的方法，也就是根據客人的回籠時間(Recency)、客人的消費頻率(Frequency)，
以及客人對營收的貢獻(Monetary)來分類。
及「超過一年以上」未回來的客人。
至於該如何區分客人回籠的時間，是「最近一年」，還是「最近三個月」？取決於該產品的消費者購改週期。
- 「消費頻率」，則是按照客人的消費次數，加以排列。例如可以將最近一年來過的客人，按照1次到6次以上，算出每一種次數來的客人百分比。次數分配可以幫我們判斷，誰是「忠誠客人」或「重度使用者」。
- 「營收貢獻」，則是顧客的購買金額。消費次數多的客人，不代表貢獻金額高。所以Monetary的分類，是要讓我們了解誰是重要的客戶。
根據80/20法則，20%的客人極有可能貢獻了80%的價值，把重要客人照顧好，基本盤就有了。
2. 4P就是按照購買週期(Purchase Cycle)、價格敏感度(Price Sensitive)、促銷敏感度(Promotion Seneitive)及獲利程度(Profitability)加以分類。
3. TCC指的是消費者的瀏覽及購買時間(Timing)；習慣在什麼通路瀏覽及購買(Channel)，是否在線下瀏覽商品、線上購買，或者通通在線上或線下完成。
最後一個C，則是假設顧客一生對公司貢獻的潛在價值(Customer lifetime value)。
- RFM-4P-TCC也適用於會員分類及行銷，實務上，我們可以用RFM將會員分級，再以4P+TCC來做會員行銷。
* 會員經營一部曲：以RFM為客群分級
(表2會員資料集按回籠時間(R)分類)
- 會員的權益可分成6大類，即價格優惠型、服務擴大型、功能升級型、內容加值型、
免費贈品型，現金或點數回饋型。
- 實體品牌偏愛免費贈品型、服務擴大型；消費品電商偏愛價格優惠型；內容平台偏愛內容加值型；
工作類電商偏愛功能升級型；銀行、航空公司及零售業偏愛現金或點數回饋型。
* 會員經營三部曲：創造入會渴望
- 大數據會員行銷分成三個階段：入會前、入會時、入會後。
- 入會前要告訴潛在的消費者，為他所設計的「頂級」會員權益。
盡可能的把殺手級的服務或優惠攤在消費者眼前，同時詳細說明各種權益價值，
最終目的就是讓消費者成為會員。
- 入會時就是一旦消費者加入會員那一刻開始，就要給他絕佳的體驗。
*會員經營四部曲：會員行銷創造高業績
- 品牌與客戶互動的四種活動類型：權益行銷、預測行銷、互動行銷、全員行銷。
1. 權益行銷就是要用後台的大數據，監測會員的消費狀況，提醒會員可以不斷升級，享受更高的權益。
2. 預測行銷就是要用大數據的概念，建立模組，預測顧客的消費行為，適時推薦他需要的產品。
又可再分為「一般購買行為預測」及「產品購買週期預測」。
- 預測行銷透過關聯法則學習(Association Rule Learning)，Amazon及Walmart等零售商，可以知道消費者購買貨品之間的關係，再你買了A產品後推薦你買B產品，或者把B產品陳列在A產品旁邊，大大增加成交的機會，Amazon甚至有30%的營收來自預測行銷。
- 產品購買週期預測：只要掌握每一類產品的購買週期，在消費者的購買點之前，推播他必要的產品資訊、優惠方案等，就可以大大提高產品購買機會，為公司創造更高營收。
產品購買週期是結合消費者行為的預測方法，例如你可以將所有顧客劃分為一個購買週期、兩個購買週期、三個購買週期回來，以及超過三個購買週期未回來的客人，分別給予不同的行銷方案。
例如對於一個購買週期內回來1次以上的客人，表示對品牌及產品的忠誠度極支持度都比較高，可以進一步推薦關聯性的產品組合，進行交叉行銷(Cross-Sales)，提高營收。對於超過一個購買週期尚未回來的顧客，可以發送提醒訊息(如問候)，加強對顧客的關心，引起他的注意。對於超過兩個購買週期尚未回來的客人，表示這位客人準備進入「冬眠」的狀態，必須包裝更有吸引力的優惠方案，來吸引顧客回籠。
3.互動行銷就是邀請消費者參加專屬的活動，可以分成一對一的線上活動，以及一對多的線下活動。
4.全員行銷也就是只要是會員，不分等級都可以參加這類活動，包括購前提醒、購後致謝、
生日祝福、結婚紀念日慶祝、節慶關懷及新品訊息告知等六小類。
- 當掌握了會員資料之後，會發現還有很多事情可以做，例如：
1.MGM：Member Get Member就是請現有的會員去邀請新會員加入，成功後雙方都可以給予優惠，
無論是傳統品牌或網路品牌都非常適合。
2.異業合作：當手握龐大的會員資料，你賺的就不只是會員財了。可以透過異業合作，
一來為會員爭取權益，二來提高會員貢獻。
VI. 大數據X行銷迷思
- 360度品牌行銷
- 當品牌形象出現問題的時候，採取什麼樣的大數據行銷都沒有用。
消費者對一個品牌失去好感時，無論透過什麼大數據分析、預測、推薦，都引不起消費者的興趣。
市場上不乏這類的品牌，逆勢而為，不斷促銷，打折打到骨折，都就不了這個品牌。
這時候最重要的事，就是品牌再造，而不是大數據或者任何行銷。
- 當我們在談品牌時，是假設產品特色及商業模式已經被消費者接受的，因為商業模式及產品必須走在品牌之前，畢竟「沒有好產品，就沒有好品牌。」
靠行銷打出來的品牌，是不會持久的！反過來說，每間公司都會認為自己有一個好產品，
如果光有好產品，沒有好品牌行銷，也是埋沒在茫茫的產品之中。
- 大數據時代，今天的資訊與知識，明天可能就不適用了，所以面對改變唯一不變的就是
「知識與勇氣」。知識是每天吸收新知，不讓資訊與知識過期：
勇氣是擁抱新知識時勇敢踏出第一步，翻轉個人或經營的企業。
2020年4月16日 星期四
演算法下的行銷優勢
演算法下的行銷優勢
- 數據大多數不是數字。它不全是寫在報表上的量化資料。它是經驗，是報紙報導，是人如何交往、談話的故事。它是敘述性數據。
- 知識的四種類型
- 類型1：客觀知識
- 客觀知識是自然科學的基礎。「我知道2+2=4」，「我知道這塊磚重3磅」，「我知道水是由兩個氫原子與一個氧元子合成的」。這樣的知識不涉及任何真正的省思。
- 鼓吹客觀知識的人多年來提出多種不同架構，不過我們可以追溯它的歷史，源自十九世界的「實證主義」(positivism)哲學運動。
- 公司為增加獲利，開始聚焦生產力，以生產為導向的文化應運而生，而客觀測量、保證成果的構想與這種文化頗能切合。就在這波強調客觀熱潮興起的同時，一種新的「現實主義」美學出現了。
- 類型2：主觀知識
- 繼客觀知識之後，強調個人意見與感覺的主觀知識登場。認知心理學者研究的，就是這種反映我們內心生活的知識。
- 類型3：共享知識
- 類型4：感覺知識
- 著名經濟學家與歷史學家查爾斯‧金德柏格對銀行家說，想在金融界練就真正的精密，笛福(Daniel Defoe)、巴爾札克(Honore de Balzac)與狄更斯(Charles Dickens)的書都是重要讀物。
- 就一門學術而言，經濟學是最能從所有四類型知識(包括厚數據與薄數據)中獲益的絕佳例證。既然如此，為什麼這麼多人堅持經即學應該純以客觀知識為範疇？20世紀90年代末期，經濟學大師保羅·薩謬爾遜(Paul Samuelson)談到這種衝突：經濟不是一門精確的科學，而是藝術與科學要件的結合。這幾乎就是我們從經濟學學到的第一個、也是最後一個教訓：根據我的判斷，我們並不是在追求精確，只是在改善我們的數據庫及其相關的推理方式而已。
- 六個意義建構法程式
- 一、徵兆與象徵：符號學一直都是了解人類行為的重要部分。研究人員將符號分成兩個部分：符號本身與符號的意義。一多玫瑰花(符號)可能對一個人是愛(符號的意義)的表示，對另一個人而言卻是死亡。每個人都會根據自己的背景與情勢，為符號下定義。
- 二、心智模型：心智模型是一種分析工具，可以檢驗文字使用的背景，以及文字取得意義的各種方式。以「自由」這兩個字為例，對不同的政界人士而言，意義可能完全不同。
- 三、尼可拉斯·魯曼(Niklas Luhmann)的社會系統理論：所有專業文化都建構在「二元符碼」(Binary Codes)上。對律師來說，重要的是一個行動合法還是違法。
- 四、厄文·高夫曼(Erving Goffman)的舞台管理印象論：在1956年出版的人類學研究鉅著<日常生活中的自我表演>(The Presentation of Self in Everday Life>，說明個人如何在社會互動中呈現自我。高夫曼以劇院做比喻說明這些互動，將我們做給外人看的空間稱為「前台」，將我們避開外人、露出原本面貌的空間稱為「後台」。他認為，我們在前台的表現是否成功，取決於後台是否夠隱密、是否能給我們喘息空間。
- 五、互惠理論： 人類學家馬歇爾·薩林斯(Marshall Sahlines)提出三個給予的模型：強迫性互惠(negative reciprocity)、平衡性互惠(balanced reciprocity)與一般性互惠(generalized reciprocity)。
- 六、路德維希·維根斯坦(Ludwig Wiffgenstein)的語言理論：在其著作中強調，我們的語言著要不在於文字：重點是觀察，不是長篇大論。
- 溯因推理的概念能進一步說明這個道理。我們用三種推理來解決問題，分別是溯因、演繹與歸納推理。十九世紀美國哲學家查爾斯·桑德斯·皮爾斯因詮釋這三種推理類型的關係而著名。
- 演繹基本上屬運算。你首先有一套假設，然後根據這套假定，推斷X或Y為真。我們往往稱這種作法為「由上而下」的推理，因為它從一般推向特定。
- 另一方面，歸納則以多項前提為開端，逐步推向一個特定結論，因此又稱為「由下而上」式推理。它以特定觀察為起點，然後推項較廣的概論與理論。
- 因溯因推理不以任何假定為起點、甚至不以任何已知或未知預定概念為開端。正因如此，它是唯一可以融入新知識與見解的推理法。這項過程展開之初，你先得撒下數據蒐集與整理的大網，就是桑德斯所謂「開放」。你隨後辨認蒐集到的數據模式。一旦將這些模式綜合整理，一個或幾個理論開始成形。一種具有說服力的見解於是呈現。
訂閱：
文章 (Atom)