2020年4月25日 星期六

大數據預測行銷:翻轉品牌X會員經營X精準行銷

大數據預測行銷:翻轉品牌X會員經營X精準行銷
2019/07/09

I. 大數據X大真相
- 大數據是一門跨領域的知識,涵蓋了資訊科學、統計演算以及商業實務。
- 大數據軟體:KNIME,Weka,Power BI,Tableau,SPSS,SAS,Statistica,Excel...。
- 在大數據投資的目的上,B2B的企業如製造業,著重在應用大數據分析改善流程、降低生產成本;
B2C的企業如零售業,著重在應用大數據預測行銷,增加銷售,提升利潤。

II. 大數據X大平台品牌策略
- 大數據時代顛覆企業經營
- 經營內容品牌PRRO取代AIDA
過去,經營實體品牌,有個由美國廣告先驅Elias St.Elmo Lewis最早所提出、也是最經典的,
幾乎是所有行銷人都能朗朗上口的行銷觀念:A-I-D-A
即要達成行銷目標,首先要建立品牌知名度(Awareness),沒有知名度一切免談;
其次要引起消費者對品牌產生興趣(Interest)及對產品產生購買渴望(Desire)
完成以上三項任務,就有可能讓消費採取購買行動(Action)
- 大數據時代大眾媒體不再那麼有效,卻給了我們一個新的機會,應用分散式信任的機制來建立品牌。
即以PRRO來取代傳統的AIDA,成為經營品牌的新法則。
PRRO就是Platform(平台),Review(評價),Reliance(信賴),Order(購買)
Platform:首先,你必須找出最多人用、最有影響力的幾個平台品牌,然後依附在上面。
Review:接著,認真經營品牌在這些平台上的評價。
Reliance:鎖定平台後,再透過各種服務及行銷方法,提升顧客的評價。
Order:當信賴度越高的時候,就會為品牌帶來大量的訂單。
- 定位大師AI Ries:「如果網路是一門生意,但是你同時把品牌名放在實體店及網路,
將是一個嚴重的錯誤。」

III. 大數據X大平台行銷策略
- 人機介面研究教授Larry Constantine提出,好的UI需要滿足六個原則:即
結構原則簡單原則視覺原則回饋原則容錯原則再用原則
作者再補充兩個品牌行銷的觀點,就是UI的設計也要考慮美觀原則定位原則
--結構原則:就是UI的結構要清晰,同類、同層次的東西要放在一起,是平台或APP的生命。
- 好的UI決定了完美的UX(消費體驗)、完美的UX決定了消費者的黏著度,
也就決定了交易的轉換率(Conversion Rate),決定了平台的成敗。
- 平台品牌的行銷策略:供給面策略、需求面策略。
- 平台的供給面行銷策略:
1.影響者策略(Influencer Strategy)
2.MGM策略(Member-Get-Member Strategy)
3.事件策略(Event Strategy)
4.獎勵策略(Incentive Strategy)
5.附加價值策略(Value-Added Strategy)
6.意見領袖策略(Opinion Leader Strategy)
7.延伸策略(Extension Strategy)
- 平台需求面策略:
1.影響者策略(Influencer Strategy)
2.MGM策略(Member-Get-Member Strategy)
3.事件策略(Event Strategy)
4.回饋策略(Reward Strategy)
5.異業合作策略(Co-op Strategy)
6.蠶食鯨吞策略(Encroachment Strategy)
7.免費試用策略(Free Trial Strategy)
IV. 大數據X預測行銷
- 商業分析6步驟:TASSS$
(Task-Analysis-StrategicViewpoint-Strategic Option-Schedule-Budget)
Step1. Task 課題報告中所有的分析跟結論,都要圍繞著「課題」。
如果能塑造吸睛的題目,就能提高讀者的興趣,用問句破題也是一個被證明有效的方法。
例如「銀行分行坪效分析」、「國際品牌策略」,
就不比「如何提高銀行分行的坪效?」、「如何打造一個國際品牌?」有吸引力。
Step2. Analysis 分析資料到處都有,但要寫出一份聚焦的報告,分析的範圍,
就要僅限跟課題有關的資料。要用哪些工具做分析呢?作者偏好使用
STEP競-消-我、以及SWOT三種分析。
--STEP分析對象是環境面。指的是從社會(Society)科技(Technology)
經濟(Economy)政治(Politics)四個角度來分析。
--「競-消-我」分析就是「競爭者-消費者-自我」分析,對象是產業面。
要思考「誰跟我競爭?」、「消費者怎麼看?」、「我們有什麼優勢?」
這三個問題,正好構成一個金三角。
--SWOT分析,對象是企業面,SWOT分別代表Strength優勢Weakness弱點
Opportunity機會Threat威脅
Step3.Strategic Viewpoint 策略性觀點
Step4.Strategic Option 策略性方案
Step5.Schedule 執行時間表
Step6.Budget 預算
- 做分析要多琢磨策略性觀點與策略性方案。大數據決策,指的正是看了數據之後產生觀點;
或有了觀點之後,再找數據佐證。
- 觀點能驅動數據,即Insight drives big data,沒有觀點,大數據分析就沒有意義了。
- 預測分析6步驟TAMEDI:建立精準模型
Step1.Task 課題與商業分析最大的不同是,預測分析的課題,是解決「一個個人」的問題。
例如:「如何提高每一個顧客的貢獻率?」、「如何喚醒每一個沉睡中的客人?」
Step2.Analysis 分析
Step3.Modeling 建立模型
Step4.Evaluation 評估
Step5.Devloyment 導入
Step6.Interpretation & Insight 解讀與洞察
- 商業分析,行銷主管該關心的9個議題
1.我的目標對象是誰?
2.各品牌的消費對象有何不同?
3.消費者購買了什麼產品?
4.消費者對產品的滿意度如何?
5.消費者都接觸什麼媒體?
6.什麼通路的銷售最好?
7.什麼促銷活動最有效?
8.品牌是否已經老化?
9.新舊客人的比率有何變化?
- 預測分析,行銷主管關心9種個人行為
1.誰會點擊?(Who will click?)
--要觀察顧客在網路上的行為,有5個重要指標:流量曝光量點擊率參與率轉換率
2.誰會買?(Who will buy?)
--點擊的人很多,但誰才是最後購買產品的人?這就是轉換率。
企業花錢行銷,最後關心的也是這個。
3.誰會進入「沉睡」?(Who will lapse?)
4.誰會詐騙?(Who will lie?)
5.誰會掛掉?(Who will die?)
6.誰會是恐怖份子?(Who will commit crime?)
7.什麼時候買?(When will he/she buy?)
8.買什麼?(What will he/she buy?)
9.花了多少錢?(How much?)
* 商業分析演算法,就能解決80%工作難題,五種商業分析方法:
1.整體分析(Aggregate Analysis)
可用來分析某個市場、品牌或產品的族群結構、產品結構或行銷組合等。
2.相關分析(Correlation Analysis)
就是分析兩個或多個事件之關係,目的是希望找到其中一個事件對另一個事件的影響。
例如:「網路廣告量的多寡,是否與銷售有直接關係?」、
「上網時間的長短,是否會影響產品銷售的轉換率?」
3.規模分析(Sizing Estimation)
4.趨勢分析(Trend Analysis)是指一段時間內的總量發展趨勢,又可分為
縱斷面(Longitudinal Study)橫斷面分析(Cross-Sectional Study)
例如:分析Facebook年齡結構的改變,發現10年來,年輕人的比率有減少的趨勢,則可判斷為品牌老化的徵兆。這是時間數列分析,也較縱斷面分析。又例如,第一季的廣告營收與去年同期相較,增加了20%,表示出現強勁的成長。同期比較的好處,是能克服季節性的影響,這種分析方法叫作橫斷面分析。
5.指數分析(Index Analysis)是以指數大小,判斷哪一個市場/品牌/產品較為突出。
以母體平均數作為分母,個別項目作為分子,會得到三個可能數字:大於、小於、等於100。
例如:以總體人口的各年齡級距,除A品牌對應的年齡層級距,乘以100,
就可以得到三個大於、小於或等於100的數字,而我們關心的是指數大於105及小於95的級距。
當指數小於95,代表A品牌的目標對象在該年齡層相對少;
大於105,則代表目標對象在該年齡層相對多。
* 預測分析演算法,創造另外80%的價值,七個演算法:
1. 迴歸分析(Regression Analysis):這是最常用到的統計演算法,主要是用已知的一件事
(自變數)來預測另一件事(因變數),稱為簡單迴歸;也可以是已知的兩件事來預測另一件事,
稱為複迴歸例如根據衛生紙及面紙的購買數量,預測家裡可能居住的人口數,
用來決定可以推薦個人產品或家庭常用品
2. 邏輯迴歸(Logistic Regression):主要是處理「是」與「非」、「YES」與「NO」的問題。
例如預測一筆交易是否可能為盜刷?
一名顧客是否會逾期繳息?一個人是否可能得癌症?
工作中我們需要多做很多這一類0與1的決策,而邏輯迴歸提供了這樣的科學依據。
3.k-均值分群(k-mean Cluster):簡單說,就是將手中的資料根據某種方式分群,
同一群內的資料同值性高,不同群之間的差異大。
例如消費者生活型態的調查,同一區域的消費者,可以根據不同的活動、興趣及意見,
區分成不同的族群,而有所謂的「個體創業族」、「小確性逍遙族」等
針對不同的族群可以採取不同的訴求及策略。
4.時間數列(Time Series):是按照時間收集及排列某個時間的數據,透過分析時間數列所反映出來
的發展過程、方向和趨勢,藉以預測下一個時點可能出現的事件。
例如收集及排列歷年的GNP、公司銷售數字,藉以預測下一階段的經濟成長及企業銷售。
5.決策樹(Decision Tree):顧名思義,這個方法將資料集中的變量由上而下分解,建立一個預測模型,
而這個模型長得像棵樹形圖,然後透過這樹形圖的流向來預測一個人的行為。
6.關聯法則(Association Rule):這是大數據預測的熱名應用,方法是尋找一個事件與另一個事件出現的
依賴性(例如爸爸下班買紙尿褲,就會順便把啤酒買回家),
如果有關係,就可以用一個事件的出現來預測另一個事件也可能會發生。
關聯法則的演算法包括AIS,SETM及Apriori等,而Apriori是被廣泛應用的演算法,
它透過機器學習的原理,學習交易資料之間的關係,適合應用於大量資料的分析,
從而建構出一個預測模型。
- 關聯法則,可以應用於購物籃分析決策(Market Basket Analysis)
購物籃分析,目的是在探究貨架上產品是如何被消費者購買,產品與產品之間被拿取有什麼關係。
如果掌握到它們之間的關係,比如買A產品的顧客也會買B產品,就可以將這兩個產品擺在一起
(這是超市的決策);買A產品的顧客,就推薦他買B產品(這是電商的決策);
為了賣A產品,提供B產品優惠(這是促銷決策)。
- 到了2010年代,加拿大多倫多大學的Geoffrey Hinton教授,克服了人工神經網路反向傳播優化
(找出最小值)的問題,為機器學習重新換上了「深度學習」的名字及應用了深度神經網路演算法。
深度神經網路演算法,是由輸入和輸出之間的許多「中間隱藏層」組成,演算法學習這些中間層的特徵。
* 大數據分析,從資料清理開始
第一個挑戰:沒有資料(No Data)
第二個挑戰:過時的資料(Out-of-date Data)
第三個挑戰:不完整的資料(Imcomplete Data)
第四個挑戰:遺失的資料(Missing Data)
第五個挑戰:稀少的資料(Sparse Data)
第六個挑戰:不精確的資料(Inaccurate Data):最常發生的狀況,就是用不同的衡量方法,
提供不一樣的資料。
- 大數據並非「數大就是美」,應該是「不怕少,怕不好」。
如果用在預測分析,例如透過機器學習建立大數據預測模型,資料是多多益善。
但是如果是大數據用在商業分析,2千筆的顧客或者銷售資料,
絕對比20萬筆沒有經過清理的資料來得有用。
例如:應用2千筆有效的會員資料,去做新會員推廣,轉換率絕對高於20萬筆,而且成本更低。
- 大數據要發揮價值,有兩個面向。
第一個,從資料分析中,看出問題,這個面向適合善於分析資料得大數據專家。
第二個,從實務中發現問題、大膽假設,再透過大數據找答案,這個面向具有實務經驗的專家,比較容易做到。
- 大數據預測科學就是predicting something for an individual case.
* 預測行銷,6個KPI檢視成效
4個預測指標(Predictive Indicator),包括Traffic(流量)Impression(曝光量)
Engagement(參與數)Conversion(轉換數);以及兩個財務指標(Financial Indicator),
包括CPA(Cost Per Action,每一互動成本)OPI(Operating Profit Index,毛利指數)
1.Traffic 流量:就是消費者可能接觸到你的品牌訊息的潛在最大數量;
但是事實上,不會這麼理想。不過,這個指標讓你知道,品牌的打擊面夠不夠廣,
是1萬人、10萬人,或者100萬人,也牽涉到行銷的成本,以及你對市場的企圖心。
2.Impression曝光量:曝光在品牌訊息的不重複人數流量,就是Impression。
所以,如果你推播訊息給100萬個消費者或100萬封email給顧客,
實際上有看到這則訊息的人可能只有40萬人,這時你的Impression是40萬,Impression Rate則是40%。
Impression可以說是最基本的績效指標,因為之後計算Engagement Rate及
Conversion Rate都是基於這個指標。
3.Engagement 參與數:有曝光在你推播訊息的消費者,或者收到你發送email的顧客,
不一定會看到你的訊息或打開你的email,所以這階段會關心到底有多少人參與了活動。
參與數的計算就包括了按讚、留言、分享、點「more」、按連結、滑照片、看影片、打開email。
4.Conversion 轉換數:轉換數,包含了要消費者或顧客的回應,比如下載檔案、安裝應用程式、
填寫問卷、註冊成為會員、達成交易等。這幾個轉換行為,可以一開始就設定為你的行銷目標,
例如這一波活動要吸收5萬個會員、達成1萬個人次的交易。
例如:會員Conversion Rate = (會員Conversion / Impression) X 100%
成交Conversion Rate = (成交Conversion / Impression) X 100%
- Open Rate(開信率)、Engagement Rate(參與率)和Conversion Rate(轉換率)的共同分母都是Inpression(曝光量),這是因為便於在共同的基礎上做比較,解讀資料比較不會出現誤判。
5.CPA(Cost Per Action,每一互動成本):要知道一檔活動有沒有賺錢,首先要計算達成行銷目標,
也就是取得轉換數所需付出的代價,由此可以計算出CPA。
6.OPI(Operating Profit Index,毛利指數):OPI的計算方式,就是毛利除以總收入,乘上100;
如果是正的就是有利潤;如果是負的代表作越多,賠越多。
如果經優化,OPI還是負的,就代表不能再執行這類活動了,而且必須改變策略。
- 從以上的指標,一個個推演到這裡,你會發現要提高OPI,就必須要提高轉換率,要提高轉換率就必須要提高參與率,要提高參與率就必須要提高曝光率,每一環節都不能放過。
- Impression Rate = (Impression / Traffic) x 100%
- Open Rate = (Email的Open數/寄信數) x 100%
- Engagement Rate = (某事件的Engagement / Impression) x 100%
- Conversion Rate - (某事件的Conversion / Impressiom) x 100%
- CPA = Total Cost / Conversion (或Engagement)
- OPI = (淨收入 - 總變動成本) / 淨收入 x 100

V. 大數據X會員經營
- 企業經營的終極資產會是「品牌」加「會員」。
品牌代表了市場、訂價權,也代表了利潤,這個大家應該都知道。那為什麼是會員呢?有機個原因:
一是現在市場趨近飽和;二是開發新客人不容易;三是開發一個新客人的成本,幾乎是維持舊客人的5到10倍;四是業績每個月會歸零,但是會員會不斷累積;最後是手中有了會員,行銷的成本將大幅度降低。
- 在大數據時代,行銷大師Philip Kotler提出了5A行為反應模式:知名(Aware)訴求(Appeal)
詢問(Ask)行動(Action),最後就是倡導(Advocate)
倡導就是請客人推薦客人,背後的思維就是會員經營。
- 三種潛在客人:準顧客、知道未買、完全不知
- 三種既有客人:首購客人、忠誠客人及冬眠客人。
- 首購客人是夠過行銷努力開發來的新客人;
而忠誠客人是因為對產品、服務滿意,而持續上門的客人。
公司的總體營收,就是由首購客人及忠誠客人所構成。
因此首購客人與忠誠客人的黃金比率,顯得非常重要。對於一個成熟的品牌而言,
這兩種客人的比率是3:7,也就是有3成的新客人持續為品牌注入活水,加上7成的死忠支持者。
- 兩手策略:一手握住手中的鳥,另一手森林中部斷抓來新的鳥,生意才會源源不絕。
* 先決定會員類型,再決定如何行銷
- 五級會員制度
- 傳統的行銷學講究STP,先區隔市場(Segmentation),然後訂定目標客層(Target),最後進行市場定位(Positioning)。然而在大數據時代,區隔市場的方法,有了巨大改變,不再靠地理區隔、人口統計或心理特徵當作變數,而是以消費者行為來區分、預測顧客未來的行為
- 大數據預測科學透過演算法,來預測每一位顧客的行為,但真正導入大數據預測科學演算法前,
仍可用簡單的行為變數,來分類預測顧客的行為。
行為分類的方法很多,歸納出三組變數,分別是RFM,4P,TCC。
1.RFM:這是一般常用的方法,也就是根據客人的回籠時間(Recency)客人的消費頻率(Frequency)
以及客人對營收的貢獻(Monetary)來分類。
- 以「回籠時間」為例,可以將既有的顧客分為「第一次」來的客人、「近一年」來的客人,
及「超過一年以上」未回來的客人。
至於該如何區分客人回籠的時間,是「最近一年」,還是「最近三個月」?取決於該產品的消費者購改週期。
- 「消費頻率」,則是按照客人的消費次數,加以排列。例如可以將最近一年來過的客人,按照1次到6次以上,算出每一種次數來的客人百分比。次數分配可以幫我們判斷,誰是「忠誠客人」或「重度使用者」。
- 「營收貢獻」,則是顧客的購買金額。消費次數多的客人,不代表貢獻金額高。所以Monetary的分類,是要讓我們了解誰是重要的客戶。
根據80/20法則,20%的客人極有可能貢獻了80%的價值,把重要客人照顧好,基本盤就有了。
2. 4P就是按照購買週期(Purchase Cycle)價格敏感度(Price Sensitive)促銷敏感度(Promotion Seneitive)獲利程度(Profitability)加以分類。
3. TCC指的是消費者的瀏覽及購買時間(Timing)習慣在什麼通路瀏覽及購買(Channel),是否在線下瀏覽商品、線上購買,或者通通在線上或線下完成。
最後一個C,則是假設顧客一生對公司貢獻的潛在價值(Customer lifetime value)
- RFM-4P-TCC也適用於會員分類及行銷,實務上,我們可以用RFM將會員分級,再以4P+TCC來做會員行銷。
* 會員經營一部曲:以RFM為客群分級
(表2會員資料集按回籠時間(R)分類)
(表3會員資料集按消費頻率(F)及貢獻金額(M)分類)
(表4以R將會員分三級)
* 會員經營二部曲:設定分級權益
- 會員的權益可分成6大類,即價格優惠型服務擴大型功能升級型內容加值型
免費贈品型現金或點數回饋型
- 實體品牌偏愛免費贈品型、服務擴大型;消費品電商偏愛價格優惠型;內容平台偏愛內容加值型;
工作類電商偏愛功能升級型;銀行、航空公司及零售業偏愛現金或點數回饋型。
* 會員經營三部曲:創造入會渴望
- 大數據會員行銷分成三個階段:入會前、入會時、入會後。
- 入會前要告訴潛在的消費者,為他所設計的「頂級」會員權益。
盡可能的把殺手級的服務或優惠攤在消費者眼前,同時詳細說明各種權益價值,
最終目的就是讓消費者成為會員。
- 入會時就是一旦消費者加入會員那一刻開始,就要給他絕佳的體驗。
*會員經營四部曲:會員行銷創造高業績
- 品牌與客戶互動的四種活動類型:權益行銷預測行銷互動行銷全員行銷
1. 權益行銷就是要用後台的大數據,監測會員的消費狀況,提醒會員可以不斷升級,享受更高的權益。
2. 預測行銷就是要用大數據的概念,建立模組,預測顧客的消費行為,適時推薦他需要的產品。
又可再分為「一般購買行為預測」及「產品購買週期預測」。
- 預測行銷透過關聯法則學習(Association Rule Learning),Amazon及Walmart等零售商,可以知道消費者購買貨品之間的關係,再你買了A產品後推薦你買B產品,或者把B產品陳列在A產品旁邊,大大增加成交的機會,Amazon甚至有30%的營收來自預測行銷。
- 產品購買週期預測:只要掌握每一類產品的購買週期,在消費者的購買點之前,推播他必要的產品資訊、優惠方案等,就可以大大提高產品購買機會,為公司創造更高營收。
產品購買週期是結合消費者行為的預測方法,例如你可以將所有顧客劃分為一個購買週期、兩個購買週期、三個購買週期回來,以及超過三個購買週期未回來的客人,分別給予不同的行銷方案。
例如對於一個購買週期內回來1次以上的客人,表示對品牌及產品的忠誠度極支持度都比較高,可以進一步推薦關聯性的產品組合,進行交叉行銷(Cross-Sales),提高營收。對於超過一個購買週期尚未回來的顧客,可以發送提醒訊息(如問候),加強對顧客的關心,引起他的注意。對於超過兩個購買週期尚未回來的客人,表示這位客人準備進入「冬眠」的狀態,必須包裝更有吸引力的優惠方案,來吸引顧客回籠。
3.互動行銷就是邀請消費者參加專屬的活動,可以分成一對一的線上活動,以及一對多的線下活動。
4.全員行銷也就是只要是會員,不分等級都可以參加這類活動,包括購前提醒、購後致謝、
生日祝福、結婚紀念日慶祝、節慶關懷及新品訊息告知等六小類。
- 當掌握了會員資料之後,會發現還有很多事情可以做,例如:
1.MGM:Member Get Member就是請現有的會員去邀請新會員加入,成功後雙方都可以給予優惠,
無論是傳統品牌或網路品牌都非常適合。
2.異業合作:當手握龐大的會員資料,你賺的就不只是會員財了。可以透過異業合作,
一來為會員爭取權益,二來提高會員貢獻。

VI. 大數據X行銷迷思
- 360度品牌行銷
- 找出問題背後的問題(QBQ,Question Behind the Question)
- 當品牌形象出現問題的時候,採取什麼樣的大數據行銷都沒有用。
消費者對一個品牌失去好感時,無論透過什麼大數據分析、預測、推薦,都引不起消費者的興趣。
市場上不乏這類的品牌,逆勢而為,不斷促銷,打折打到骨折,都就不了這個品牌。
這時候最重要的事,就是品牌再造,而不是大數據或者任何行銷。
- 當我們在談品牌時,是假設產品特色及商業模式已經被消費者接受的,因為商業模式及產品必須走在品牌之前,畢竟「沒有好產品,就沒有好品牌。
靠行銷打出來的品牌,是不會持久的!反過來說,每間公司都會認為自己有一個好產品,
如果光有好產品,沒有好品牌行銷,也是埋沒在茫茫的產品之中。
- 大數據時代,今天的資訊與知識,明天可能就不適用了,所以面對改變唯一不變的就是
「知識與勇氣」。知識是每天吸收新知,不讓資訊與知識過期:
勇氣是擁抱新知識時勇敢踏出第一步,翻轉個人或經營的企業。

2020年4月16日 星期四

演算法下的行銷優勢


演算法下的行銷優勢
  • 數據大多數不是數字。它不全是寫在報表上的量化資料。它是經驗,是報紙報導,是人如何交往、談話的故事。它是敘述性數據。
  • 知識的四種類型
    • 類型1:客觀知識
      • 客觀知識是自然科學的基礎。「我知道2+2=4」,「我知道這塊磚重3磅」,「我知道水是由兩個氫原子與一個氧元子合成的」。這樣的知識不涉及任何真正的省思。
      • 鼓吹客觀知識的人多年來提出多種不同架構,不過我們可以追溯它的歷史,源自十九世界的「實證主義」(positivism)哲學運動。
      • 公司為增加獲利,開始聚焦生產力,以生產為導向的文化應運而生,而客觀測量、保證成果的構想與這種文化頗能切合。就在這波強調客觀熱潮興起的同時,一種新的「現實主義」美學出現了。
    • 類型2:主觀知識
      • 繼客觀知識之後,強調個人意見與感覺的主觀知識登場。認知心理學者研究的,就是這種反映我們內心生活的知識。
    • 類型3:共享知識
    • 類型4:感覺知識
      • 著名經濟學家與歷史學家查爾斯‧金德柏格對銀行家說,想在金融界練就真正的精密,笛福(Daniel Defoe)、巴爾札克(Honore de Balzac)與狄更斯(Charles Dickens)的書都是重要讀物。
  • 就一門學術而言,經濟學是最能從所有四類型知識(包括厚數據與薄數據)中獲益的絕佳例證。既然如此,為什麼這麼多人堅持經即學應該純以客觀知識為範疇?20世紀90年代末期,經濟學大師保羅·薩謬爾遜(Paul Samuelson)談到這種衝突:經濟不是一門精確的科學,而是藝術與科學要件的結合。這幾乎就是我們從經濟學學到的第一個、也是最後一個教訓:根據我的判斷,我們並不是在追求精確,只是在改善我們的數據庫及其相關的推理方式而已。
  • 六個意義建構法程式
    • 一、徵兆與象徵:符號學一直都是了解人類行為的重要部分。研究人員將符號分成兩個部分:符號本身與符號的意義。一多玫瑰花(符號)可能對一個人是愛(符號的意義)的表示,對另一個人而言卻是死亡。每個人都會根據自己的背景與情勢,為符號下定義。
    • 二、心智模型:心智模型是一種分析工具,可以檢驗文字使用的背景,以及文字取得意義的各種方式。以「自由」這兩個字為例,對不同的政界人士而言,意義可能完全不同。
    • 三、尼可拉斯·魯曼(Niklas Luhmann)的社會系統理論:所有專業文化都建構在「二元符碼」(Binary Codes)上。對律師來說,重要的是一個行動合法還是違法。
    • 四、厄文·高夫曼(Erving Goffman)的舞台管理印象論:在1956年出版的人類學研究鉅著<日常生活中的自我表演>(The Presentation of Self in Everday Life>,說明個人如何在社會互動中呈現自我。高夫曼以劇院做比喻說明這些互動,將我們做給外人看的空間稱為「前台」,將我們避開外人、露出原本面貌的空間稱為「後台」。他認為,我們在前台的表現是否成功,取決於後台是否夠隱密、是否能給我們喘息空間。
    • 五、互惠理論: 人類學家馬歇爾·薩林斯(Marshall Sahlines)提出三個給予的模型:強迫性互惠(negative reciprocity)、平衡性互惠(balanced reciprocity)與一般性互惠(generalized reciprocity)。
    • 六、路德維希·維根斯坦(Ludwig Wiffgenstein)的語言理論:在其著作中強調,我們的語言著要不在於文字:重點是觀察,不是長篇大論。
  • 溯因推理的概念能進一步說明這個道理。我們用三種推理來解決問題,分別是溯因、演繹與歸納推理。十九世紀美國哲學家查爾斯·桑德斯·皮爾斯因詮釋這三種推理類型的關係而著名。
    • 演繹基本上屬運算。你首先有一套假設,然後根據這套假定,推斷X或Y為真。我們往往稱這種作法為「由上而下」的推理,因為它從一般推向特定。
    • 另一方面,歸納則以多項前提為開端,逐步推向一個特定結論,因此又稱為「由下而上」式推理。它以特定觀察為起點,然後推項較廣的概論與理論。
    • 溯因推理不以任何假定為起點、甚至不以任何已知或未知預定概念為開端。正因如此,它是唯一可以融入新知識與見解的推理法。這項過程展開之初,你先得撒下數據蒐集與整理的大網,就是桑德斯所謂「開放」。你隨後辨認蒐集到的數據模式。一旦將這些模式綜合整理,一個或幾個理論開始成形。一種具有說服力的見解於是呈現。


2020年4月15日 星期三

世界第一簡單統計學迴歸分析篇

世界第一簡單統計學迴歸分析篇

- 迴歸分析複迴歸分析是「預測數值」的分析方法,
例如:從「最高氣溫」預測「冰紅茶的銷售量」。
從「店面面積」和「與車站的距離」預測「新設分店的單月銷售量」。
- Logistic迴歸分析是「預測機率」的分析方法,
例如:從「吸菸量」和「飲酒量」預測「罹患癌症的機率」。
從「學生出勤課數」和「學生模擬考成績」預測「考進大學的機率」。

第1章 基本知識
- 機率密度函數
- 卡方分布表,代表和下圖斜線部分的機率(=面積)P相對應的橫軸座標。
圖中的X^2稱為卡方。
- F分布表,代表和下圖斜線部分的機率(=面積)P相對應的橫軸座標。
第2章 迴歸分析
- 迴歸式y=ax+b,y稱為「因變數」或「從屬變數」,
x稱為「自變數」或「獨立變數」,a稱為「迴歸係數」。
<迴歸分析的步驟>
Step1.先把自變數和因變數的點畫到座標圖上,看看求迴歸式有沒有意義
Step2.求迴歸式(殘差最小平方法)
-a=x和y的離差積項和/x的離差平方和;b=y平均值-x平均值*a
-迴歸式一定通過(x的平均值,y的平均值)
Step3.確認迴歸式的準確度
-複相關係數(R)代表迴歸式的準確度,也就是代表點和迴歸式吻合程度的指標。
實際上,這只是指實際值y和預測值y的單相關係數而已。
-(複相關係數)的平方稱為「判斷係數」,通常寫為R^2
判斷係數介於0到1之間,迴歸式的準確度越高,判斷係數越接近1,否則越接近0。
-迴歸分析的假設:符合平均為Ax+B,標準差為的常態分佈。
Step4.進行「迴歸係數檢定」
-可確定A是否等於0,若A=0則代表不管X(最高氣溫)是多少,Y(冰紅茶的銷售量)都一樣。
Step5.推測母群體迴歸Ax+B
Step6.預測
- 以上步驟並非每步驟皆缺一不可,若為「敘述統計學」只需做Step1-3,Step6。
例如:小明的年齡與身高。
(因世界上只有一個小明,而小名10歲時身高為150cm,也只有一個值)
所以不需要考慮「推論統計學」的觀點,分析母群體迴歸Ax+B的信賴區間和A<>0是否成立。
- 分析可能會受到時間影響的數據時,最好確定相鄰差的連動狀況,
這種連動狀況稱為序列相關,又稱為自我相關。
表示序列相關程度的指標包括杜賓瓦森序列相關統計量(Durbin-Watson test)

第3章 複迴歸分析
- 只要把複迴歸分析當成「有兩個以上的自變數的迴歸分析」就行了。
<複迴歸分析的步驟>
Step1.先畫好各自變數和因變數的點座標圖,看看求複迴歸式有沒有意義
Step2.求複迴歸式(殘差最小平方法)
Step3.確認複迴歸式的準確度
- 判定係數R^2的缺點:自變數的個數越多,判定係數就越大。
(即使增加的自變數和因變數毫無關係)。
所以要確定複迴歸式的準確度時,需要計算「修正判定係數
(調整自由度後的判定係數)R*^2
Step4.進行「偏迴歸係數檢定」
-有兩種偏迴歸係數檢定:
1.整體檢定偏迴歸係數
2.個別檢定偏迴歸係數
- F分布也可說是基於t分布的「偏迴歸係數檢定」。
Step5.推測母群體迴歸A1x1+A2x2+...Apxp+B
- 需要使用馬氏距離
Step6.預測
- 求「自變數個數少,而且準確度高的複迴歸式」的方法:
變數減少法、變數增減法、變數減增法、總評法...。
總評法
- 以上步驟並非每步驟皆缺一不可,若為「敘述統計學」只需做Step1-3,Step6。
推論統計才需Step1-Step6。
- 複迴歸的因變數必須是「可以測量」的數據,不過自變數可以是:
1.只有「可以測量」的數據
2.有「可以測量」的數據和「不可測量」的數據
3.只有「不可測量」的數據
- 複迴歸分析的自變數只有「不可測量」數據的情況,稱為數量化一類。
- 多重共線性:當自變數之間彼此有密切關聯時,可能會出現下列狀況:
1.求不出偏迴歸係數
2.即使求出偏迴歸係數,數值也會很奇怪,例如本來應該是正數的係數變成負數。
可以用VIF容忍值指標,確定沒有多重共線性問題。
- 自變數之間彼此有關聯時,最好省略其中一個變數再分析。
- 有些人不把複迴歸分析用於預測,而是驗證「每個自變數對因變數的影響程度」。
筆者不是很贊成,因為此種方式是認定了變數的關係和複迴歸分析的結構一樣,
也許真實情況不是如此。
要檢驗「每個自變數對因變數的影響程度」,與其利用複迴歸分析,
不如使用結構方程模型分析。

第4章Logistic迴歸分析
- 最大概似估計法
- Logistic的因變數必須是「機率」,不過自變數可以是:
1.只有「可以測量」的數據
2.有「可以測量」的數據和「不可測量」的數據
3.只有「不可測量」的數據
(例如:「星期三或星期六或星期日」:1代表是這三天其中一天,0代表是其它日子。)
<Logistic迴歸分析的步驟>
Step1.先畫好各自變數和因變數的點座標圖,看看求Logistic迴歸式有沒有意義
Step2.求Logistic迴歸式
Step3.確認Logistic迴歸式的準確度
- Logistic迴歸式只有判定係數(沒有複迴歸係數)
Logistic迴歸式的判定係數比較不容易變大,所以頂多把它當成參考。
要檢驗Logistic迴歸式的準確度,可以用誤判率=事實和分析結果不一致的個體個數/整體個數
也可以利用實際Y與預測Y的點散布圖,求單相關係數值。
Step4.進行「迴歸係數檢定」
- 整體檢定迴歸係數(最大概似比檢定)/個別檢定迴歸係數(Wald檢定)
- 卡方分布有時候會被說為是基於標準常態分佈的「迴歸係數檢定」。
Step5.預測
- 勝算比odds ratio
- 風險比



2020年4月5日 星期日

世界第一簡單統計學

世界第一簡單統計學【修訂版】

第一章 確認資料的種類
- 數值資料、類別資料
第二,三章 掌握資料整體的狀態
- 次數分配表Frequency Distribution Table
- 相對次數分配表 Relative Frequency Distribution Table
- 推論統計學:從樣本的資料推論母體狀況的學問。
- 敘述統計學:藉由整理資料,盡可能簡單明瞭地顯示出整體狀況。
第四章 標準分數和離均差分數
- 標準差Standard Deviation
- 標準化Standardization
- 標準化後的資料稱為標準分數Standard Score
標準分數的特徵:
--無論做為變數的單位是什麼,其標準分數的平均數勢必為0,而其標準差勢必為1。
- 離均差分數 = 標準分數 x 10 +50
--無論做為變數的單位是什麼,其標準分數的平均數勢必為50,而其標準差勢必為10。
第五章 求機率
- 機率密度函數Probability Density Function,PDF
- 常態分配
- 標準常態分配(標準常態分配表)
- 卡方分配Chi Square Distribution(卡方分配表)
- 自由度Degree of Freedom:自由度和斜率一樣,都是會影響圖形形狀的數值。
所以只要自由度的值有所改變,圖形的形狀也會隨之改變。
- t分配
- F分配
第六章 調查2變數的關聯
- 相關係數Correlation Coefficient為表示數值資料和數值資料的關聯程度之指標。
- 共變數Covariance
- 變異數Variance
- 相關比Correlation Ratio為表示數值資料類別資料的關聯程度之指標。
- 克拉瑪相關係數Camer's V:也可稱為克拉瑪的關聯係數、克拉瑪V或獨立係數
為表示類別資料類別資料的相關程度之指標。
- 觀察次數Observed Frequency
- 期望次數Expected Frequency
- 皮爾森卡方統計量
- 交叉資料表
第七章 深入理解獨立性檢定
- 獨立性檢定Test of Indepence也可稱為卡方檢定
- 檢定有許多種類喔
- 在檢定中,下列結論的根據有2種:
(1)檢定統計量是否在拒絕域中
(2)P值是否小於信心水準
- 無論是否為獨立性檢定,其「檢定」分析順序均相同。具體來說,如下所述:
Step1 定義母體
Step2 建立虛無假說對立假說
Step3 選擇進行的「檢定」種類
Step4 決定信心水準
Step5 從樣本資料求出檢定統計量的值
Step6 (1)調查Step5所求出的檢定統計量值,是否在拒絕域
Step6 (2)調查Step5所求出的檢定統計量值相對應的P值是否比信心水準小
Step7 (1)從Step6的檢定統計量在拒絕域之中,則結論為「對立假說正確」
反之,則結論為「無法判定虛無假說為誤」
Step7 (2)從Step6所得的P值若小於信心水準則可作出「對立假說為正確」的結論
反之,則結論為「無法判定虛無假說為誤」
- 檢定的實例
- 獨立檢定和齊一性檢定(test of homogeneity)
- 若檢定統計量的值在拒絕域之中,則作出「對立假說為正確」的結論。
反之,則作出「無法判定虛無假說為誤」的結論。
- 例題和解答


- 所謂「檢定」指的是,由樣本資料來推測分析者針對母體所建立的假說是否正確的分析方法。
- 「檢定」的正確名稱為統計的假說檢定。
- 檢定統計量是將樣本資料轉換為1個數值的公式。
- 信心水準一班都設為0.05或0.01。
- 拒絕域為對應信心水準的範圍。
- 獨立性檢定為推測「母體的克拉瑪相關係數的值是否為0」的分析法。
也可說是推測「交叉資料表中的2變數是否有關聯」的分析方法。
- 若母體的克拉瑪相關係數的值為0,則「皮爾森卡方統計量」為遵守卡方分配。
- 虛無假說若為真,統計性檢定中的P值,
為求出大於或等於本次所求的皮爾森卡方統計量之機率。

2020年4月1日 星期三

數據分析的力量 Google、Uber都在用的因果關係思考法

數據分析的力量 Google、Uber都在用的因果關係思考法
2018/02/26

- 對於「難以導出因果關係的問題」,能夠予以百分之百解決的最佳方法,在醫學與經濟學等學術領域
稱為RCT(Randomized Controlled Trial,隨機對照實驗),在商業領域則稱為A/B測試
- 假如不能使用在現實世界「實際進行實驗」的RCT,可以使用「自然實驗」(Natural Experiment)
,來導出因果關係,它的想法乃是「善加利用彷彿已做過實驗的狀況」。
例如以下方法:
1.善加利用「界線」的RD設計(Regression Discontinuity Design,不連續迴歸設計)
2.善加利用「階梯狀變化」的堆集分析(Bunching Analysis)
3.運用「數個期間的資料」之縱橫資料分析(Panel Data Method)

第1章 從資料導出因果關係為什麼並不容易?
* 難以證明因果關係的原因1:有可能是其他因素造成影響。
-- 難以證明「X對Y造成影響」之因果關係的最大原因,就是
無法排除「Y所以產生變化,或許是受到X以外的其他因素影響」這個可能性。
* 難以證明因果關係的原因2:有可能為反向因果關係。
-- 有些時候也可能為「反向因果關係」(Reverse Causality),意即實際上是「Y對X造成影響」。
* 因果關係不同於相關關係
-- 即使得知X與Y有相關關係,也無法以這項結果證明兩者有因果關係。
* 當X與Y有相關關係時可能發生的三種狀況
1.可能是X對Y造成影響
2.可能是Y對X造成影響
3.可能是V對X與Y雙方造成影響
舉例:
1.可能是廣告(X)對業績(Y)造成影響
2.可能是業績(Y)對廣告(X)造成影響
3.可能是其他的因素(V)對廣告(X)與業績(Y)雙方造成影響
- 大數據無法根本解決前述的因果關係問題。前面探討的「難以正確分析因果關係」之問題,
在統計學上稱為「偏誤」。偏誤(Bias)就是「透過分析得到的估計量之偏差」。
- 資料分析的目的,大多是探討「某因素(X)對結果(Y)有影響嗎?」亦即X->Y的因果關係。
- 「相關關係」是指X與Y互有關聯,與「因果關係」完全不同。
- 無論是經商還是制定政策,一旦誤判因果關係就會出現錯誤決策,從而損失龐大利益或浪費稅金。

第2章 在現實世界「實際進行實驗」――隨機對照試驗(RCT)
- 運用資料分析釐清因果關係的最佳方法就是「隨機對照試驗(RCT)(RCT,Randomized Controlled Trial)。在商業領域,RCT又稱為A/B測試(A/B testing),意指A組和B組進行比對。
- 因果關係帶來的效果,稱為「介入效果」(Treatment Effect),這原本是醫學名詞。
- 雖然我們無法測定一個人的介入效果,卻可以測定
平均介入效果」(ATE,Average Treatment Effect),亦即數個人的介入效果平均數。
- 關鍵概念為介入組與比較組。介入組(Treatment Group)顧名思義,就是受到介入的群組。
反之,比較組(Control Group)是指沒受到介入的群組。有些統計學教科書會譯為對照組或控制組。
- 藉由比較兩個群組來測定平均介入效果時所需的假設:如果沒受到電價上漲之介入(X),
比較組的平均用電量(Yc)與介入組的平均用電量(Yt)就會相同。
* RCT的鐵則1:妥善建立可透過分析測定因果關係的群組,而且一定要設置比較組。
* RCT的鐵則2:一定要隨機分組。
- 實際上該如何進行「隨機分組」?
簡單隨機化法(Simple Randomization)、集區隨機化法(Block Randomization)。
* RCT的鐵則3:各組的樣本數必須充足。
* RCT的優點1:可用科學證明因果關係。因此也能對專家以外的人進行較簡單易懂的說明。
* RCT的優點2:分析手法與結果具透明性,
* RCT的弱點:進行實驗時需要成本、勞力、各組織的合作。

第3章 善加利用「界線」的RD設計
- 如果無法使用RCT該怎麼辦?介紹「自然實驗」手法
- 近年來,經濟學領域相當盛行研究這個問題。所謂的「自然實驗」(Natural Experiment)便是其中一種「善加利用猶如做過實驗的狀況」,可運用在各種場合上的手法。由於這種手法是利用近似實驗的狀況,所以又稱為「準實驗」(Quasi-Experiment),本書則採用「自然實驗」這個名詞。
- 兩者相比,RCT的優點是,資料分析者可設計出最適合進行分析的實驗
反觀自然實驗的優點則是,即使不用RCT那樣的方式實施政策或商業上的介入,依然可以進行分析
- RD設計(Regression Discontinuity Design)又稱為「不連續迴歸設計」
關鍵概念在於不連續(Discontinuity),抑或是界線(Borderline)
- 要探索的因果關係為:醫療費用的自負額(X),是否會對醫療服務使用人數(Y)造成影響。
- RD設計的假設:如果自負額(X)未在界線上變動,醫療服務使用人數(Y)的平均數就不會在界線上發生跳躍。
- 換句話說,RD設計的假設是上圖虛線部分「無法觀察」的資料,因為沒辦法用資料證明這項假設是否是真的正確。分析者能夠做的,只有針對「這項假設應該成立吧」之議題進行討論。
- RCT只要進行隨機分組,比較各組分析因果關係所需的假設即成立,這點可用數學證明。
反觀RD設計等自然實驗手法,無法用數學證明真的成立,只能不斷進行討論。
- 運用RD設計時分析者該做的事:檢驗其他因素是否在界線上發生不連續的跳躍。
*什麼情況會使RD設計的假設不成立?
1. 如果自負額以外的因素,在七十歲時發生不連續的變化,影響到醫療服務使用人數,RD設計的假設就不成立。以年金為例,我們假設七十歲生日一過,年金給付額就會大幅提高。
2. 另一種會使RD設計的假設不成立的情況,就是資料主題能夠操縱圖中橫軸的變數,以前述的例子來說,就是患者能夠謊報自己的年齡。
因此,運用RD設計進行分析時,必須符合「資料主體無法恣意操縱橫軸的變數」之條件。
- 我們可將RD設計想成是在界線附近自然發生的RCT。
*RD設計有什麼弱點?
- RD設計的弱點就是:這個方法只能測定,關於「界線附近的人」之因果關係。
想透過分析求得的因果關係為:自負額(X)對醫療服務使用人數(Y)的影響。
但是我們能利用七十歲之界線以RD設計分析出來的因果關係,
只有「年齡接近七十歲的民眾對自負額有何反應」。
- 假設想測定的因果關係是:2008年8月電價調漲為兩倍(X)是否對電力使用量(Y)造成影響。
因此,這裡需要的假設就是:如果電價未在界線上發生變化(X),電力使用量(Y)就不會在界線上發生跳躍。
- 如同前面的說明,RD設計等自然實驗法「無法證明假設成立」,分析者只能提出「假設應該成立」的證據。

- RD設計的鐵則1:找出在「界線」上,僅一種因素(X)發生「不連續」變化的狀況。
- RD設計的鐵則2:檢查X以外的因素,有無在界線附近發生不連續的變化。
- RD設計的優點1:假設若成立,即可利用界線附近類似RCT的狀況。
- RD設計的優點2:分析具透明性,可用圖呈現主要結果,方便分析者以外的人理解。
- RD設計的優點3:由於商業與政策方面的各種場所、場面,均存在可運用RD設計的「界線」,這可說是無法實施RCT時的有效分析手法之一。
- RD設計的弱點1:RD設計需要的假設,無法證明成立,只能提出可能成立的根據,這點跟RCT相比是很大的弱點。
- RD設計的弱點2:RCT可針對全體受測者主張因果關係,反觀RD設計只能針對界線附近的資料主張因果關係,因此有些時候缺乏可用性。

第4章 善加利用「階梯狀變化」的堆集分析
- 推集分析(Bunching Analysis)是善用階梯變化探究因果關係的手法。
- 堆集分析關注的是橫軸變數的變動。反觀RD設計則是利用「無法操縱橫軸的變數」之狀況,兩者在這點上有很大的差異。
- 堆集分析的鐵則1:評估某個呈階梯狀變化的誘因(商品的價格或折扣、所得稅之類的稅金
、政府發放的輔助金等)能否用於分析。
- 堆集分析的鐵則2:必須確定呈階梯狀變化的,只有想透過分析釐清的因素(X)而已,
其他因素不會在級距的分界點附近發生不連續的變化。
- 堆集分析的鐵則3:分析誘因大幅變化的分界點上發生的堆集,檢驗人或企業對誘因的變化有何反應之因果關係。
- 堆集分析的優點1:只要分析所需的假設成立,便可利用界線附近類似RCT的狀況。
- 堆集分析的優點2:分析具透明性,可用圖視覺化呈現分析結果,方便分析者以外的人理解。
- 堆集分析的優點3:由於商業與政策方面的各種場所、場面,均存在「誘因呈階梯狀變化的狀況」,這可說是無法實施RCT時的有效分析手法之一。
- 堆集分析的弱點1:分析所需的假設,無法證明成立,只能提出可能成立的根據,這點跟RCT相比可說是很大的弱點。
- 堆集分析的弱點2:RCT可針對全體受測者分析因果關係,反觀堆集分析只能分析對呈階梯狀變化的誘因產生反應的主體(堆集的主體),因此有些時候缺乏可用性。

第5章 運用「數個期間的資料」的縱橫資料分析
- 若是沒有適合的界線就無法使用前兩章介紹的方法,因此介紹「縱橫資料分析」。
- 假設政府推動某項政策時,或是企業實施某項措施時,有的群組受到介入的影響,有的群組沒受到影響。在這種狀況下,就算資料分析者沒進行RCT之類的實驗,也會自然形成介入組與比較組。而且,只要有了雙方受到介入前後的資料,理應就能進行相當具說服力的因果關係分析。這就是縱橫資料分析的基本概念。
- 因此,這種分析方法又稱為差異中的差異法(Difference-in-differences methods)
另外,由於這種方法去除了各組不隨時間改變的固定效果,所以也稱為固定效果估計法(Fixed effect estimation)
- 縱橫資料分析需要的假設,即是以下要談論的「平行趨勢假設(Parallel Trend Assumption)」。
- 縱橫資料分析的假設:如果沒發生介入,介入組的平均結果(Yt)和比較組的平均結果(Yc)就會平行推移(平行趨勢假設)。
- 對雙方造成相同程度影響的因素,稱為共同衝擊(Common Shock),換言之,就算發生了某種衝擊
,只要雙方共同發生就不成問題。
- 如果能取得數個群組數個期間的資料,便有機會運用縱橫資料分析。
- 縱橫資料分析的鐵則1:先確定能否取得介入發生前後,介入組和比較組雙方的資料。
- 縱橫資料分析的鐵則2:檢驗「平行趨勢假設」是否成立。
- 縱橫資要分析的鐵則3:若判斷平行趨勢假設很可能成立,就將雙方的平均數推移製成圖表,測定介入效果的平均數。
- 縱橫資料分析的優點1:只要蒐集得到需要的資料,可應用範圍會比RD設計及堆集分析更大。
- 縱橫資料分析的優點2:分析具透明性,可用圖表視覺化呈現分析結果,方便分析者以外的人理解。
- 縱橫資料分析的優點3:RD設計與堆集分析的可分析對象範圍較小,反觀縱橫資料分析可針對隸屬於介入組的所有主體分析介入效果,這點上更勝一籌。
- 縱橫資料分析的弱點1:分析所需的假設無法證明成立,只能提出可能成立的根據,這點跟RCT相比可說是很大的弱點。
- 縱橫資料分析的弱點2:跟RD設計及堆集分析的假設相比,「平行趨勢假設」非常難成立
,實際上大多會被推翻。

第6章 實踐篇:如何將資料分析應用在經商或政策制定上?
- 大多數人每天的時間都被業務占去,實在很難自行分析資料。在這點上,資料分析專家能夠提供許多服務,例如掌握問題、檢驗該分析的問題、檢驗回答問題所需的資料、設計RCT或自然實驗,以及最後的分析和簡報,因此和他們建立合作關係便可解決許多問題。

第7章 進階篇:了解資料分析的不完全性與極限
- 假如資料本身有問題,分析手法在出色也難以解決問題。
- 分析結果的「外在效度」(External Validity)問題。
- 出版錯誤與夥伴關係偏誤問題。
--出版偏誤(Publication Bias)是指發生以下狀況的偏誤。假設某研究者要檢驗「X對Y造成的影響」之因果關係,分析之後發現「影響為零」,也就是說兩者毫無因果關係。這個結果本該是有用的科學發現才對。
- 介入存在「外溢效果」時的注意要點
--稱為介入的外溢效果(Spillover Effect),也就是說,原以為只有介入組能得到好處的介入,以某種形式影響到比較組。
如果介入存在外溢效果,比較組就不再是單純的比較組了。
如此一來,就算比較介入組與比較組的結果差異,也無法正確估計介入效果。
- 了解每種資料分析手法均存在不完全性與極限十分重要。
- 若從外在效度與內在效度這兩個角度來看,何種分析手法較為出色則視狀況而定。
- 資料分析的結果,存在「出版偏誤」與「夥伴關係偏誤」問題,若結果不如資料分析者或資料分析夥伴的預期,就有可能不會公開發表。
- 如果介入組受到的介入也會對比較組產生外溢效果,就必須注意。
- 如果介入會產生一般均衡效果,小規模實驗的結果就有可與大規模政策的結果不同,因此若要將RCT或自然實驗的成果推論到大規模的介入,就必須深思熟慮。

第8章 給想進一步學習的人:參考書籍介紹
- 本書省略了需要高階數理統計知識的分析手法(工具變數法、匹配法、合成對照群法
、離散選擇法、結構估計法等)。
- 本書的內容,在學術上屬於「計量經濟學」領域。在計量經濟學的書籍當中,
本書算是「聚焦於資料分析的實踐層面、學習計量經濟學的超級入門書」。
- 讀完入門書後的中階書(經濟學學院大學生程度)與高階書(研究所程度)。
學習這個階段的課程時,重要就是要挑選包含1.計量經濟學理論的理解
2.具體應用事例的介紹3.資料分析的練習這三個項目,且能均衡學習的教科書。