顯示具有 統計分析 標籤的文章。 顯示所有文章
顯示具有 統計分析 標籤的文章。 顯示所有文章

2024年9月5日 星期四

雜訊:人類判斷的缺陷(下)

雜訊:人類判斷的缺陷
Daniel Kahneman, Olivier Sibony, Cass R. Sunstein

第四部 雜訊的發生
13 捷思法、偏誤與雜訊
- 如果許多人都有共同的偏誤,心理偏誤就會造成統計偏誤。
然而,在許多情況下,人們的偏誤各有不同。這些時候,心理偏誤會產生系統雜訊。
15 量表
- 水準雜訊是陪審員在整體嚴厲程度的變異。
型態雜訊是某個陪審員在某個案件的反應相對於自己審判結果平均值的變異。
- 我們可以把片段的整體變異分解成三個要素:
判斷的變異=公正懲罰的變異+(水準雜訊)^2+(型態雜訊)^2
- 量表的選擇對於判斷的雜訊量會造成非常大的差異,因為模糊的量表有雜訊。
- 以相對判斷取代絕對判斷有可能降低雜訊。
16 型態
- 型態誤差的產生,綜合著暫時因素與長期因素。
暫時因素包括我們描述為場合雜訊的因素,像是在重要時刻遇到法官心情不錯,或是法官當下剛好想到最近某些不幸的偶發事件。有些因素更為長期,像是雇主特別喜歡就讀某幾所大學的人,或是醫師特別傾向於建議感染肺炎的人住院。我們可以用一條簡單的等式表達單一判斷裡的誤差:型態誤差=穩定型態誤差+暫時(場合)誤差
-由於穩定型態誤差和暫時(場合)誤差是獨立、不相關的事件,因此我們可以延伸上述等式,分析它們的變異:(型態雜訊)^2 = (穩定型態雜訊)^2 +(場合雜訊)^2
- 而對專業判斷來說,變異是問題,雜訊是誤差。
這個類比的重點在於,判斷裡的型態雜訊並非隨機事件,我們不太可能解釋型態雜訊,即便是做出不同判斷的個人也無法解釋他們的判斷。

17 雜訊的來源
- 誤差可以拆解為偏誤和系統雜訊。
- 系統雜訊可以拆解為水準雜訊和型態雜訊。
- 型態雜訊可以拆解為穩定雜訊和場合雜訊。
第五部 提升判斷力
21 預測的挑選與總合
- 預測(以及預測出錯的時間與出錯原因)分析師對於偏誤和雜訊(也稱為預測得不一致或不可靠)分得一清二楚。大家都同意,在某些背景下,預測人員會有偏誤。例如,官方機構對預算的預測上就顯現不切實際的樂觀。平均而言,他們對經濟成長的預測高得脫離現實,赤字預測也低得不真實。實際上,他們不切實際的樂觀究竟是認知偏誤或政治考量的產物,根本無關緊要。
- 預測者也有雜訊。史考特·阿姆斯壯的參考書<預測原理>(Principles of Forecasting)就指出,即使在專家之間,「判斷性預測的一項誤差來源是不可靠性。
事實上,雜訊誤差的主要來源。場合雜訊是常見現象;預測者自己的意見都不一定前後一致。人與人之間的雜訊也很普遍;預測者彼此的意見會有分歧,即使他們都是專家也是一樣。
- 在數學上,平均法是減少雜訊的保證:具體而言,會使雜訊減少到「1-(1/判斷數量得平方根)」的水準。也就是說,如果你用100個判斷值求取平均值,就能減少90%的雜訊,而如果你用400個判斷值求取平均值,就能減少95%的雜訊,基本上會把雜訊消除。這條統計法則是群眾智慧法的引擎
- 由於平均法無法減少偏誤,它對總誤差(均方差)的影響取決於偏誤和雜訊在均方差裡的占比。所以,在判斷屬於獨立、因而比較不會包含共同的偏誤時,群眾智慧的效果最好。
實證上有充分的證據顯示,多個預測時的平均能大幅增加準確度,例如,股市分析裡經濟預測人員的「共識」預測。至於銷售預測、氣象預測和經濟預測,一群預測人員未經加權的平均值,表現優於大部分的個別預測值、有時勝過全部得個別預測值。
- 布里爾分數讚賞的是校準度和辨析度俱佳。要拿高分,你不只必須在平均值上正確(也就是有不錯的校準度),也必須願意採取立場,在預測上做出差異(也就是高辨析度)。布里爾分數遵循均方差的邏輯,因此分數越低越好:0代表完美。
23 績效評鑑量表的制定
- 系統雜訊如何拆解這三個要素(水準雜訊、型態雜訊和場合雜),結論因研究而異。

第六部 雜訊的最適水準
26 減少雜訊的成本
- 歧視也可能來自原始資料。如果演算法是根據有偏誤的數據庫訓練而成,它也會有偏誤。
以「預警性警務(predictive policing)演算法為例,這套演算法意在預測犯罪,通常是為了改善警務資源的配置。如果現存與犯罪有關的數據反映某些區域的警力過度部屬,或是某些類型罪刑的報案量相對高,那麼由此而來的演算法也會持續或加重歧視。只要訓練用的資料有偏誤,就相當有可能設計出把歧視編寫進去的演算法,無論這是出於有心或是無意。確實,以此而言,演算法可能更糟糕:由於它們會消除雜訊,因此會比人類判斷有更嚴重的偏誤。

綜述與結論 正視雜訊問題
- 系統雜訊可以拆解成水準雜訊型態雜訊。有些法官通常要比其他法官來的嚴厲,還有一些法官則比較寬容;優些預測者通常看好市場前景,有些則看壞;有些醫師開立的抗生素比其他醫師來得多。
水準雜訊是指不同個體平均判斷的變異。判斷尺度得模糊性就是水準雜訊的一個來源。像有可能這樣的文字描述或是數字(如「0到6分當中的4分」),每一個人的感受並不相同。水準雜訊是判斷系統裡誤差的重要來源,而且是採取干預措施來減少雜訊的重要瞄準目標。
- 系統雜訊還包括另一個占比通常更大的雜訊。無論兩個法官的平均判斷為何,他們對那些罪刑該判處較重的刑罰可能有不同的看法。他們的判刑決定在所有案件會產生不同的排序。我們稱這種變異為型態雜訊(用統計術語來說,就是統計交互作用statistical intercation。
- 型態雜訊的主要來源是穩定的:就是不同法官因為個人特質而對同個案件有判斷差異。有些差異法而反映人遵守的原則或價值觀,不管在做判斷時是否有覺察到這一點。例如,有一個法官可能在店內行竊的扒手特別是嚴厲,對違反交通規則的人則比膠寬容,另一個法官則剛好相法。有些潛藏人心的原則或價值觀可能相當複雜,法官人也許不會覺察。例如法官對於店內行竊的年長扒手會無意識地採取相對寬容的態度。最後,對某一個案件的高度個人化反應也是穩定的。如果法官發現被告自己的女兒很像,可能會出生在同情心,而背對告比較寬容。
- 這種穩定的型態雜訊反映出法官個人的獨特性:他們對每一個案件的反應就像個性一樣因人而異。人與人之間的微妙差異通常沒什麼不好,而且很有趣,然而如果是在一個假定應有一致性的系統當中,專業人士的個人差異就會變成問題。在我們調查的研究當中,個人差異產生的穩定型態雜訊通常是系統雜訊的最大來源。不過,法官對特定案件的獨特態度仍不是完全穩定的。型態雜訊含有一種暫時的成分,稱為場合雜訊

- 如果一位放射科醫師在不同的日子對同章醫療影像做出不同的診斷,或是指紋鑑識人員在某一個場合下鑑定指紋辨識的結果是吻合。這像這些例子一樣,當法官不記得之前承諾過某一個案件時,某一個不相干的特點對判斷所產生的影響,如法規支持的球隊獲勝,法官在量行時就會變得寬容,或是醫生在一天門診快結束時,比較可能會開鴉片指通要。
- 心理偏誤是系統偏誤或統計偏誤得一個來源。其實,心理偏誤也是雜訊的來源,只是不是那麼明顯。並非所有的判斷者都有同樣的偏誤,在偏誤程度不一、而且偏誤的影響取決於外部的環境之下,心理偏誤就會產生雜訊。例如,做雇用決策的一群經理人當中,有半數的人對女性有偏見,還有半數的人則偏好雇用女性,整體偏誤為零,但系統雜訊仍會造成很多錯誤的雇用決策。另一個例子則是第一印象的效應往往不成比例。這是一種心理偏誤。在隨機呈現證據的順序之下,這種心理偏誤會帶來場合雜訊。

2024年8月11日 星期日

雜訊:人類判斷的缺陷(上)

雜訊:人類判斷的缺陷
Daniel Kahneman, Olivier Sibony, Cass R. Sunstein

- 圖1:四個隊伍:B隊有偏誤(biased),因為這五發都沒射中靶心,而且都偏到同一個角落。
我們可以從這種偏誤的一致性得到這樣的預測:如果這個團隊中有人再射擊一次,
也會跟前五槍一樣落在同一個角落這種偏誤一致性也許有原因可循:該隊的步槍瞄準器可能歪掉了?

我們認為C隊有雜訊(noisy),因為彈著點很分散。由於彈著點幾乎都在靶心四周,所以沒有明顯錯誤。若是團隊中有人再射一槍,我們無法預測可能的落點。
因此,我們也無法從C隊的結果推想出任何有意思的假設。
我們只知道這一隊的人幾乎都是生手,但不知道為什麼這個隊伍的表現充滿雜訊。
- 場合雜訊(occasion noise)

第一部 尋找雜訊
03 單一決策
- 單一決策向來被視為與大型組織中可互相替代的人員經常做出的重複決策不同。
社會科學學者研究重複性決策,高風險的單一決策則是歷史學家和管理大師的研究範圍。
這兩種決策的研究方法截然不同。
重複決策的分析通常傾向利用統計學,社會科學家也會評估很多類似決策,
以辨識規模、規律性,並衡量準確性。相比之下,單一決策的討論通常會採用因果關係的觀點,而且是在事情發生之後才檢視,把焦點放在找出事情發生的原因。
歷史分析,如成功或失敗的管理案例研究,旨在了解一個本質上獨一無二的判斷是如何做出來的。
- 換言之,我們無法衡量單一決策的雜訊,然而我們可以透過反事實思維(counterfactual thinking)
肯定雜訊的存在。如某個射擊手的手不能保持穩定時,彈著點可能會落在其它地方,決策者及決策過程的雜訊,意味單一決策可能會有所不同。

第二部 你的頭腦也是一把尺
05 誤差的測量
- 偏誤和雜訊在誤差的作用,可以簡單的用所謂的誤差方程式來表達。
第一個等式把單次測量中的誤差分解成兩部分,
也就是你現在熟悉的偏誤(平均誤差),以及殘留的「雜訊誤差」
當誤差大於偏誤時,雜訊誤差為正值,誤差小於偏誤時,雜訊誤差為負值。雜訊誤差的平均值為零。
- 第一個誤差方程式沒有什麼新意:單次測試的誤差 = 偏誤 + 雜訊誤差
- 第二個誤差方程式是均方差,也就是我們現在介紹的總體誤差
利用簡單的代數即可顯示出,均方差等於偏誤的平方加上雜訊的平方
(請回想:雜訊是測量的邊準差,與雜訊誤差的標準差相同。)
因此:
- 總體誤差(均方差) = 偏誤^2 + 雜訊^2
- 而預測和估計的目標就是在準確度(accuracy)最高(偏誤最小)
精確度(precision)最高(雜訊最小)下接近真正的數值。
- 決策者必須考量多種選擇,並運用自己的價值觀做出最佳選擇。
但這些決策都必須以價值中立的預測為基礎,目標是準確(盡可能接近靶心),
而均方差就是衡量誤差最適當的方法。只要偏誤不會大幅增加,減少雜訊將能改善預測性判斷。

06 雜訊分析
- 誤差的兩個構成要素就是偏誤和雜訊。
- 如圖9的黑色箭頭所示,水準雜訊是2.4年,系統雜訊為3.4年。
這樣的差異代表系統雜訊要比個別法官平均嚴厲程度的差異來得要大。
這是雜訊的另一種成分,我們稱為型態雜訊(pattern noise)
- 依照誤差方程式把誤差分解成偏誤和雜訊的邏輯把系統雜訊分解為水準雜訊和型態雜訊。
- 系統雜訊的方程式:系統雜訊 = 水準雜訊^2 + 型態雜訊^2。
- 系統雜訊是指多人對同一個案件的判斷出現令人討厭的變異性。
我們已經找出系統雜訊的兩個主要成分:
   1.水準雜訊是不同法官判斷平均水準的變異。
   2.型態雜訊是法官對特定案件反應的變異。
- 在這個研究中,水準雜訊與型態雜訊的數量大致相等。
然而,我們認為型態雜訊必然包含一些場合雜訊,可以把場合雜訊當作隨機誤差。
- 水準雜訊就是不同法官呈現出不同的嚴厲程度。
型態雜訊是指不同法官對某一個被告更嚴厲或更寬容而出現意見分歧的狀況。
型態雜訊當中包含場合雜訊,這是指法官自己有不同的意見。

07 場合雜訊
- 群眾智慧效應
- 辯證性的自我重複抽樣法(dialectical bootstrapping)
- 賭徒謬誤(gambler's fallacy)

08 群體如何擴大雜訊
- 社會影響是個問題,因為它們「減少群體的多樣性,卻沒有減少集體誤差」。
諷刺的是,多項獨立意見妥善的總合起來,有可能達到驚人的準確度,不過即使只有一點點社會影響,都可能會產生一種羊群效應,破壞群體的智慧。

第三部 預測性判斷中的雜訊
- 我們需要一個衡量預測準確性的方法,藉此回答這個問題:預測與結果的共變異性(co-vary)為何?
如果人力資源部門經常評估新進人員的潛力,我們可以等幾年後再來看看員工表現,確認他們的潛力評級與績效評即有多大的共變異性。如預測準確,新進員工的潛力評級高,工作表現也會得到高度評價。
-有一種測量方法可以呈現這種直觀判斷,也就是和諧率(percent concordant)
和諧率可以回答一個更具體的問題:若隨機抽選兩名員工,
潛力評級較高的人績效評估也比較高的機率是多少?如果早期的評級是完美的,和諧率應該是100%。
- 舉個更簡單的例子,成年男性腳長(鞋碼)與身高的和諧率是71%。
如果你看兩個人,先看他們的頭,再看他們的腳,有71%的機率是較高的人有較大的腳。
- 和諧率是一個衡量共變異性的直觀指標。這種方法有很大的優點,但不是社會學家使用的標準指標。標準指標是相關係數(correlation coefficient,常用r表示)
當兩個變數正相關時,相關係數會在0與1之間。在前面的例子中,身高與腳長的相關係數為0.60。
- 客觀的無知(objective ignorance)

09 判斷與模型
- 你的估算就是所謂的臨床判斷(clinical judgment)。你考慮得到的訊息,或許很快計算一下,
並利用自己的直覺,最後得出判斷。
- 判斷的雜訊太多,因此沒有雜訊的判斷者模型,會比人類判斷者的預測更準確。
- 多元迴歸(multiple regression)
- 機器預測(mechanical prediction)

10 無雜訊的規則
- 很多機械方法都能勝過人類判斷,從簡單到近乎可笑的規則、到最複雜難解的機器演算法都是如此。會有這樣的突出表現有個關鍵的原因,那就是機械方法是沒有雜訊的。

- 相同權重的公式稱為非最適線性模型(improper linear model)。
Robyn Dawes的發現驚人之處在於,這些相等權重模型(equal-weighted model)的準確度與
「最適」(proper)迴歸模型差不多,而且遠遠優於人類的臨床判斷。
- 多元回歸計算出使平方誤差最小的「最佳」權重。但多元迴歸使得原始數據中的誤差最小。
因此,這裡的公式會自我調整,藉此預測數據中每個隨機偶然的因素。
例如:如果樣本中有些經理人擁有高度的技術技能,而這些經理人也因為不相關的原因表現得特別好,那麼這個模型就會誇大技術技能的權重。
- 要正確衡量一個模型的預測準確度,要看這個模型的新樣本中的表現,
也就是其交叉驗證相關性(cross-validated correlation)。

12 常態之谷
- 只要有因果關係,就有相關性。由此可見,凡是因果關係,我們應該能夠預測,
而相關性,也就是這種推論的準確性,則是用來衡量我們對因果關係的了解有多少。
- 運用統計學思維(statistical thinking):你關注的是全體,以及描述這些家庭的統計數字,包括平均數、變異數、相關性等等,你不是把焦點放在個別的案例上。
- 因果思維(casual thinking)會創造特定事件、人物、物體相互影響的故事。

2022年4月9日 星期六

因果經濟學:數據氾濫時代,不可或缺的商業教養

因果經濟學:數據氾濫時代,不可或缺的商業教養

- 掌握因果關係的五步驟
1.「原因」是什麼?
2.「結果」是什麼?
3.確認三項要點
   (1)是不是「純粹的巧合」?-- 偽關係
   (2)是否存在著「第三變數」?-- 是否存在同時影響原因、結果雙方的「第三變數」,
其專有名詞為「混淆因素」。會讓單純只有相關關係的事物,看起來彷彿具有因果關係。
   (3)是否存在著「反向因果關係」?
4.創造出反事實
- 為了證明因果關係的存在,必須試圖比較原因發生時、「事實」情況下的結果;
以及原因未發生時、「反事實」情況下的結果。
5.調整至具可比較性
若在兩個群組之間,人口、平均所得、對流行的敏銳度等可能會影響珠寶飾品營業額的所有特徵都相差無幾,兩個群組之間的唯一差異就是「有沒有刊登廣告」的話,我們就可以稱此兩群組具有「可比較性」。
- 所有方法的共同目標都是「創造出具可比較性的群組,並用近似值代入反事實」。

第三章 男性醫師是否比女性醫師更優秀? 
- 隨機對照試驗在證據等級上的可信度很高,但是要實際執行隨機對照試驗並不是件容易的事。
- 使用隨機對照實驗,收集而來的數據稱為「實驗數據」,
而像這樣從日常經濟活動的結果中得到的數據,則稱為「觀察數據」。
- 自然實驗:是指透過法律或制度的變更、自然災害等「外部衝擊」的影響,
自然地讓研究對象被分為受干預的群組(實驗組)與未受干預的群組(對照組),
研究者利用這樣的狀況,進而檢驗因果關係。

第四章 增設合法保育所,母親就能去上班嗎? 
- 模擬實驗的「準實驗」:
是利用觀察數據與統計方法,創造出與隨機對照試驗非常相似的狀態。
將介紹以下四種「統計方法」:
1.差異中之差異法
2.工具變數法
3.斷點回歸設計
4.配對法
-改良事前事後比較研究的「差異中之差異法」:和事前事後比較研究不同的是,
差異中之差異法必須具備充當反事實的「對照組」。
- 差異中之差異法:是在受干預的群組(實驗組)未受干預的群組(對照組)之中,
取出干預前後的結果差異、以及干預後實驗組和對照組的差異;再取上述兩項差異的差。
但是,這項方法必須滿足兩項先決條件才會有效。
第一項條件:是實驗組與對照組在干預前的「趨勢」結果必須相同
也就是「趨勢」必須具「可比較性」。
第二項條件:是在干預的時間點,實驗組與對照組之中並未個別出現其他可能會影響結果的變化。

第五章  看電視會降低孩子的學習力嗎?    
- 工具變數法:利用「只能透過影響原因、間接影響結果」的工具變數,
讓受到干預的群組(實驗組)與未受干預的群組(對照組)具可比較性。
若要讓這個方法有效,必須滿足兩項先決條件。
第一項條件:是具變數雖然會影響原因,但不能直接影響結果;
第二項條件:則是這其中不存在會同時影響工具變數與結果的第四變數。

第六章 和會讀書的朋友來往,學習力就能提升嗎? 
- 斷點回歸設計:將任意決定的閥值兩側分為實驗組與對照組,藉此推斷因果效應的方法。
要讓斷點回歸設計成立的先決條件,是確保閥值附近沒有任何其他可能會影響結果的事件

第七章 就讀偏差值高的大學,收入就會提升嗎? 
- 「傾向分數」是將複數的共變量統整為一個分數,再利用該分數進行配對。
所謂的傾向分數,就是指「能對應到實驗組的機率」。
- 所謂的共變量,指的是扣除原因與結果之後剩下的所有變數。
比方說,在你手邊已有數據時,除了原因與結果以外的變數皆是共變量。
混淆因素則是共量變之中「同時對原因與結果帶來影響」的變數。
也就是說,在共變量之中,包含混淆因素與並非混淆因素的變數。
- 配對法:這項方法,使用可能會影響結果的共變量,從對照組之中找出與實驗組非常相似的樣本進行配對,並進而比較的方法。
在有許多共變量的情況之下,可將所有共變量統整為一項數值進行配對(傾向分數配對)。
讓配對法成立的先決條件,是必須能夠觀測所有可能對結果造成影響的共變量。

第八章    便於分析現有數據的「回歸分析」
- 以色列裔美籍計算機科學家茱迪亞·珀爾(Judea Pearl)開發出利用DAG圖(因果圖)
來釐清因果關係的方法。在此之後,透過哈佛大學的James Robins,Miguel Hernan以及
加州大學洛杉磯分校的Sander Greenland等人的努力,因果圖開始被醫學與流行病學所廣泛接受。
- 由於混淆因素是「對原因與結果雙方帶來影響的第三變數」,
因此,當劃出同時往原因與結果的雙向箭頭時,這個第三變數就能被視為混淆因素。
- 一旦確定出混淆因素,就必須使用配對法複迴歸分析來去除混淆因素的影響,
否則就無法正確定評估因果關係。
相對地,若從原因指向第三變數的箭頭方向顛倒時,我們就能得這個第三變數並非混淆因素(由於他位於因果關係的中途點,又被稱為「中介變數」。
萬一用複迴歸分析處理中介變數,就會低估原因本來會造成的影響。

延伸閱讀:
-哈佛大學經濟系知名計量經濟學家圭多·因本思Guido Imbens、
麻省理工學院的勞動經濟學家約書亞·安格里斯特,和唐納德·魯賓合著-
魯賓因果推論模型(Rubin Causal Model)。
-魯彬與因本思共著-Causal Inference for Statistics,Social,and Biomedical Sciences:An Introduction

分析的「效度」與「極限」
- 內部效度指的是兩個變數之間,具有因果關係的可信度。
也就是當同一批研究對象群組再次受到相同的干預時,就能夠在多大的程度上得到相同的結果。
相對地,外部效應是指當不同於原先研究對象的群組受到相同干預時,能夠在多大的程度上得到相同的結果。

2021年7月16日 星期五

統計學,最強的商業武器(商務篇)

 統計學,最強的商業武器(商務篇):把數據資料轉換成獲利能力的智慧

第1章 用於經營策略的統計學

- 對於相差懸殊的資料,有時先做「取對數」處理,再用於分析,結果會更為貼切。
- 對於解釋變數的組合也可能產生疑問。可藉由加入「相乘之值」(稱為交互作用)
作為解釋變數來分析的方式以獲得答案。
- 也有一種將解釋變數的平方值(稱作平方項)納入分析的技巧可用。
- 即使分析得不夠完整,「似乎能賺到30億日圓」的分析結果一值無法實現的狀態,
和開始採取行動「投入幾千萬日圓來嘗試驗證」這兩者,到底何者較為明智?
- 在進行與經營策略有關的分析時,做為分析對象的企業數量往往有限,
就算可能的解述變數多達一百個,也很難全都用上。因此,必須以逐步排除法等變數選擇演算法,
以及你自己的眼睛來做取捨,將影響獲利的重要解釋變數給挑出來
- 變異量成分分析(Components of Variance Analysis或Variance Components Analysis)
它可被理解為包含隨機效果(Random Effects)之混合效果模型(Mixed Effects Models)的一部分。
- 一般的多元迴歸分析屬於固定效果模型(Fixed Effects Models)

第2章 用於人事的統計學

- 羅吉斯迴歸結果的解讀:比值比(Odds Ratio)
對於像性別這種質化的解釋變數,會採取
當解釋變數符合某條件時,為優秀員工的機率大約會變成幾倍」的解讀方式。
而對於量化的,像人格五大特質的得分或支出的費用金額等以數字大小表示的解釋變數,
則要採取這些數值「每增加1,為優秀員工的機率大約會有增加為幾倍之傾向」的解讀方式。
- 95%的信賴區間代表的是,收集無限多數據應該就能得知的比值比「大概就在這個範圍內」。
此範圍的兩端若是都比1大,或反之都比1小的話,p值應該會小於0.05,亦即都表示了此結果
不太可能是單純由資料的變動性所造成」,是可信賴的。

第3章 用於行銷的統計學

- 「不考慮顧客需求,總之大量販賣相同產品,成本才能壓低」與
「曾對每位顧客的需求販賣對應產品,才容易銷售」這兩者的平衡,
在現代行銷中是以所謂「市場區隔(Segmentation)」的觀念來解決。
簡言之,就是將市場整體分割(區隔)成數個需求或生或風格相似的小群體(Segment),以思考行銷策略。
- 而考慮要集中火力針對這些區隔中的何者進行行銷這件事,也稱為目標市場選擇(Targeting)
- 一旦能決定出鎖定的顧客族群,並充分理解這些的人,接著便可考慮「要賣什麼,又要如何賣?
具體來說,「要賣什麼」指的就是所提供的商品及服務,
而在那之前應先於抽象層次「用一句話來解釋」自己打算賣的東西
亦即應先思考定位(Positioning)這點,也是現代行銷的準則之一。
- 行銷數據分析的步驟
  1. 設定分析的目標對象
  2. 包含應分析變數的資料收集
  3. 分析所得之資料
  4. 解讀與行動的規劃
- 多元迴歸分析也好,羅吉斯回歸也罷,都是基於出現在分析結果中的解釋變數
彼此之間無加乘效果或相互作用(在專業術語中稱之為交互作用)」
此一假設,來推估解釋變數和成果之間的關聯性。
- 例如:若有一批資料所畫出的圖表如上圖所示,那麼從這批資料能得到的多元回歸結果。
在此例中,女性的平均消費金額高於男性但未必呈現出年齡越大消費金額越高的傾向。
而男性雖然平均消費金額低於女性,可是隨著年另增加,消費金額卻有隨之升高的趨勢。
在這種情況下,會得到「若性別相同,年齡大的比較會買」且「若年齡相同,女性比較會買」的結果。
不過,實際上消費金額最高的市場區隔,是位於圖右上方的「60歲以上的男性」。
這是因為被忽略了基礎假設「解釋變數之間的交互作用」實際上真的存在的關係。
雖然光是年齡大這件事與消費金額沒有關聯性,但卻存在有「為男性且年齡大」的交互作用。
- 聚類分析所用的變數要能夠提示「怎樣的行銷策略可能有效」,或者更具體地說,
怎樣的產品、價格、通路、促銷是較為合理的
而一旦獲得足以為所有聚類命名的具說服力的分析結果,便要進行成果的比較。
換言之,像是做為成果的運動服飾之年平均消費金額,或者肯定與該成果相關的消費次數、
所購買的商品數量、單次的消費金額等解釋變數,都最好別用於聚類分析。
- 在市場區隔方面,基於交互作用的問題,「就算將所有具顯著影響力的解釋變數都組合起來,也不見得就能成為理想的市場區隔」,但在定位方面卻非如此。若能藉由可用一句話表達的定位,
將出現在分析中的所有解釋變數都改變成能讓成果提高的狀態,就是個非常好的策略。
- 之所以會有這樣的差異,應該是因為相對於市場區隔是在做「選擇」定位則是在「符合條件」
要「選擇」具有某種特徵的東西時,就等於「不選」不具該特徵的東西,
但要同時「符合」多種特徵並非不可能。
- 只不過一旦試圖同時符合太多條件,定位往往就會變得不夠清楚,而無法以一句話來表達,
那樣就本末倒置了。因此,首先要選出主要的行為控制因素,然後再思考有無容易同時符合的條件。
- 比值比迴歸係數p值等雖可做為大略的標準,提供思考策略時的線索,
但卻無法告訴我們「要製造出這種變化,到底有多少實際上的可能性」
這些所顯示的不過是「一旦製造出變化,可能產生多大影響」罷了。
- 為了判斷「是否為好的分歧」,有一些指標可以利用,像是資訊熵(Information Entropy)
吉尼係數(Gini Coefficient)卡方檢定值等,而這些指標的選用區別了不同的分析方法。
例如:使用資訊熵的,包括名為C4.5及C5.0的演算法,
CART(Classification And Regression Tree,分類與迴歸數)演算法則多半使用吉尼係數。
還有使用卡方檢定值的方法叫做CAID(Chi-Squared Automatic Interaction Detection)演算法。

第4章 用於營運管理的統計學

交叉驗證法(Cross Validation),就是將進行擬合的資料和檢驗其精準度用的資料隨機分群。
一般基於「用來訓練預測模型」之意,通常將前者稱為訓練資料,
而用來檢驗其精準度的後者稱作測試資料。
- 最常見的所謂10折(10-fold)交叉驗證,就是先將整體資料隨機分成10個群組。
然後以其中的9個群組為訓練資料,剩下的1個群組為測試資料的方法,
反覆進行10次,值到每個群組都當過一次測試資料為止,藉此驗證其精準度。

2021年2月5日 星期五

常識統計學

常識統計學:拆穿混淆的假設、揪出偏差的數據、識破扭曲的結論


第一章 模式、模式、模式

- 一種獲得統計顯著性的方法是利用資料發現理論。
統計檢驗的假設是,研究人員首先提出一種理論,然後蒐集資料,以驗證理論,
然後彙報結果--這種結果可能具有統計顯著性,也可能不具顯著性。
許多人倒過來做,他們仔細研究資料,從中發現某種模式,然後編造出符合這種模式的理論。
在資料中搜尋模式的過程令人愉快,而且激勵人心,就現玩數獨或者解決神秘謀殺案一樣。
這些人從各個角度考察數據,分成性別、年齡和種族等類別,捨棄干擾模式的數據,
尋找任何有趣的現象,當他們發現某種模式時,他們開始思考其中的原因。
- 我們如何區分正確理論與胡謅?有兩種良方:常識新數據
- 當你搜刮資料、編造理論時,用同份資料檢驗理論是不明智的。
既然你編造這種理論是為了迎合資料,那麼這些資料當然會支持這種理論!
要檢驗就應當用不受資料採集污染的新資料

【缺乏思考的計算】
- 人口隨時間增長,許多人類活動也是如此,包括看電視的人數、吃橘子的人數以及死亡人數。
這些資料是不相關的,但它們存在統計相關性,因為它們都會隨著人口的增長而增長。
看電視並不會導致我們吃橘子,吃橘子也不會導致死亡。
在統計學中,相關性並不是因果關係的代名詞。
不管兩種事物的關係多麼密切,在做出判斷之前,我們都需要一種合理的解釋。

第二章 不再神奇的超級暢銷書

- 藉觀察人們的行為、蒐集而來的「觀測性資料」中,自我選擇偏誤非常普遍。
人們可以選擇自己的行為,因此他們的選擇也許反映了自身的特點。要想避免這種自我選擇偏誤,
可以進行對照實驗,即將人們隨機分配到不同小組裡,然後告訴他們應該怎麼做。

【具有誤導性的資料】
- 當我們比較出不同選擇的人,同時不去考慮他們為什麼做出這些選擇時,就會出現自我選擇偏誤
一些學生之所以選擇畢業率較低大學,可能是因為他們不太可能從其他大學畢業。選擇上大學的學生可能比選擇不上大學的學生更聰明,更有動力。
如果消除選擇因素,我們的結論可能更有說服力。比如學生被隨機分配到不同的大學或者被隨機推向社會。幸運的是,科學家不能為了蒐集資料、發表研究論文而毀掉人們的生活。遺憾的是,我們需要對那些可能存在自我選擇偏誤的資料保持警惕
為我們觀察到的現象尋找理論,另一個常見問題是倖存者偏差,因為我們無法看到不復存在的事物,對於老年人的研究不會包含中年去世的人。考察結束轟炸任務的飛機,當中不包含被擊落的飛機。對於入住某些酒店、搭乘某些航班或者訪問某些國家的人群的調查,不包含有過一次經歷、以後也不來的人。整理偉大公司的共同特點,不會包含擁有這些特點但不那麼成功、甚至已經破產的公司。
如果我們在觀察資料之前,列舉出我們認為重要的因素,並且找出擁有這些特點和沒有這些特點的公司,然後再去查看實驗結果,我們的結論將會更有說服力。

第三章 被誤傳的謀殺之都
- 當基數很小時,一個統計意外能產生巨大的影響
- 確認偏誤(Confirmation Bias)

第七章 辛普森悖論

- 之所以存在辛普森悖論,是因為某種干擾因素對群集數據產生了影響。
不過,這並不意味著分解資料永遠優於群集數據。
- 阿拉斯加航空公司在五個主要競爭機場中,都擁有優於另一家航空公司的準點飛行紀錄,但其總體準點紀錄則不如競爭對手,為什麼?因為阿拉斯加航空擁有許多非往西雅圖的航班,而西雅圖的天氣問題經常導致飛機延誤。
在每個年齡群體中,瑞典的女性死亡率都要低於哥斯達黎加,但瑞典擁有更高的女性總體死亡率,為什麼?因為瑞典擁有更多的老年女性(老年人擁有相對較高的死亡率)。
一項醫學研究發現,一種手術對於小型和大型腎結石的治療成功率,均高於另一種手術,但其總體成功率卻不如另一種手術,為什麼?因為它經常用於治療大型腎結石(大型腎結石治療成功率相對較低)。
- 群集數據可以更加準確地衡量誰是更好的打者。在其他一些情形中,干擾因素是真實的,忽略它們是一種危險作法。
- 當你聽到某種令人困惑的(甚至合理的)論斷時,應當考慮是否存在干擾因素
- 缺乏理論的資料僅僅是資料而已,缺乏資料的理論僅僅是理論而已。

第九章 勝者的詛咒

- 凱因斯經典論文<就業、利息和貨幣通論>(The General Theory of Employment,Interest and Money),顛覆了經濟理論。
這篇論文創造了一個全新的經濟學分支,叫做宏觀經濟學

第十一章  德州神槍手

- 資料群集現象無處不在,甚至存在於雜亂的數據之中。想要尋找某種解釋的人一定會找到一種解釋。不過,某種理論與資料群集現象相符並非具有說服力的證據。
人們發現的解釋需要言之有理,而且需要得到新資料的驗證
-  向足夠多的目標發射足夠多的子彈的人,一定會擊中某個目標。
檢驗數百種理論的人,一定會發現支持至少一種理論的證據。
這種證據不具有說服力,除非理論是合理的,而且能夠得到新資料的證實。

2020年6月26日 星期五

醉漢走路

醉漢走路 - 機率如何左右你我的命運和機會
2009/04/28
Leonard Mlodinow

第二章 表象不是真相
- 希臘數學家:阿基米德、丟番圖、歐幾里得、歐多克索斯、泰勒斯及畢達哥拉斯。
- 羅馬人西塞羅看輕幾何,卻說:「機率正是生命的指引」。
「希臘人給了幾何學家最尊貴的地位,因此對他們而言,任何的進展都不如數學那麼光輝。
可是羅馬認為這門學問的用處,頂多就是測量與計數。」

第三章 機會成就命運
- 一個問題只是另一個問題的變形,數學上稱為同態(homomorphism)。
- 蒙提霍爾問題
- 樣本空間(Sample Space)。Crdano:如果一個隨機過程中,所有結果發生的可能都相等,
有些是有利的(贏的),有些是不利的(輸的),那麼有利的結果發生的機率,
就等於有利的結果在所有可能的結果中所占的比例。所有可能發生的結果,就稱為樣本空間。
延伸閱讀:
- 機會遊戲之書(A Book on Game of Chance);Gerolamo Crdano。
- 算術演練(The Practice of Arithmetic);Gerolamo Crdano。
- 大術(Ars Magna);Gerolamo Crdano。

第四章 追蹤成功之路
- 新生代科學家反叛了亞里斯多德,改追隨伽利略,而且把這個領域發展得更深更遠,
超越了卡丹諾和伽利略,巴斯卡(Blaise Pascal)、笛卡兒、費馬。
- 巴斯卡三角形
- 巴斯卡的偉大創新之處,在於平衡得與失的方法,
這個概念就是今日我們所說的數學期望值(mathematical expectation)。
- 巴斯卡賭注常被視為賽局理論的創始;賽局理論就是針對賽局中的最佳決策做量化研究。
延伸閱讀:
- 沉思錄
- 關於骰子遊戲之所思;伽利略。

第五章 「小數法則」大陷阱
- 班佛定律(Benford's Law),由累積方式而得到的數並不隨機,而是偏向較小的數字
- 1995年,喬治亞理工學院的數學家希爾(Ted Hill)提出班佛定律的證明。
- 很多類型的數據都遵守班佛定律,尤其是財務數據。
這個定律似乎專門是為了從大量的財務數據中發掘詐欺,而量身訂做的。
- 隨機性的「頻率詮釋」和「主觀詮釋」。
在頻率詮釋中,我們根據樣本出現的樣子來判斷;
而主觀詮釋中,我們根據的是樣本產生的方式。
根據主觀詮釋,如果我們不知道或無法預料產生一個數或一組數的過程會是什麼樣子,
這個數或這組數就是隨機的。
- 在不完美的真實世界擲骰子,根據「主觀詮釋」是隨機的,但根據「頻率詮釋」並不是。
因為骰子不完美,因此每面擲出的機會不一樣;
然而,因我們能力的侷限,我們沒辦法事先知道哪一面比較常出現。
- 雅各·白努利的黃金定理,在不同的專業上有少許差異,而有不同的名稱:
白努利定理、大數法則、弱大數法則。
- 白努利:「評價人的行為,不應該只看結果。」
延伸閱讀:
- 自然哲學的數學原理;牛頓。

第六章 正確解讀「陽性反應」
- 白努利定理關切的是,如果擲一枚公平的硬幣許多次,你能期望擲出多少次正面;
貝氏研究的則是如果觀察到擲出了某個數目的正面,你能多確定硬幣是公平的。
如何由觀察結果推論出事件本身的機率?
- 生活中大部分的經驗是:我們只能觀察相當少量的樣本,然後就要由這些觀測結果推出資訊,
並且針對造成這些結果的特性做出判斷。
- 事前機率(Prior Probability)事後機率(Posterior Probability)
- 檢察官謬誤(Prosecutor's Fallacy)
- 機率是根據固定的機率值做預測,統計是根據觀察數據推論出這些機率值。
- 已知一系列的量測數據,那麼你對於度量對象的實際值,能做出多精準的猜測?
這個猜測值與精確值有多靠近?
延伸閱讀:
- 分紅給付觀察;Richard Price
- 機率分析理論;Richard Price

第七章 誤差是常態
- 拉普拉斯和拉瓦謝、庫倫(Charles de Coulomb),改變了實驗物理這個領域。
基於天文學與實驗物理學的雙重需求,從十八世紀末到十九世紀初,
數學家花了很多工夫了解並量化隨機誤差。這些努力創造了一個新領域-數理統計
這門數學提供了一套工具,可以詮釋由觀測及實驗得到的數據。
- 丹尼爾·白努利把天文觀測的隨機誤差比喻作弓箭手的偏差。
- 描述誤差定律的正確數學函式,即鐘形曲線
- 鐘形曲線通常稱為常態分布,有時候也稱為高斯分布
- 常態分布其實不是一條固定的曲線,而是一「族」曲線,
家族中每條曲線的位置與形狀,由兩個參數來決定。
第一個參數決定尖峰的位置。第二個參數決定曲線的延展寬度,這個參數稱為標準差
- 常態分布正是誤差定律
- 棣美弗作出研究成果之後好幾十年,才有人認識到常態分布描述了量測誤差的分布情況,
這個人就是德國大數學家高斯(Karl Fridrich Gauss)。
- 拉普拉斯在1810年偶然讀到高斯的著作,才於法國科學院發表報告,
在這篇報告中,他證明了「中央極限定理」。
- 「中央極限定理」與「大數法則」是隨機理論當中最著名的兩個定理。
延伸閱讀:
- 機會論(The Doctrine of Chances);棣美弗(Abraham De Moivre)

第八章 混沌中的秩序
- 統計群體中的每個人,雖然各自隨機行動,卻往往顯示出一致而可預料的群體行為,
看起來像是有意識地在追求同一目標。
- 康德:「每個人都是在隨著自己的意向追隨目標,通常與其他人的目標相反;
然而,個體和人群,就像是隨著某個引導的繩索,朝著一個相當自然、
但對每個人卻都屬未知的目標邁進;所有人全都努力去助長這個目標,
即使他們意識到這個目標,也甚少看重。」
- John Graunt和William Petty,後人稱他們為統計學的創始者
- Petty的研究工作,有時候被認為是古典經濟學的先驅。
- statistics(統計)這個英文名詞,來自德文字statistik,首次出現在<畢費爾德基礎普及教育>
一書1770年的英譯本中:「統計這門科學,教導我們當今世界所有現代國家的政治狀態。」
- 到了1882年,統計這個課題,已經演變成<韋氏大字典>鎖定一
「關於社會狀態、一國國民的情況、他們的健康、壽命、國內經濟、技術、
財產及政治實力、國土等等的大量資訊。」
- 鑑識經濟學
- 預測誤差(forecast error)
- 「叫座」驅策的行業,雖然完全無法預測,遵循的其實是一個完全不同的分布,
在這種分布中,平均數與標準差都沒有意義,因為根本沒有「典型」的表現。
- 機運的作用,在某種程度上也能控制,那就是要藉由不停的嘗試,才能提升成功的機率。
- 達爾文的表弟高騰(Francis Galton)的貢獻:相關係數
- 皮爾生(Karl Pearson)發明卡方檢定
早期的統計學家有時候只是畫個圖看看曲線是否鐘形的,以判定是否為常態分布。
可是要如何量化曲線配適的程度?
卡方檢定(chi-square test),可判定一組數據是否真正符合你所認知的分布。
- 卡方檢定運用廣泛,例如:
--檢驗三種麥片盒子,來決定哪一種較受消費者青睞。
如果沒有哪一種特別受到偏愛,那麼每一種盒子大約會有1/3的消費者選擇。
可實際的結果很少會分布得這麼均勻。運用卡方檢定,我們能夠決定,
勝出的盒子得到較多的選票,是因為消費者的偏愛,還是只是由於機率。
--假設有一藥廠,想試驗兩種用來預防急性器官排斥反應的治療方式,
卡方檢定可以用來決定兩種治療法的差異是否有統計顯著性。
--某家連鎖車租車公司計畫開設新的據點,他們的財務長估計有25%的客人需要小型車,
50%需要中型車,而大型車及其他類型車輛的需求各占12.5%,數據開始產生之後,
卡方檢定可以幫助財務長很快決定,究竟是他原先的估計正確,
還是這個新的據點不同於典型的分店,所以應該改變提供的車種組合。
- 波茲曼、馬克士威受了Quetelet的激發,創立了「統計物理學」。
延伸閱讀:
機率哲學隨筆;拉普拉斯
人類及其官能的發展;Adolphe Quetelet
英國文化史;Henry Tomas Buckle
統計改變了世界

第九章 模式的錯覺,錯覺的模式
- 顯著性檢定(significance test)是費雪(R.A.Fisher)在1920年代發展出來的。
- 顯著水準(significance level)
- 培根:「人的理解方式是,一旦採信了一種看法,就會蒐集所有可確認這種看法的事例,
即使反面的事例很多,也更具分量,仍通常不予理會、甚或拒不接受,以便使他們的看法屹立不搖。」
延伸閱讀:
統計,讓數字說話!

第十章 醉漢走路
- 雖然機遇確實扮演了一定的角色,但有一項成功的因子是可以控制的:
打擊的次數,嘗試的次數,抓住機會的次數。
- 就如IBM的先驅華生所說的:「如果你想成功,就加倍你的失敗率。

2020年5月31日 星期日

文科生也看得懂的工作用統計學

文科生也看得懂的工作用統計學

第一章  欲速則速!一口氣讀完統計學! 
- 統計學可大致分成敘述統計學推論統計學貝氏統計學三大類。
還有一種多變量分析,用於處理兩個以上的變量。
- 傳統統計(頻率論)用於可預測發生頻率的事例。
反過來說,當資料很少甚或原本就沒有資料時,就很難預估。
相對地,貝氏統計學就算樣本資料很少,也可以估計,說得極端一點,
連一次都不曾發生過的事件,都可以估計其發生機率,這就是貝氏統計的特徵。
- 貝氏統計學的另一優點,就在於有新資料增加時,推論的機率也會隨之改變(精度更高)。
這個優點稱為貝氏修正。

第四章  體驗常態分配
- 樣本平均數的分配已知特徵
1.樣本平均數的分配的平均數和母體平均數一致。
2.樣本平均數的分配的變異數為σ^2/n(σ為母體標準差)
3.不論母體分配為何,樣本數越大,「樣本平均數的分配」越趨近常態分配。

2020年5月25日 星期一

擺脫挫折的統計學入門

擺脫挫折的統計學入門

第二部 統計學基礎篇
第八章 相關、迴歸、決定係數
8.2 迴歸分析
- 藉由迴歸分析可以瞭解某個變量會如何影響另一個變量。
- 由x決定y的關係,在統計學中稱作「以x解釋y」,x稱作解釋變數,y稱作被解釋變數,
而這種關係稱作y對x做迴歸。
8.3 決定係數:可以決定什麼呢?
- 殘差是實際值與迴歸直線上之估計值的落差。
- 相關係數的平方,也稱作決定係數。決定係數=1時,相關係數為正負1,是最強的相關關係,
散佈圖上的所有點都排列在同一條直線上,殘差為0。
- (1-決定係數)是以比值的形式表示「將迴歸直線模型納入考慮時,以估計值yi為中心之殘差的
分散程度」比「未將迴歸直線模型納入考慮時,原始y的分散程度」小多少。
故決定細數本身可用來表示在套用迴歸模型後,分散程度縮小的程度。
- 舉例來說,若(1-決定係數)為0.2,就表示將模型納入考慮時之殘差分散程度,
是為將模型納入考慮時之原始y分散程度的20%。此時的決定係數為0.8,故在代入模型之後,
可減少80%的分散程度。在統計學中,我們會說「這個迴歸直線模型可解釋80%的y變異數」。
也又是說,y之所以會出現變異,80%的原因是「來自於這條直線」。
- 當決定係數=1,也就是散佈圖上的點完全位於一條直線上時,這條直線可減少100%的變異數,
殘差=0,即資料的分散情形100%可由線性單迴歸解釋。
- 上圖中,(a)是相關係數為0.5時的散佈圖,(b)是相關係數為0.7時的散佈圖。
如圖所示,相關係數為0.5時,根本稱不上是中等程度的相關,而是幾乎找不到相關係數。
這是因為當相關係數=0.5時,決定係數=0.25。也就是說套入迴歸直線這個模型後所減少的變異數,
或者說模型可解釋的變異數只佔了25%,原始y的變異數還有75%仍殘留在迴歸直線的殘差中。
而當相關係數為0.7時,決定係數為其平方,也就是0.49,大約等於0.5,
故其回歸直線可解釋約一半的變異數。如圖所示,相關係數為0.7時,
比較接近所謂「中等程度的正相關」的概念

第十章 隨機變數與機率分配模型
10.1 隨機變數的概念
- 資料的平均 = (組別值x相對次數)的總和
- 資料的變異數 = [(組別值-平均)^2 x 相對次數]的總和
10.2 機率分配模型與常態分配、中央極限定理
10.2.2 常態分配模型與中央極限定理
- 中央極限定理的意思就是「若某個隨機變數是無數個彼此獨立之隨機變數的平均,
那麼這個隨機變數所服從的機率分布,就會是一個常態分佈」。
10.2.3 常態分配模型的性質
- 上圖左方的直方圖中,灰色部分的長條面積表示隨機變數的數值落在「某個範圍」內的機率。
當把組距切得非常小,使值方圖看不到一個個長條時,灰色部分得面積仍代表同樣的機率。
這種看不到長條得直方圖所表示的機率分布,稱作「連續型機率分布」,
而直方圖的每個長條上緣連起來的曲線,則稱作「機率密度函數」。
- 常態分布有以下這個很重要的性質:若隨機變數X服從期望值為μ,
變異數為σ^2的常態分配N(μ,σ^2),那麼隨機變數X-μ/σ服從常態分布N(0,1)。
- 如上圖,所謂的隨機變數X-μ/σ,是將隨機變數X的每一個可能數值接減去μ再除以σ後,
得到的一個新的隨機變數。要注意的是,若隨機變數的期望值為μ,變異值為σ^2,
那麼,就算原本的隨機變數X不是常態分布,X-μ/σ的期望值也會是0,變異數也會是1。
- 常態分布的性質1:若隨機變數X服從常態分布,那麼,轉換後的隨機變數X-μ/σ會服從期望值為0,
變異數為1的常態分布
- 期望值為0,變異數為1的常態分布,也就是N(0,1)也稱作標準常態分布

第三部 統計學進階篇
第十二章 區間估計與檢定
12.1 區間估計
12.1.1 什麼是區間估計
- 常態分配的性質2:從服從常態分布N(μ,σ^2)之母體隨機抽出樣本X1,...,Xn,
則樣本平均會服從常態分布N(μ,σ^2/n)
- 常態分布的這個性值一般稱作「機率分布的再現性」。
更為基本的描述是「當彼此獨立的兩個隨機變數皆服從常態分布時,
這兩個隨機變數的和也會服從常態分布」。
12.1.2 常態分配與區間估計
- 不偏變異數是經過調整,使其期望值與母體變異數相等的變異數。
「不偏」就是「沒有偏離」的意思。隨然不偏變異數有時會比母體變異數大,
有時會比母體變異數小,但較大和較小的機會是「平等」的。
不會發生每次算出的不偏變異數都比母體變異數大,或都比母體變異數小之類的事。
12.2 不偏變異數、t分配與區間估計
12.2.2 t分配與區間估計
- t統計量會服從的機率分配並不是標準常態分布,而是自由度為n-1的t分配(Student's t 分配),
可寫作t(n-1)。t分布的機率密度函數與標準常態分布相當相似,
圖形以t=0為中心左右對稱。
12.3 檢定是「在某條件下的審判」
- 型二錯誤:虛無假說實際上是錯的,實驗者卻在計算抽樣資料之後,得到「不拒絕」虛無假說的結論。型二錯誤又稱為「固步自封的錯誤」
型二錯誤的機率有時會以β來表示。
- 即使虛無假說為真,當我們在顯著水準為5%的情況下進行多次假說檢定時,
會有5%的檢定犯下型一錯誤,拒絕了不應拒絕的虛無假說,接受了不應接受的對立假說。
型一錯誤又被稱為「杞人憂天的錯誤」。型一錯誤(=顯著水準)有時會以α來表示。

2020年5月12日 星期二

世界第一簡單統計學(因素分析篇)

世界第一簡單統計學(因素分析篇)
第1章 問卷的基礎知識
- 隨機抽樣法:單純隨機抽樣法、分層隨機抽樣法、兩段隨機抽樣法、分層兩段隨機抽樣法。
- 非隨機抽樣法:介紹法、應徵法、街頭訪問。
- 數據分析的方法:探索型數據分析、驗證型數據分析。
第4章 主成份分析
- 主成份分析的過程
Step1.求主成份和主成份得分
Step2.確認分析結果的精確度
-- 可以利用「累計貢獻率」判斷主成份分析的結果好不好。
-- 第i主成份的貢獻率大致代表「該主成份涵蓋了多少分析數據所含的資訊」。
Step3.研究分析結果
第5章 因素分析
- 因素分析的注意事項
1.主成份分析的每個主成份有這些意義:第一主成份代表綜合能力。
其他主成份和分析者的意圖無關,是(以數學規則)自動求得的數值。
;而因素分析的共同因素並沒有這些既定的意義。
總之先分析,分析者「事後」才「主觀地」解釋每個共同因素的意義。
2.主成份分析有「第一主成份」和「其他主成份」的順序;
因素分析不一樣,每個共通因素都是平等的。
3.麻煩的是分析者必須在分析「之前」設定共同因素的各數,才能進行因素分析的計算。
6.其他因素也稱為獨特因素
7.計算因素分析時,通常針對每個變數把分析的數據標準化之後才計算。
8.以算式和簡圖表示因素分析的結構。
10.因素分析並不是為了找出共同因素的分析方法。而是確認「因素負荷量」數值的分析方法
- 因素分析的步驟如下:
Step1.求旋轉前的因素負荷量
-- 因素負荷量有很多種計算方法,例如「主因素法」和
最大概似估計法」(Maximum likelihood estimation,MLE)
-- 假設「任意共同因素之間的單相關係數為0」這種想法稱為「直交因素模型」(orthogonal)。
不採取這種假設的想法稱為「斜交因素模型」(oblique)。
-- 以往基於「比較容易計算」,通常採取直交因素模型,不過,現在因為:
電腦性能提升、就常理判斷,「任意共同因素之間的單相關係數為0」
這種直交因素模型的假設並無法實現。分析時慢慢改用斜交因素模型。

Step2.求旋轉後的因素負荷量
-- 旋轉有很多種,大致可以分為「直交旋轉」和「斜交旋轉」。
直交旋轉:
最大變異轉軸法(Varimax)有兩種分別是「原始最大變異轉軸法」(Varimax raw)、
標準化最大變異轉軸法」(Varimax normalized)
四次方最大值法(Quartimax)
雙重四次方最大值(Biquartimax)
斜交旋轉:
Promax轉軸法
四次方最小值法(Quartimin)
雙重四次方最小值(Biquartimin)
共變數最小法(Covarimin)
Step3.解釋每個共同因素的意義
Step4.確定分析結果的準確度
Step5.求因素得分,掌握每個個體的特徵
- 最大概似估計法,因素負荷量著名計算除了之前介紹的主因素法之外,還有最大概似估計法。
- Promax轉軸法步驟如下:
Step1.以最大變異轉軸法旋轉
Step2.猜測「根據以往的經驗,母群體一定是這個模樣」,也就是推測
「真正的因素負荷量矩陣」,這個矩陣通常為目標矩陣。
Step3.轉軸(1)的軸,盡量接近(2)推測的目標矩陣
- 時代的潮流已經由「主因素法+最大變異轉軸法」轉向「最大概似估計法+Promax轉軸法」。
- 主因素法和最大概似估計法不同,沒有「母群體必須符合多變量常態分析」這麼嚴格的限制

附錄 各種分析方法
- 多變量分析:重迴歸分析、Logistic迴歸分析、群落分析、對應分析與數量化三類、
結構方程式模型(Structural Equation Modeling,SEM)
- 其他﹕統計的假設檢定:
母平均差的檢定(也就是「t檢定」)
例如:推測「東京男性上班族每個月零用錢的平均金額」和
「大阪男性上班族每個月零用錢的平均金額」是否相同
、獨立性檢定(也就是「卡方檢定」)
例如:推測母群體的「學校」和「最喜歡的藝人」的Cramer關聯係數是否為0,
也就是彼此是否相關。、母比率差的檢定、母變異數比的檢定、Wilcoxon檢定
、Kaplan-Meier分析法:是推算存活率的方法。

2020年4月25日 星期六

大數據預測行銷:翻轉品牌X會員經營X精準行銷

大數據預測行銷:翻轉品牌X會員經營X精準行銷
2019/07/09

I. 大數據X大真相
- 大數據是一門跨領域的知識,涵蓋了資訊科學、統計演算以及商業實務。
- 大數據軟體:KNIME,Weka,Power BI,Tableau,SPSS,SAS,Statistica,Excel...。
- 在大數據投資的目的上,B2B的企業如製造業,著重在應用大數據分析改善流程、降低生產成本;
B2C的企業如零售業,著重在應用大數據預測行銷,增加銷售,提升利潤。

II. 大數據X大平台品牌策略
- 大數據時代顛覆企業經營
- 經營內容品牌PRRO取代AIDA
過去,經營實體品牌,有個由美國廣告先驅Elias St.Elmo Lewis最早所提出、也是最經典的,
幾乎是所有行銷人都能朗朗上口的行銷觀念:A-I-D-A
即要達成行銷目標,首先要建立品牌知名度(Awareness),沒有知名度一切免談;
其次要引起消費者對品牌產生興趣(Interest)及對產品產生購買渴望(Desire)
完成以上三項任務,就有可能讓消費採取購買行動(Action)
- 大數據時代大眾媒體不再那麼有效,卻給了我們一個新的機會,應用分散式信任的機制來建立品牌。
即以PRRO來取代傳統的AIDA,成為經營品牌的新法則。
PRRO就是Platform(平台),Review(評價),Reliance(信賴),Order(購買)
Platform:首先,你必須找出最多人用、最有影響力的幾個平台品牌,然後依附在上面。
Review:接著,認真經營品牌在這些平台上的評價。
Reliance:鎖定平台後,再透過各種服務及行銷方法,提升顧客的評價。
Order:當信賴度越高的時候,就會為品牌帶來大量的訂單。
- 定位大師AI Ries:「如果網路是一門生意,但是你同時把品牌名放在實體店及網路,
將是一個嚴重的錯誤。」

III. 大數據X大平台行銷策略
- 人機介面研究教授Larry Constantine提出,好的UI需要滿足六個原則:即
結構原則簡單原則視覺原則回饋原則容錯原則再用原則
作者再補充兩個品牌行銷的觀點,就是UI的設計也要考慮美觀原則定位原則
--結構原則:就是UI的結構要清晰,同類、同層次的東西要放在一起,是平台或APP的生命。
- 好的UI決定了完美的UX(消費體驗)、完美的UX決定了消費者的黏著度,
也就決定了交易的轉換率(Conversion Rate),決定了平台的成敗。
- 平台品牌的行銷策略:供給面策略、需求面策略。
- 平台的供給面行銷策略:
1.影響者策略(Influencer Strategy)
2.MGM策略(Member-Get-Member Strategy)
3.事件策略(Event Strategy)
4.獎勵策略(Incentive Strategy)
5.附加價值策略(Value-Added Strategy)
6.意見領袖策略(Opinion Leader Strategy)
7.延伸策略(Extension Strategy)
- 平台需求面策略:
1.影響者策略(Influencer Strategy)
2.MGM策略(Member-Get-Member Strategy)
3.事件策略(Event Strategy)
4.回饋策略(Reward Strategy)
5.異業合作策略(Co-op Strategy)
6.蠶食鯨吞策略(Encroachment Strategy)
7.免費試用策略(Free Trial Strategy)
IV. 大數據X預測行銷
- 商業分析6步驟:TASSS$
(Task-Analysis-StrategicViewpoint-Strategic Option-Schedule-Budget)
Step1. Task 課題報告中所有的分析跟結論,都要圍繞著「課題」。
如果能塑造吸睛的題目,就能提高讀者的興趣,用問句破題也是一個被證明有效的方法。
例如「銀行分行坪效分析」、「國際品牌策略」,
就不比「如何提高銀行分行的坪效?」、「如何打造一個國際品牌?」有吸引力。
Step2. Analysis 分析資料到處都有,但要寫出一份聚焦的報告,分析的範圍,
就要僅限跟課題有關的資料。要用哪些工具做分析呢?作者偏好使用
STEP競-消-我、以及SWOT三種分析。
--STEP分析對象是環境面。指的是從社會(Society)科技(Technology)
經濟(Economy)政治(Politics)四個角度來分析。
--「競-消-我」分析就是「競爭者-消費者-自我」分析,對象是產業面。
要思考「誰跟我競爭?」、「消費者怎麼看?」、「我們有什麼優勢?」
這三個問題,正好構成一個金三角。
--SWOT分析,對象是企業面,SWOT分別代表Strength優勢Weakness弱點
Opportunity機會Threat威脅
Step3.Strategic Viewpoint 策略性觀點
Step4.Strategic Option 策略性方案
Step5.Schedule 執行時間表
Step6.Budget 預算
- 做分析要多琢磨策略性觀點與策略性方案。大數據決策,指的正是看了數據之後產生觀點;
或有了觀點之後,再找數據佐證。
- 觀點能驅動數據,即Insight drives big data,沒有觀點,大數據分析就沒有意義了。
- 預測分析6步驟TAMEDI:建立精準模型
Step1.Task 課題與商業分析最大的不同是,預測分析的課題,是解決「一個個人」的問題。
例如:「如何提高每一個顧客的貢獻率?」、「如何喚醒每一個沉睡中的客人?」
Step2.Analysis 分析
Step3.Modeling 建立模型
Step4.Evaluation 評估
Step5.Devloyment 導入
Step6.Interpretation & Insight 解讀與洞察
- 商業分析,行銷主管該關心的9個議題
1.我的目標對象是誰?
2.各品牌的消費對象有何不同?
3.消費者購買了什麼產品?
4.消費者對產品的滿意度如何?
5.消費者都接觸什麼媒體?
6.什麼通路的銷售最好?
7.什麼促銷活動最有效?
8.品牌是否已經老化?
9.新舊客人的比率有何變化?
- 預測分析,行銷主管關心9種個人行為
1.誰會點擊?(Who will click?)
--要觀察顧客在網路上的行為,有5個重要指標:流量曝光量點擊率參與率轉換率
2.誰會買?(Who will buy?)
--點擊的人很多,但誰才是最後購買產品的人?這就是轉換率。
企業花錢行銷,最後關心的也是這個。
3.誰會進入「沉睡」?(Who will lapse?)
4.誰會詐騙?(Who will lie?)
5.誰會掛掉?(Who will die?)
6.誰會是恐怖份子?(Who will commit crime?)
7.什麼時候買?(When will he/she buy?)
8.買什麼?(What will he/she buy?)
9.花了多少錢?(How much?)
* 商業分析演算法,就能解決80%工作難題,五種商業分析方法:
1.整體分析(Aggregate Analysis)
可用來分析某個市場、品牌或產品的族群結構、產品結構或行銷組合等。
2.相關分析(Correlation Analysis)
就是分析兩個或多個事件之關係,目的是希望找到其中一個事件對另一個事件的影響。
例如:「網路廣告量的多寡,是否與銷售有直接關係?」、
「上網時間的長短,是否會影響產品銷售的轉換率?」
3.規模分析(Sizing Estimation)
4.趨勢分析(Trend Analysis)是指一段時間內的總量發展趨勢,又可分為
縱斷面(Longitudinal Study)橫斷面分析(Cross-Sectional Study)
例如:分析Facebook年齡結構的改變,發現10年來,年輕人的比率有減少的趨勢,則可判斷為品牌老化的徵兆。這是時間數列分析,也較縱斷面分析。又例如,第一季的廣告營收與去年同期相較,增加了20%,表示出現強勁的成長。同期比較的好處,是能克服季節性的影響,這種分析方法叫作橫斷面分析。
5.指數分析(Index Analysis)是以指數大小,判斷哪一個市場/品牌/產品較為突出。
以母體平均數作為分母,個別項目作為分子,會得到三個可能數字:大於、小於、等於100。
例如:以總體人口的各年齡級距,除A品牌對應的年齡層級距,乘以100,
就可以得到三個大於、小於或等於100的數字,而我們關心的是指數大於105及小於95的級距。
當指數小於95,代表A品牌的目標對象在該年齡層相對少;
大於105,則代表目標對象在該年齡層相對多。
* 預測分析演算法,創造另外80%的價值,七個演算法:
1. 迴歸分析(Regression Analysis):這是最常用到的統計演算法,主要是用已知的一件事
(自變數)來預測另一件事(因變數),稱為簡單迴歸;也可以是已知的兩件事來預測另一件事,
稱為複迴歸例如根據衛生紙及面紙的購買數量,預測家裡可能居住的人口數,
用來決定可以推薦個人產品或家庭常用品
2. 邏輯迴歸(Logistic Regression):主要是處理「是」與「非」、「YES」與「NO」的問題。
例如預測一筆交易是否可能為盜刷?
一名顧客是否會逾期繳息?一個人是否可能得癌症?
工作中我們需要多做很多這一類0與1的決策,而邏輯迴歸提供了這樣的科學依據。
3.k-均值分群(k-mean Cluster):簡單說,就是將手中的資料根據某種方式分群,
同一群內的資料同值性高,不同群之間的差異大。
例如消費者生活型態的調查,同一區域的消費者,可以根據不同的活動、興趣及意見,
區分成不同的族群,而有所謂的「個體創業族」、「小確性逍遙族」等
針對不同的族群可以採取不同的訴求及策略。
4.時間數列(Time Series):是按照時間收集及排列某個時間的數據,透過分析時間數列所反映出來
的發展過程、方向和趨勢,藉以預測下一個時點可能出現的事件。
例如收集及排列歷年的GNP、公司銷售數字,藉以預測下一階段的經濟成長及企業銷售。
5.決策樹(Decision Tree):顧名思義,這個方法將資料集中的變量由上而下分解,建立一個預測模型,
而這個模型長得像棵樹形圖,然後透過這樹形圖的流向來預測一個人的行為。
6.關聯法則(Association Rule):這是大數據預測的熱名應用,方法是尋找一個事件與另一個事件出現的
依賴性(例如爸爸下班買紙尿褲,就會順便把啤酒買回家),
如果有關係,就可以用一個事件的出現來預測另一個事件也可能會發生。
關聯法則的演算法包括AIS,SETM及Apriori等,而Apriori是被廣泛應用的演算法,
它透過機器學習的原理,學習交易資料之間的關係,適合應用於大量資料的分析,
從而建構出一個預測模型。
- 關聯法則,可以應用於購物籃分析決策(Market Basket Analysis)
購物籃分析,目的是在探究貨架上產品是如何被消費者購買,產品與產品之間被拿取有什麼關係。
如果掌握到它們之間的關係,比如買A產品的顧客也會買B產品,就可以將這兩個產品擺在一起
(這是超市的決策);買A產品的顧客,就推薦他買B產品(這是電商的決策);
為了賣A產品,提供B產品優惠(這是促銷決策)。
- 到了2010年代,加拿大多倫多大學的Geoffrey Hinton教授,克服了人工神經網路反向傳播優化
(找出最小值)的問題,為機器學習重新換上了「深度學習」的名字及應用了深度神經網路演算法。
深度神經網路演算法,是由輸入和輸出之間的許多「中間隱藏層」組成,演算法學習這些中間層的特徵。
* 大數據分析,從資料清理開始
第一個挑戰:沒有資料(No Data)
第二個挑戰:過時的資料(Out-of-date Data)
第三個挑戰:不完整的資料(Imcomplete Data)
第四個挑戰:遺失的資料(Missing Data)
第五個挑戰:稀少的資料(Sparse Data)
第六個挑戰:不精確的資料(Inaccurate Data):最常發生的狀況,就是用不同的衡量方法,
提供不一樣的資料。
- 大數據並非「數大就是美」,應該是「不怕少,怕不好」。
如果用在預測分析,例如透過機器學習建立大數據預測模型,資料是多多益善。
但是如果是大數據用在商業分析,2千筆的顧客或者銷售資料,
絕對比20萬筆沒有經過清理的資料來得有用。
例如:應用2千筆有效的會員資料,去做新會員推廣,轉換率絕對高於20萬筆,而且成本更低。
- 大數據要發揮價值,有兩個面向。
第一個,從資料分析中,看出問題,這個面向適合善於分析資料得大數據專家。
第二個,從實務中發現問題、大膽假設,再透過大數據找答案,這個面向具有實務經驗的專家,比較容易做到。
- 大數據預測科學就是predicting something for an individual case.
* 預測行銷,6個KPI檢視成效
4個預測指標(Predictive Indicator),包括Traffic(流量)Impression(曝光量)
Engagement(參與數)Conversion(轉換數);以及兩個財務指標(Financial Indicator),
包括CPA(Cost Per Action,每一互動成本)OPI(Operating Profit Index,毛利指數)
1.Traffic 流量:就是消費者可能接觸到你的品牌訊息的潛在最大數量;
但是事實上,不會這麼理想。不過,這個指標讓你知道,品牌的打擊面夠不夠廣,
是1萬人、10萬人,或者100萬人,也牽涉到行銷的成本,以及你對市場的企圖心。
2.Impression曝光量:曝光在品牌訊息的不重複人數流量,就是Impression。
所以,如果你推播訊息給100萬個消費者或100萬封email給顧客,
實際上有看到這則訊息的人可能只有40萬人,這時你的Impression是40萬,Impression Rate則是40%。
Impression可以說是最基本的績效指標,因為之後計算Engagement Rate及
Conversion Rate都是基於這個指標。
3.Engagement 參與數:有曝光在你推播訊息的消費者,或者收到你發送email的顧客,
不一定會看到你的訊息或打開你的email,所以這階段會關心到底有多少人參與了活動。
參與數的計算就包括了按讚、留言、分享、點「more」、按連結、滑照片、看影片、打開email。
4.Conversion 轉換數:轉換數,包含了要消費者或顧客的回應,比如下載檔案、安裝應用程式、
填寫問卷、註冊成為會員、達成交易等。這幾個轉換行為,可以一開始就設定為你的行銷目標,
例如這一波活動要吸收5萬個會員、達成1萬個人次的交易。
例如:會員Conversion Rate = (會員Conversion / Impression) X 100%
成交Conversion Rate = (成交Conversion / Impression) X 100%
- Open Rate(開信率)、Engagement Rate(參與率)和Conversion Rate(轉換率)的共同分母都是Inpression(曝光量),這是因為便於在共同的基礎上做比較,解讀資料比較不會出現誤判。
5.CPA(Cost Per Action,每一互動成本):要知道一檔活動有沒有賺錢,首先要計算達成行銷目標,
也就是取得轉換數所需付出的代價,由此可以計算出CPA。
6.OPI(Operating Profit Index,毛利指數):OPI的計算方式,就是毛利除以總收入,乘上100;
如果是正的就是有利潤;如果是負的代表作越多,賠越多。
如果經優化,OPI還是負的,就代表不能再執行這類活動了,而且必須改變策略。
- 從以上的指標,一個個推演到這裡,你會發現要提高OPI,就必須要提高轉換率,要提高轉換率就必須要提高參與率,要提高參與率就必須要提高曝光率,每一環節都不能放過。
- Impression Rate = (Impression / Traffic) x 100%
- Open Rate = (Email的Open數/寄信數) x 100%
- Engagement Rate = (某事件的Engagement / Impression) x 100%
- Conversion Rate - (某事件的Conversion / Impressiom) x 100%
- CPA = Total Cost / Conversion (或Engagement)
- OPI = (淨收入 - 總變動成本) / 淨收入 x 100

V. 大數據X會員經營
- 企業經營的終極資產會是「品牌」加「會員」。
品牌代表了市場、訂價權,也代表了利潤,這個大家應該都知道。那為什麼是會員呢?有機個原因:
一是現在市場趨近飽和;二是開發新客人不容易;三是開發一個新客人的成本,幾乎是維持舊客人的5到10倍;四是業績每個月會歸零,但是會員會不斷累積;最後是手中有了會員,行銷的成本將大幅度降低。
- 在大數據時代,行銷大師Philip Kotler提出了5A行為反應模式:知名(Aware)訴求(Appeal)
詢問(Ask)行動(Action),最後就是倡導(Advocate)
倡導就是請客人推薦客人,背後的思維就是會員經營。
- 三種潛在客人:準顧客、知道未買、完全不知
- 三種既有客人:首購客人、忠誠客人及冬眠客人。
- 首購客人是夠過行銷努力開發來的新客人;
而忠誠客人是因為對產品、服務滿意,而持續上門的客人。
公司的總體營收,就是由首購客人及忠誠客人所構成。
因此首購客人與忠誠客人的黃金比率,顯得非常重要。對於一個成熟的品牌而言,
這兩種客人的比率是3:7,也就是有3成的新客人持續為品牌注入活水,加上7成的死忠支持者。
- 兩手策略:一手握住手中的鳥,另一手森林中部斷抓來新的鳥,生意才會源源不絕。
* 先決定會員類型,再決定如何行銷
- 五級會員制度
- 傳統的行銷學講究STP,先區隔市場(Segmentation),然後訂定目標客層(Target),最後進行市場定位(Positioning)。然而在大數據時代,區隔市場的方法,有了巨大改變,不再靠地理區隔、人口統計或心理特徵當作變數,而是以消費者行為來區分、預測顧客未來的行為
- 大數據預測科學透過演算法,來預測每一位顧客的行為,但真正導入大數據預測科學演算法前,
仍可用簡單的行為變數,來分類預測顧客的行為。
行為分類的方法很多,歸納出三組變數,分別是RFM,4P,TCC。
1.RFM:這是一般常用的方法,也就是根據客人的回籠時間(Recency)客人的消費頻率(Frequency)
以及客人對營收的貢獻(Monetary)來分類。
- 以「回籠時間」為例,可以將既有的顧客分為「第一次」來的客人、「近一年」來的客人,
及「超過一年以上」未回來的客人。
至於該如何區分客人回籠的時間,是「最近一年」,還是「最近三個月」?取決於該產品的消費者購改週期。
- 「消費頻率」,則是按照客人的消費次數,加以排列。例如可以將最近一年來過的客人,按照1次到6次以上,算出每一種次數來的客人百分比。次數分配可以幫我們判斷,誰是「忠誠客人」或「重度使用者」。
- 「營收貢獻」,則是顧客的購買金額。消費次數多的客人,不代表貢獻金額高。所以Monetary的分類,是要讓我們了解誰是重要的客戶。
根據80/20法則,20%的客人極有可能貢獻了80%的價值,把重要客人照顧好,基本盤就有了。
2. 4P就是按照購買週期(Purchase Cycle)價格敏感度(Price Sensitive)促銷敏感度(Promotion Seneitive)獲利程度(Profitability)加以分類。
3. TCC指的是消費者的瀏覽及購買時間(Timing)習慣在什麼通路瀏覽及購買(Channel),是否在線下瀏覽商品、線上購買,或者通通在線上或線下完成。
最後一個C,則是假設顧客一生對公司貢獻的潛在價值(Customer lifetime value)
- RFM-4P-TCC也適用於會員分類及行銷,實務上,我們可以用RFM將會員分級,再以4P+TCC來做會員行銷。
* 會員經營一部曲:以RFM為客群分級
(表2會員資料集按回籠時間(R)分類)
(表3會員資料集按消費頻率(F)及貢獻金額(M)分類)
(表4以R將會員分三級)
* 會員經營二部曲:設定分級權益
- 會員的權益可分成6大類,即價格優惠型服務擴大型功能升級型內容加值型
免費贈品型現金或點數回饋型
- 實體品牌偏愛免費贈品型、服務擴大型;消費品電商偏愛價格優惠型;內容平台偏愛內容加值型;
工作類電商偏愛功能升級型;銀行、航空公司及零售業偏愛現金或點數回饋型。
* 會員經營三部曲:創造入會渴望
- 大數據會員行銷分成三個階段:入會前、入會時、入會後。
- 入會前要告訴潛在的消費者,為他所設計的「頂級」會員權益。
盡可能的把殺手級的服務或優惠攤在消費者眼前,同時詳細說明各種權益價值,
最終目的就是讓消費者成為會員。
- 入會時就是一旦消費者加入會員那一刻開始,就要給他絕佳的體驗。
*會員經營四部曲:會員行銷創造高業績
- 品牌與客戶互動的四種活動類型:權益行銷預測行銷互動行銷全員行銷
1. 權益行銷就是要用後台的大數據,監測會員的消費狀況,提醒會員可以不斷升級,享受更高的權益。
2. 預測行銷就是要用大數據的概念,建立模組,預測顧客的消費行為,適時推薦他需要的產品。
又可再分為「一般購買行為預測」及「產品購買週期預測」。
- 預測行銷透過關聯法則學習(Association Rule Learning),Amazon及Walmart等零售商,可以知道消費者購買貨品之間的關係,再你買了A產品後推薦你買B產品,或者把B產品陳列在A產品旁邊,大大增加成交的機會,Amazon甚至有30%的營收來自預測行銷。
- 產品購買週期預測:只要掌握每一類產品的購買週期,在消費者的購買點之前,推播他必要的產品資訊、優惠方案等,就可以大大提高產品購買機會,為公司創造更高營收。
產品購買週期是結合消費者行為的預測方法,例如你可以將所有顧客劃分為一個購買週期、兩個購買週期、三個購買週期回來,以及超過三個購買週期未回來的客人,分別給予不同的行銷方案。
例如對於一個購買週期內回來1次以上的客人,表示對品牌及產品的忠誠度極支持度都比較高,可以進一步推薦關聯性的產品組合,進行交叉行銷(Cross-Sales),提高營收。對於超過一個購買週期尚未回來的顧客,可以發送提醒訊息(如問候),加強對顧客的關心,引起他的注意。對於超過兩個購買週期尚未回來的客人,表示這位客人準備進入「冬眠」的狀態,必須包裝更有吸引力的優惠方案,來吸引顧客回籠。
3.互動行銷就是邀請消費者參加專屬的活動,可以分成一對一的線上活動,以及一對多的線下活動。
4.全員行銷也就是只要是會員,不分等級都可以參加這類活動,包括購前提醒、購後致謝、
生日祝福、結婚紀念日慶祝、節慶關懷及新品訊息告知等六小類。
- 當掌握了會員資料之後,會發現還有很多事情可以做,例如:
1.MGM:Member Get Member就是請現有的會員去邀請新會員加入,成功後雙方都可以給予優惠,
無論是傳統品牌或網路品牌都非常適合。
2.異業合作:當手握龐大的會員資料,你賺的就不只是會員財了。可以透過異業合作,
一來為會員爭取權益,二來提高會員貢獻。

VI. 大數據X行銷迷思
- 360度品牌行銷
- 找出問題背後的問題(QBQ,Question Behind the Question)
- 當品牌形象出現問題的時候,採取什麼樣的大數據行銷都沒有用。
消費者對一個品牌失去好感時,無論透過什麼大數據分析、預測、推薦,都引不起消費者的興趣。
市場上不乏這類的品牌,逆勢而為,不斷促銷,打折打到骨折,都就不了這個品牌。
這時候最重要的事,就是品牌再造,而不是大數據或者任何行銷。
- 當我們在談品牌時,是假設產品特色及商業模式已經被消費者接受的,因為商業模式及產品必須走在品牌之前,畢竟「沒有好產品,就沒有好品牌。
靠行銷打出來的品牌,是不會持久的!反過來說,每間公司都會認為自己有一個好產品,
如果光有好產品,沒有好品牌行銷,也是埋沒在茫茫的產品之中。
- 大數據時代,今天的資訊與知識,明天可能就不適用了,所以面對改變唯一不變的就是
「知識與勇氣」。知識是每天吸收新知,不讓資訊與知識過期:
勇氣是擁抱新知識時勇敢踏出第一步,翻轉個人或經營的企業。