2021年5月23日 星期日

行銷資料科學

 行銷資料科學|大數據x市場分析x人工智慧

PART 1 概論篇

Chapter 01 何謂行銷資料科學
- 何謂資料科學?

- 行銷資料科學家的工作包括:

  1. 產生規範性見解-包含戰略和戰術見解,以提高行銷效率。
  2. 探索性資料分析。
  3. 度量和方法選擇。
  4. A/B測試。
  5. 為管理層和其他專業人員提供諮詢,培訓和協助,幫助他們處理和理解各項組織數據。

- 行銷資料科學家所需的技能包括:

  1. SQL
  2. 資料視覺化
  3. 熟悉Python或R語言
  4. 能夠預測與建立模型(統計和機器學習方法)
  5. 人際關係技能-能和資料工程師、業務管理和其他人員協同合作

Chapter 02 行銷資料的類型、來源與管理

- 研究資料


- 資料的整理

--遺漏值的填補

1.數值變數:常使用的方法是以線性迴歸的方式來預測遺漏值,
稱為「預測均值匹配」(PMM,Predictive Mean Matching)。
2.二元變數:羅吉斯迴歸(Logistic Regression)進行預測。
3.超過二元以上的分類變數:貝氏多元迴歸(Bayesian Polytomous Regression)來處理。

Chapter 03 行銷資料科學技術概念
- 資料蒐集
- 網路結構探勘(Web Structure Mining):檢視網站的設計,一般可透過網路爬文技術,
利用R或Python等語言來開發爬蟲工具。
- 網路使用探勘(Web Usage Mining):企圖發現使用者的瀏覽特徵。

- 資料分析

--資料轉換(Data Transformation):主要再進行資料減縮與投影(Data Reduction and Projection),
在操作上,使用降維(Dimensionality Reduction)技術,來減少所考慮變數的有效數量。
--選擇資料探勘方法(Choosing the Data Mining Method):
分類(Classification)、分群(Clustering)、關聯(Association)等分析方法。

* 常見的機器學習演算法



- Apriori演算法是關聯規則學習或是關聯分析(Associative Analysis)的經典演算法之一。
在行銷資料科學領域,稱為購物籃分析(Market Basket Analysis)。
關聯分析主要透過「支持度(Support)」和「信賴度(Confidence)」來對商品項目之間關聯性進行篩選。在進行關聯分析時,通常會先設定最小支持度(Min Support)與最小信賴度(Min Confidence),
另外還會考量提升度(Lift)。

- 類神經網路(ANN,Artificl Neural Network)

--激發函數(Activation Function)

--前向傳播法(Forward Propagation)

--反向傳播法(Backward Progagation)

- 支持向量機(SVM,Support Vector Machine)
   -線性可分支持向量機
   -非線性可分支持向量機
      --核函數(Kernel Function)、特徵空間(Feature Space)
 
Chapter 04 整合行銷資料科學與行銷研究

- 行銷研究主要將資料分成「初級資料」與「次級資料」。初級資料的蒐集方式,又可分成:

調查法(Survey Research)、實驗法(Experimentation)、觀察法(Observation)、深度訪談法(Depth Interview)。


PART 2 大數據篇

Chapter 06 大數據行銷分析工具

- 大數據行銷分析工具


- 行銷分析階層

- 行為側寫(Marketing Profiling)則是將「側寫」這樣的概念與技術運用到行銷領域,
做法則是透過數據分析來描繪消費者的圖像。
- 行為定向(Behavioral Targeting)是指網站和廣告商使用一系列技術蒐集與分析個人的搜尋
與瀏覽行為等資訊。

* 推薦系統

--內容過濾(Content-Based Filtering)主要基於客戶「過去」對某些商品和服務的偏好,
提出推薦。舉例來說,A顧客購買A產品,而A產品與B產品有相似性,此時,系統就自動推薦B產品給A顧客。
--協同過濾則是使用「同類客戶」來進行客戶偏好的預測,來進行推薦,以下是常見的類型:
  1. 使用者基處的協同過濾(User-Based Collaborative Filtering Recommendation)
  2. 項目基礎的協同推薦(Item-Based Collaborative Filtering Recommendation)
  3. 模型基礎的協同推薦(Model-Based Collaborative Filtering Recommendation)

- 成交路徑(Path to Purchase)

- 網站分析(Web Analytics)目前主要有兩種方法:

1. 日誌分析(Log Analysis)即分析使用者瀏覽器與網站伺服器互動歷程中,所產生的網站日誌檔(web log files)以判斷點擊數(hits)、網頁檢視(page views)、網站停留時間(time on site)等,以了解網站的使用狀況與經營成效。

2. 加入網頁標籤,在每一網頁插入Jave Script告知第三方分析服務的伺服器(如:Google Analytics),
某些頁面已被瀏覽器所讀取。

--要分析或比較網頁內容好不好,有許多的衡量指標可參考,常見的指標除了上述提到的點擊數(hits)、網頁檢視(page views),還包括訪問量(Visits)、訪客(Visitor)、新訪客(New Visitor)、重複訪客(Repeat Visitor)等等。

--如果企業或網站負責人沒有後續的配套措施與相對應的行動,有人就戲稱這就好像到大醫院花錢做了一堆電腦斷層或核磁共振,找到病因之後,卻不做後續治療,讓前面的網站分析做白工了。

- 歸因分析(Attribution Analytics)

--行銷人可以使用歸因分析來規劃未來的行銷活動,透過分析哪些行銷活動(媒體、廣告...等)
最具有成本效益和影響力,以提升廣告支出回報率(Return on Ad Spend,ROAS)或者
取得有效的名單(Cost Per Lead,CPL)等。

-- 網路廣告的快速資增長,企業也同步獲得更多的數據來追蹤廣告的有效性,並且發展出更多評估廣告效果的方式,例如每次點擊成本(Cost Per Click,CPC),每千次曝光成本(Cost Per 1000 impression,CPM),每次完成行動成本(Cost Per Action,CPA)和點擊轉換率(Conversion Rate,CVR)...等。

- 趨勢分析(Trend Analytics)

  1.  定性法(Qualitative Method):判斷法、調查法。
  2. 定量法(Quantitative Method):時間序列分析法、因果分析法(迴歸模式、計量經濟模式)


PART 3 行銷篇

Chapter 07 市場分析與行銷資料科學

- 文章字詞矩陣(DTM,Document Term Matrix)

- 輿情分析
深度類神經網路(卷積式網路Convolutional Neural Network,如CNN,RCNN,Resnet)。
--利用機器學習找出關鍵性的預警貼文:單純貝氏(Naive Bayes)、

- 行銷漏斗(The Marketing Funnel)模型

--過濾性:能通過一階層的過濾,稱為「轉換率」(Conversion Rate) ;
反之則是「流失率」(Churn Rate) 。
-- 提高轉換率的方法,研究顧客的每一個可能的「接觸點(touch point)」是個很棒的切入方式。
「接觸點」意指顧客會接觸到企業產品或服務的任何機會,從消費者尚未購物的平常生活即已開始,到實際接觸的購買體驗,一直到售後的各種可能場景。

- RFM模型可協助公司找出「新客(近期曾經前來公司消費的客人)」、「常客(經常前來消費的客人)」,以及「貴客(消費金額大的重要客人」。


Chapter 08 STP 理論與行銷資料科學

- 企業在經過評估各種市場區隔後,接下來就是從中選定一個或多個「區隔市場」,以作為目標市場。依據哈佛大學教Derek F.  Abell的研究,在目標市場選擇策略中,可以選用以下五種方式來進行。

  1. 單一市場集中化(Single-Segment Concentration)
  2. 選擇性專業化(Selective Segment Specialization)
  3. 產品專業化(Product Specialization)
  4. 市場專業化(Market Specialization)
  5. 全市場涵蓋(Full Market Coverage)


Chapter 10 價值溝通與行銷資料科學
- 行銷管理學裡,將傳統行銷方式區分成所謂的「推式策略(Push)」與「拉式策略(Pull)」兩大類。

- 拉式策略(Pull):意指企業透過於廣告、銷售促進等方式,引發消費者的購買慾望,將消費者「拉」到企業手上;推式測略(Push):則是由企業藉由人員推銷、銷售促進等方式,將產品透過一層層的配銷通路,「推」到最終消費者的手上。

- Inbound Marketing可譯為「集客式行銷」。是一種透過內容行銷(Content Marketing)、社交媒體行銷(Social Medial Marketing)、搜尋引擎優化(Search Engine Optimization,SEO)等技術,吸引消費者主動上門的行銷策略。
- Outbound Marketing議為「推播式行銷」,是指企業透過電視、電話、報紙、電台、看板、
郵件等工具,主動將產品訊息傳播給消費者,並促使消費者在心中建立起對企業的印象。

PART 4 策略篇
Chapter 11 行銷資料科學與策略

- 關於資料科學的分析,常見的分類有以下三種:

  1. 描述性分析(Descriptive Analytics)
  2. 預測性分析(Predictive Analytics)
  3. 指式性分析(Precriptive Analytics)

- 「描述性分析」能解釋已經發生的事,協助企業分析出消費者是誰?或是買了些什麼?
- 「預測性分析」能協助企業解決可能發生的事,
例如分析出消費者可能還會購買什麼?進而提前給予消費者相關的產品資訊。
- 「指示性分析」則能指導實際執行時該如何做,
舉例來說,當消費者走到某商圈時,手機會主動收到適合自己的附近店家折價券。
- 除此之外,尚有提出「診斷性分析(Diagnostic Analytics)」、
「自動化分析(Automating Analytics)」。

分析1.0

- 屬於「傳統分析時代(Traditional Analytics)」,其中統計分析以「敘述性分析(Descriptive)」為主,
亦即「分析過去的事」。分析的資料屬於內部且較小量的結構化資料。
- 在企業部分,分析的目的,在透過分析展現營運效率與增進內部決策有效性。舉例來說,
公司建立各種營運報表,如:營業額、毛利率、淨利率等營運指標,皆是屬於分析1.0時代。

分析2.0

- 屬於大數據時代,統計分析以「預測性分析(Predictive)」為主,亦即「使用過去資料預測未來」。

分析3.0

- 屬於資料經濟時代,以「指示性分析(Prescriptive)」為主,亦即「運用模型發展最佳行動」。
分析資料以結合大量結構化與非結構化資料為主。

- 顧客流失(Customer Curn)分析的應用包含:

  1. 顧客獲得(Customer Acquisition)
  2. 顧客關係發展(Relationship Development)
  3. 顧客留存(Customer Retention)
  4. 顧客流失率分析(Customer Churn Rate Analytics)


2021年3月5日 星期五

AI行銷學:為顧客量身訂做的全通路轉型策略

 AI行銷學:為顧客量身訂做的全通路轉型策略
Make It All About Me: Leveraging Omnichannel and AI for Marketing Success

前言  朝全通路轉型的六項修練

第一項修練  辨識顧客並取得行銷許可
第二項修練  蒐集資料
- 顧客資料多貼近顧客?
   1.顧客提供的資料:提交的資料(sumitted data)或檔案資料(profile data)
   2.有關顧客行為的資料:行為資料(behavioral data)
   3.有關顧客想法或感覺的資料:情緒資料(emotional data)
1.提交的資料:顧客告訴我們什麼?
- 提交的資料有個缺點,那就是顧客在提交資料中的陳述往往與實際情況不同。
- 要領:創造提供資料的誘因、使提供資料的流程便利容易、使用遊戲化手法來激勵用戶提供更多資料。

2.行為資料:顧客做了什麼?
(1).交易、電子郵件與點擊資料 
(2).行銷活動資料 
(3).來自網站的行為資料 
(4).來自客服中心及聊天室的資料 
(5).物聯網(來自裝置的資料)
- 要領:在顧客未登入時蒐集網站上的行為資料、鼓勵登入、保留登入帳戶、創造一個用戶喜愛同時也能取得資料的服務(例如:IMDB、Nike+)、實體商店的行為資料(建立會員制蒐集資料、使用顧客的手機來蒐集資料、行動的銷售點系統)、把資料蒐集內建在產品中(例如:Netflix、Spotify)、來自其他組織的行為資料。

3.情緒資料:顧客有什麼感覺?
(1)問卷調查 
(2)情感分析(sentiment analysis)
- 透過第三方增補資料:鄧白氏(Dun & Bradstreet)、益博睿(Experian)
- 來自其他網站的「入市潛在顧客」(in-market)資料

- 全通路整合與顧客檔案
- 蒐集資料的成熟度面貌
第三項修練  資料分析與人工智慧
- 持續對所有顧客進行評分,標記(tagging)最相似的客群,並根據這個洞察充實自動系統裡每位顧客的紀錄。藉由這種做法,顧客關係管理團隊就能變得更加迎合顧客的需求。
- 使用資料分析來辨識每位顧客的「下一步最佳行動」(Next Best Action)。
*各種分析*
*描述性分析(Descriptive Analytics):
包括傳統統計學,但它在商業中可能涉及在試算表上計算、查詢資料庫、產生商業智慧與數據儀表板,而這些全都提供「後見之明」的觀點。
商業智慧經常會把資料總合成關鍵績效指標,再由使用者透過人為的方式深入探究,期望可以從中找出相關的型態。
視覺化工具也可以視為描述性分析的一個層面,因為它能幫助探索與了解目前或歷史的資料。
從簡單、靜態的圖表(可由試算表得出的圓形圖、直方圖等),到高度互動且動態展現的多維度資料,皆屬視覺化的範圍,它能讓你穿梭其中,感受如同虛擬實境般的體驗。

*前瞻分析(forward-looking analysis)並不是新技術,到目前為止它主要涉及的是預測,這是一種根據以往趨勢與型態為主的「總體層級」預測方法:營收、獲利、顧客留存率等等朝什麼方向發展?
這種預測可以提供概括性的了解,有助於整體規劃,但無助於客製化溝通與互動所需要的詳細資訊。

*預測性分析也是從歷史資料著手,不過機器學習演算法會自動探索資料,找出和特定商業結果有關的型態與關係,例如一位顧客購買某類產品的傾向。
這些型態是行銷人員可以使用的洞察,而演算法也會產生可以直接採取行動的「模型」,模型能夠評估任何現狀或是全新情境,並自動預估結果,至於預測模型所得出每個情況的簡單評估通常是代表一種傾向或評分。

*指示行分析(Prescriptive Analytics)會把一個預測模型產生的結果(例如代表一個預測結果發生可能性的「評分」轉化為一個可直接行動的決策,做法是把這個評分結合商業邏輯,藉此決定每個情況的最佳作法。(例如是否推出行銷活動?應該推薦什麼商品?以及應該採用哪個通路?)
由於預測性分析和指示行分析都仰賴機器學習,因此可以將它們視為人工智慧的範疇。在書中通常只用「人工智慧」這個詞來概括代表這些進階的分析。

*進階分析(advanced analysis,其實指的是演變而成的整個技術)可應用在任何擁有資料的產業領域(風險、財務、網路規劃、營運、供應鏈等等),只要透過分析,便能在決策中注入智慧,得出更好的結果。即使是和行銷有關的應用領域也很廣泛:銷售分析、行銷組合歸因與規劃(marketing mix attribution and planning)、品項規劃(assortment planning)等等,全都可以應用進階分析和機器學習來進行改造。

*人工智慧能力:演算法與模型*
- 你的市場或客群有哪些區隔?有什麼特徵和檔案資料可以用來區別每位顧客,讓你能將他們都視為各具特色的個體?這是跟「誰」(who?)有關的基本提問,而針對每位顧客,你需要了解:
--什麼?(what)他們對什麼訊息有反應?他們會購買什麼產品?
怎麼樣的溝通內容最能有效吸引他們到商店購買?
--如何?(how)他們選擇如何和你互動,亦即他們透過什麼通路和你互動?
如果他們購買的是服務型產品,他們如何使用?他們如何付款?
--何時?(when)他們偏好何時與你互動?他們在一天當中的哪個時間最能接受你的溝通訊息?
長期來看,他們何時移動至顧客生命週期的不同階段,而在他們的購買旅程中,那些點對你而言最為關鍵?

*人工智慧模型與演算法的主要能力*
*分類(classification)可以幫助你做出區別。
例如區別產品的購買者與非購買者。你可以用它來預測誰會購買(或不夠買),分類演算法也可能會產生典型的購買者和非購買者大致的樣貌,而這些資料是最能區別的特徵。

*評分(scoring)可以預測某件事發生的可能性:
一位顧客可能的回應、是否購買、是否終止使用一項服務等等。
雖然就某種程度而言,這與分類工作相同,但它會針對每位顧客或每種情況給出一個評分,
供你做出相關的決策。例如對顧客排序並進行比較。

*群集或自動市場區隔(auto-segmentation)演算法可以幫助你辨識「自然產生的」客群,
並描繪出這些群集的樣貌。

*關聯分析(association analysis)可以辨識出往往會同時發生的項目,這經常應用在辨識出一起購買的商品,因而時常稱為「購物車分析」(basket analysis)。
這種分析可能產出像「當一起購買A產品和B產品時,購買C產品的可能性為72%」這樣的規則。你可以使用這個方法作為交差銷售推薦的基礎,這種關聯性分析的資料基礎不僅限於單一交易購買的產品,它也可以檢視這位顧客購買的所有產品。

*序列偵測(sequence detection)與關聯分析類似,但它辨識的是一堆商品或一系列事件在一段期間的發生順序。
這類演算法能夠偵測出產生良好結果(例如購買或升級)的型態,使你得以建立通往好成果的「捷徑」,或是辨識出導向壞結果(例如取消合約)的路徑,並設法避開這些路徑。
它可以用在很多領域,例如辨識隱引領顧客至購買網站的造訪途徑,或是發出早期警訊(例如顧客終止使用某項服務)的訓序列事件。

*預測(forecasting)或估計(estimation)會針對未來將發生的某件事提供一個預測數值,
例如一位顧客會在一項新產品或服務上的消費量,或是顧客終身價值。

- 人工神經網路(neural network)模型和決策樹(decision tree)模型都可用來評分。
人工神經網路模型在模仿人類下意識決策的應用領域特別有效,例如影像處理與型態辨識;
不過,它們在行銷領域也有用處,因為它們能產生一個連續系列的評分,因而足以做到
細緻的個人區別。
- 決策樹是以樹狀架構得出決策的模型,決策樹的模型會產生一種並不精細的「塊狀」評分分類,
而被歸類為同個塊狀的所有案例彼此之間也沒有區別。
- 人工神經網路模型可以做到精細區別,但高度不透明;
決策樹模型具有高透明性,但缺乏精細度。
- 其他進階方法包括拿人工神經網路模型得出的結果來訓練某個決策樹模型(而非使用歷史的回應資料來訓練),因此便能幫助了解人工神經網路模型如何得出決策,亦即消除或降低人工神經網路模型的不透明性。

- 機器學習能促成一種資料導向的方法,它使用群集演算法(clustering algorithms),並客觀的根據實際資料來自動產生市場區隔模型。稱此為「自動市場區隔」(auto-segmentation)。
- 以自動市場區隔建立的群集模型則是動態的,它們將自動區分既有顧客或新顧客至最吻合的市場,並持續重新評估既有顧客,追蹤他們在各市場區隔之間的漂移。
- 資料準備與特徵工程。在機器學習演算法開始運作前,通常需要進行資料準備,而這會涉及一般會遇到的問題,例如辨識與處理資料品質,或是可能導致對演算法構成挑戰或偏誤結果的數值分配不均。有些方法可以幫助確保演算法去學習那些不常發生的結果的型態,例如超採樣(oversampling)和低採樣(undersampling),基本上,超採樣就是要演算法多注意那些不常發生的結果,低採樣則是要演算法少去注意那些經常發生的結果。

- 將優化法應用在行銷活動與顧客互動時會考量以下條件,包括:
每個個別顧客的預測行為(他們對各種推薦產品或行銷訊息做出回應的傾向、可能購買的傾向、通路偏好等等);參數(例如不同類型顧客互動的成本);限制條件(例如通路容量、整體預算);
目標(例如使顧客回應率或營收最大化)。
而一個數學優化引擎會運算這整個情境,得出一份在限制條件下獲得最佳整體成果(指達成目標方面)的計畫,實際上就是對每位顧客的最適推薦產品或互動。

- 在顧客關係的任何一個點上,你可以對他們採取很多行動,當中有些行動無疑是推薦產品,
然而其他行動並不直接聚焦在銷售,它們可能會是:
對顧客的抱怨做出道歉或補償;搶先調整某項服務的費用,雖然降低當期的營收,
但有助於提高顧客忠誠度與潛在的顧客終身價值(customer lifetime value);
提供免費訓練、指導或資訊,幫助顧客從購買的產品上獲得更大的效益等等。

- 從何處著手?挑選容易實現的目標:
它配合行銷目標嗎?它能帶來價值嗎?它可能帶來什麼價值?這個分析方法的困難度高嗎?
需要什麼資料?分析結果容易應用在行動上嗎?
- 資料分析與人工智慧的成熟度面貌
第四項修練  溝通與服務
- 你的溝通訊息未必要聚焦在是當作出合適的產品推薦,而是應該設計成為顧客提供更多價值的適當服務訊息,不意圖銷售任何東西。
這也是許多組織聚焦在建立「下一步最佳行動」的顧客關係,而非「下一個最佳推薦產品」的原因。
- 零售業的顧客生命週期三階段與關鍵時點
- 不要浪費折扣在那些通常以全價購買而不會追問的顧客身上,除非你試圖對他們交叉銷售一項新類型的產品。
*維繫階段:1.紅利點數即將失效 2.淨推薦評分(Net Promoter Score,NPS) 
3.重新取得行銷許可 4.挽回顧客的優惠措施
- 以顧客為中心的戰術成熟度
- 由資料中的特定條件引法的一次性行動稱為「觸發行動」(triggered actions),
例如觸發電子郵件、觸發訊息或觸發溝通流程(trigger flows,在顧客生命週期的同個時點上有多個相關的溝通相互同時發生)。

*拼湊專屬的行銷技術堆疊
-顧客關係管理、行銷自動化平台、多通路行銷樞紐(MMH,Multichannel marketing Hub)、
需求面平台(DSP,Demand-Side Platform)、內容管理系統(CMS,Content Management System)、
社群媒體管理(SMM,Social Media Menagement)、影響力人士關係管理系統(IRM,Influencer Relationship Management)、數位資產管理(DAM,Digital Asset Management)、
行銷資源管理(MRM,Marketing Resource Management)
- 溝通與服務的成熟度面貌
第五項修練  績效分析
*低成熟度:銷售與品牌業績表現
- 銷售數字、市場占有率、品牌知名度、品牌認知
*中成熟度:通路與行銷活動
- 人潮、曝光、網站造訪、頁面瀏覽、互動與觸及量、購物車規模、轉化率、提升度、銷售模型
*高成熟度:顧客面指標
- 新顧客增加量、顧客流失率、顧客終身價值與顧客忠誠度
- 其他顧客指標:荷包占有率(荷包占有率是指目前顧客在特定產品或服務類別的預算花在你的事業上的比例)、
每筆名單成本(cost per lead,CPL)、顧客獲取成本、維繫顧客的成本(cost of retention)
*以顧客為中心的指標優劣
- 淨推薦評分
- 品牌的淨推薦評分=推薦者所占的比例(%)-批評者所占的比率(%)
- 顧客推薦的價值
- 評量品牌認知
- 能見度:展示關鍵績效指標與傳送報告。
如果你的員工只能看到他們部份工作的果實,那麼他們最終可能只注重那些工作。
- 提高關鍵績效指標的能見度十分重要,讓無關緊要的評量指標失去能見度也很重要。

*設下標準
-我們的績效比預算高還是低?
-我的表現比同事好嗎?無論是個人之間的比較,或分店之間的比較,
和公司裡擁有相同職責與績效目標的人或單位相互比較都具有激勵作用。
-在部門層級,這種標準有助於促進團隊精神與團結。然而,在個人層級就必須審慎使用,
因為如果公司需要員工彼此合作,就必須確保個別員工在達成自己的績效數字時,
不會因為只聚焦在個人之間的互相競爭而導致達到次佳的結果。
-我們的表現比上週好嗎?

*過度數字導向的陷阱
-太過純粹聚焦在數字目標的第一個危險是,過度聚焦在期望成效以外的目標;
其次,可能會創造出員工沒有動機或空間互相協助的工作環境。
-另一種潛在危險是,數字無法呈現組織的本質。舉例來說,如果你的顧客體驗高度取決於員工滿意度(顧問業即為一例),過度聚焦在每月預算可能會導致一個不愉快的工作環境,
而產生的連鎖效應是:不滿的員工導致不滿的顧客,因而更難達成下一個月的績效數字。
- 績效分析的成熟度面貌
第六項修練  組織與管理
- 數量型事業(volume-based business)
- 目標客戶行銷(account-based business)
- 目標與獎勵應該反映最有益於長期顧客獲利能力的因素,不可在無意間鼓勵個別銷售通路內的局部優化(次佳化),卻犧牲全組織的最優化。
- 組織與管理的成熟度面貌

2021年2月5日 星期五

常識統計學

常識統計學:拆穿混淆的假設、揪出偏差的數據、識破扭曲的結論


第一章 模式、模式、模式

- 一種獲得統計顯著性的方法是利用資料發現理論。
統計檢驗的假設是,研究人員首先提出一種理論,然後蒐集資料,以驗證理論,
然後彙報結果--這種結果可能具有統計顯著性,也可能不具顯著性。
許多人倒過來做,他們仔細研究資料,從中發現某種模式,然後編造出符合這種模式的理論。
在資料中搜尋模式的過程令人愉快,而且激勵人心,就現玩數獨或者解決神秘謀殺案一樣。
這些人從各個角度考察數據,分成性別、年齡和種族等類別,捨棄干擾模式的數據,
尋找任何有趣的現象,當他們發現某種模式時,他們開始思考其中的原因。
- 我們如何區分正確理論與胡謅?有兩種良方:常識和新數據。
- 當你搜刮資料、編造理論時,用同份資料檢驗理論是不明智的。
既然你編造這種理論是為了迎合資料,那麼這些資料當然會支持這種理論!
要檢驗就應當用不受資料採集污染的新資料。

【缺乏思考的計算】
- 人口隨時間增長,許多人類活動也是如此,包括看電視的人數、吃橘子的人數以及死亡人數。
這些資料是不相關的,但它們存在統計相關性,因為它們都會隨著人口的增長而增長。
看電視並不會導致我們吃橘子,吃橘子也不會導致死亡。
在統計學中,相關性並不是因果關係的代名詞。
不管兩種事物的關係多麼密切,在做出判斷之前,我們都需要一種合理的解釋。

第二章 不再神奇的超級暢銷書

- 藉觀察人們的行為、蒐集而來的「觀測性資料」中,自我選擇偏誤非常普遍。
人們可以選擇自己的行為,因此他們的選擇也許反映了自身的特點。要想避免這種自我選擇偏誤,
可以進行對照實驗,即將人們隨機分配到不同小組裡,然後告訴他們應該怎麼做。

【具有誤導性的資料】
- 當我們比較出不同選擇的人,同時不去考慮他們為什麼做出這些選擇時,就會出現自我選擇偏誤。
一些學生之所以選擇畢業率較低大學,可能是因為他們不太可能從其他大學畢業。選擇上大學的學生可能比選擇不上大學的學生更聰明,更有動力。
如果消除選擇因素,我們的結論可能更有說服力。比如學生被隨機分配到不同的大學或者被隨機推向社會。幸運的是,科學家不能為了蒐集資料、發表研究論文而毀掉人們的生活。遺憾的是,我們需要對那些可能存在自我選擇偏誤的資料保持警惕。
為我們觀察到的現象尋找理論,另一個常見問題是倖存者偏差,因為我們無法看到不復存在的事物,對於老年人的研究不會包含中年去世的人。考察結束轟炸任務的飛機,當中不包含被擊落的飛機。對於入住某些酒店、搭乘某些航班或者訪問某些國家的人群的調查,不包含有過一次經歷、以後也不來的人。整理偉大公司的共同特點,不會包含擁有這些特點但不那麼成功、甚至已經破產的公司。
如果我們在觀察資料之前,列舉出我們認為重要的因素,並且找出擁有這些特點和沒有這些特點的公司,然後再去查看實驗結果,我們的結論將會更有說服力。

第三章 被誤傳的謀殺之都
- 當基數很小時,一個統計意外能產生巨大的影響。
- 確認偏誤(Confirmation Bias)。

第七章 辛普森悖論

- 之所以存在辛普森悖論,是因為某種干擾因素對群集數據產生了影響。
不過,這並不意味著分解資料永遠優於群集數據。
- 阿拉斯加航空公司在五個主要競爭機場中,都擁有優於另一家航空公司的準點飛行紀錄,但其總體準點紀錄則不如競爭對手,為什麼?因為阿拉斯加航空擁有許多非往西雅圖的航班,而西雅圖的天氣問題經常導致飛機延誤。
在每個年齡群體中,瑞典的女性死亡率都要低於哥斯達黎加,但瑞典擁有更高的女性總體死亡率,為什麼?因為瑞典擁有更多的老年女性(老年人擁有相對較高的死亡率)。
一項醫學研究發現,一種手術對於小型和大型腎結石的治療成功率,均高於另一種手術,但其總體成功率卻不如另一種手術,為什麼?因為它經常用於治療大型腎結石(大型腎結石治療成功率相對較低)。
- 群集數據可以更加準確地衡量誰是更好的打者。在其他一些情形中,干擾因素是真實的,忽略它們是一種危險作法。
- 當你聽到某種令人困惑的(甚至合理的)論斷時,應當考慮是否存在干擾因素。
- 缺乏理論的資料僅僅是資料而已,缺乏資料的理論僅僅是理論而已。

第九章 勝者的詛咒

- 凱因斯經典論文<就業、利息和貨幣通論>(The General Theory of Employment,Interest and Money),顛覆了經濟理論。
這篇論文創造了一個全新的經濟學分支,叫做宏觀經濟學。

第十一章  德州神槍手

- 資料群集現象無處不在,甚至存在於雜亂的數據之中。想要尋找某種解釋的人一定會找到一種解釋。不過,某種理論與資料群集現象相符並非具有說服力的證據。
人們發現的解釋需要言之有理,而且需要得到新資料的驗證。
-  向足夠多的目標發射足夠多的子彈的人,一定會擊中某個目標。
檢驗數百種理論的人,一定會發現支持至少一種理論的證據。
這種證據不具有說服力,除非理論是合理的,而且能夠得到新資料的證實。

2021年2月2日 星期二

AI必修課:日本情感研究權威的人工智慧秒懂攻略

 AI必修課:日本情感研究權威的人工智慧秒懂攻略

第二章 人工智慧擅長與不擅長處理的事

- 聲音辨識系統會使用兩種技術以防止雜音造成錯誤判斷,一種是判斷人類說話時間區段的技術(聲音檢出),另一種則是去除混入雜音的技術(雜音去除)。

- 用比較專業的術語來講,聲音辨識是將輸入的訊號轉換成聲音特徵向量(將聲音的各種特徵數值化後的資料),再從一系列的聲音特徵向量推敲出對應的單字。

- 過去將聲音轉換成正確文字的過程可分為兩種模型,分別是「聲音模型」與「語音模型」。

- 聲音轉換成文字的過程是先分頭進行再匯合出結果。「聲音模型」就像是聲音的單字辭典,「語音模型」則是由上下文預測是那些單字組成。

- 隱馬可夫模型(HMM,Hidden Markov Model)

- 利用聲音模型或語言模型分別進行處理,想要正確預測出後面的單字仍有其極限。

- 語意網路(Semantic Network)在人工智慧發展初期便是著名的研究。

- 單字與其意義並不是任意存放在大腦記憶中,而是以聯想串聯起各單字所代表的概念,並將其意義相近的單字一起記憶下來。

- 潛在語意分析(LSA,latent semantic analysis)

第三章 人工智慧如何從資訊中學習?

- 機器學習大致上可以分為「監督式學習」、「非監督式學習」、「強化學習」等三種。

- 卷積式類神經網路(CNN,Convolutional Neural Network):CNN所使用的是誤差反向傳播法來調整權重,完成學習過程。

--卷積層(convolution layer)

--池化層(pooling layer)

--局部比對正規化層(LCN,local contract normalization)

--鏈結層(fullyconnected layer)

- 遞迴式類神經網路(RNN,Recurrent Neural Network):RNN是一種在聲音、語言、影片等序列式的資料處理上具有優勢的類神經網路。

- 波爾茲曼機

- AI三大家:深度學習的「類神經網路」、專家系統、遺傳演算法。

- 遺傳演算法(GA,Genetic Algorithm):GA常被應用在遊戲、股票交易、飛行路徑最佳化、飛機機翼大小最佳化等領域中。

2021年1月16日 星期六

行銷4.0:新虛實融合時代贏得顧客的全思維

行銷4.0:新虛實融合時代贏得顧客的全思維
Marketing 4.0: Moving from Traditional to Digital
作者:Philip Kotler, Hermawan Kartajaya, Iwan Setiawan

第五章 新顧客體驗路徑    
- AIDA是描述顧客體驗路徑最早、也最廣泛接受的一個模型,這模型將顧客體驗路徑分成
注意(Attention)、興趣(Interest)、慾望(Desire)和行動(Action)階段。
- 凱洛格管理學院的洛克(Derek Rucker)修正為「4A架構」,將顧客體驗路徑分成
認知(Aware)、態度(Attitude)、行動(Act)和再次行動(Act again)四個階段。
- 但在行動社群時代,科特勒等人認為這整套流程顧客體驗路徑應該重新修改成5A架構,包括
認知(Aware)、訴求(Appeal)、詢問(Ask)、行動(Act)和倡導(Advocate)。
-認知(Aware)是讓消費者有品牌印象、訴求(Appeal)是讓消費者被品牌吸引、
詢問(Ask)是讓消費者對品牌好奇、行動(Action)是讓消費者對品牌購買,
倡導(Advocate)則是讓消費者為品牌說話。

第六章 行銷生產力指標    
- 有兩個與5A架構一致的指標值得衡量:
(1)購買行動比率(purcase action ratio):衡量企業將品牌知名度轉換成購買行動的成效。
(2)品牌擁護比率(rand advocacy ratio):衡量企業將品牌知名度轉換成品牌擁護的成效。
- 在行銷領域裡,顧客的好奇心來自提供顧客有吸引力、但不會太多的知識。因此創造顧客好奇心涉及的方法稱為內容行銷(content marketing),這是一系列創造和傳播與顧客生活相關、而且與品牌高度連結內容的活動。

第七章  顧客行為與產業特性    
- 四個主要的顧客體驗路徑:門把型、金魚型、喇叭型和漏斗型。
每一種都有特定顧客行為模式何不同的挑戰。
- 如果以品牌擁護比率的中位數和分布範圍分別當作橫坐標與縱坐標,可以得出四個主要產業分類。
- 品牌經營:
在品牌擁護比率中位數較高、分布範圍較廣的產業,顧客通常願意推薦幾個領導品牌。
這類品牌的成功關鍵因素是品牌經營(brand management),
也就是發展好的品牌定位,並透過行銷傳播加以執行。
消費性包裝產品就是代表,行銷人可向消費性包裝商品領導企業學習,
例如寶僑和萊雅(L'Oreal)。

- 銷售通路管理:
品牌的成功取決於關鍵市場的通路,以及產品是否可以讓顧客容易取得,
主要成功因素在於銷售通路管理(channel management),發展全通路策略來促使顧客購買。
零售業是這類品牌的典型,百貨公司、專門店和網路商城就是以高顧客推薦率著稱。
梅西百貨和亞馬遜是其中的領導品牌,行銷人可以效法他們的行動手法,運用傳統和數位媒體把顧客帶到購買通路。

- 服務管理:
顧客體驗通常呈現兩極化,感到滿意和覺得挫折的顧客人數相當。領導品牌通常比其他品牌其功更出色的服務,而且有更高的品牌親和力。其中一個例子就是航空業。英國顧問公司Sky-trax選出的全世界前十名的航空公司中,中東的卡達航空和亞中都新加坡航空就以出色服務著稱。
它們成功的關鍵因素在於服務管理(service management),管理服務流程、服務人員與實體環境。

- 銷售人員管理:
競爭品牌必須努力將產品和服務推向市場,因此成功因素在於銷售人員管理(salesforce management),管理有生產力的銷售人員,並推出適當的銷售活動。

第三部    數位經濟時代的行銷戰術
第八章 人本行銷,提升品牌吸引力    
- <沒有職稱的領導人>(leaders without titles)提到,橫向領導人即使沒有領導權,
也有吸引其他人的六種特質。包括充沛的活力(physicalit)、充滿知性(intellectuality)、
社交性格(sociability)、情感豐富(emotionality)、性格鮮明(personability)和道德感(morality)。
這六種特質組成一個完整的人,一個成為模範典型的人。如果品牌想要向朋友一樣影響顧客,而不是用更高權力控制他們,就需要具備這六種人格特質。

第九章 內容行銷,創造顧客的好奇心    
- 內容行銷的目的可以分成兩類。
1.銷售有關,包括創造潛在顧客、達成銷售目標、交叉銷售、追加銷售和銷售推薦;
2.品牌有關,包括品牌知名度、品牌聯想、品牌忠誠度和宣傳。
- 內容行銷人應將重點放在某個次文化族群感興趣的主題上,如在家自學、3D列印、賞鳥、健美等。
這些人較容易聚集在同一個社群裡,相互傳播相關內容。
- 在數位世界裡,最常見的付費媒體通常包括網路橫幅廣告(Banner Ads)、出版商聯合網絡(affiliate networks of pulishers)、搜尋引擎廣告、付費社群媒體置入和手機廣告媒體。
品牌通常會根據曝光次數(impressions,內容出現次數),或
行動次數(觀眾確實採取行動,如點擊、註冊或購買次數)付費。
運用付費媒體通常是為了觸及和取得新的潛在觀眾來建立品牌知名度,並帶動自有媒體通路的流量。
* 內容行銷效果評估:
- 有五種可衡量的指標,包括
1.能見度(visible,衡量認知階段)
2.喜愛度(relatale,衡量訴求階段)
3.搜尋度(searchable,衡量詢問階段)
4.行動度(actionable,衡量行動階段)
5.分享度(shareable,衡量倡導階段)
- 能見度指標衡量的是觸及率和品牌認知,常見指標包括:
  • 曝光次數(impressions,內容被觀看的次數)
  • 不重覆訪客(unique viewers,多少人實際觀看了內容)
  • 品牌記憶(brand recall,多少比例的人記得品牌名稱)
- 喜愛度指標衡量內容引起訪問者興趣的程度,包括:
  • 每位訪客的網頁瀏覽數(pages views per visitor,訪問內容網站時所瀏覽的網頁數)
  • 跳出率(bounce rate,只瀏覽一個網頁就離開的人數比例)
  • 網站停留時間(time on site,到訪的持續時間)
- 搜尋度指標通常衡量用搜尋引擎是否容易找到內容,重要指標包含:
  • 搜尋引擎排名(search engine position,在搜尋引擎打入關鍵字之後,內容出現的位置)
  • 搜尋引擎推薦(searc engine referral,從搜尋引擎進入企業網站的訪問者)
- 行動度指標可能是最需要追蹤的重要指標,這是衡量內容是否成功驅動顧客採取行動,包括:
  • 點擊率(click-through-rate,點擊次數占曝光次數的比例)
  • 其他行動轉換率(other call-toaction conversion rate,訪問者採取某個完整行動,如註冊和購買的比例)
- 最後,行銷人必須追蹤內容被傳播的情形,也就是分享度指標,包括:
  • 分享率(share ratio,分享次數占曝光次數的比例)
  • 互動率(engagement rate,例如在Twitter上的分享行動占追隨人的比例,這些分享行動包括轉推、按讚、回覆和提及)
第十章 全通路行銷,完成品牌承諾    
- 一般來說,通路可分為傳播通路和銷售通路。
傳播通路包括任何傳送資訊和內容的通路,例如電視、平面媒體、社群媒體、內容網站和客服中心等。銷售通路則包括任何進行交易的通路,如零售商店、銷售團隊、電子商務網站、電話銷售人員和銷售展覽等。有時傳播通路和銷售通路緊密相連,沒有清楚界線。
第十一章  參與行銷,增進品牌親和力
- 在數位時代有三個主要受歡迎的技巧已經證實能有效增加顧客參與。
1.手機APP提升數位顧客體驗
2.透過社群顧客關係管理(customer relationship management,CRM)讓顧客參與對話,提供解決方案;
3.遊戲化機制(gamification)引導顧客做出期望的行為,參與提升度。
這三種方法沒有互相排斥,事實上,行銷人應結合這些方法來取得最好的結果。
- 由於社群媒體的特性,社群顧客關係管理以對話為主。
不像傳統顧客關係管理多是單向和週期性的宣告,社群顧客關係管理需要持續的對話。
這些對話不只是品牌和顧客之間的對話,還包括社群裡顧客與顧客間的對話。
因為社群是由社群動力(social dynamics)所驅動,很少議題可以被隱瞞或孤立。
所有人,包括潛在顧客,都可以看到品牌的回應,並直接參與對話。
- 大數據分析也讓企業了解顧客行為模式,可以幫助行銷自動化,如採取客製化銷售、
交叉銷售(cross-selling)和追加銷售(up-selling)的策略。

2020年11月22日 星期日

駭客行銷之道

 駭客行銷之道:集客X流量一擊制勝,數位行銷力最大化

2016/10/21

Scott Brinker 

Part 2:敏捷

- 對多數公司來說,難以駕馭行銷科技新工具的主要癥結,並非在於使用技術層面。最大的瓶頸通常出現在凌駕其上的管理層速度與適應性。現存的程序與組織架構,有許多都是數位時代前的產物。它們是過去當速度與適應性還是以全然不同標準來衡量的時代下的時代下的行銷管理遺留物。然而出於人們的惰性,許多過時的管理方法以緩慢的速度在改變。

- 完成比完美更棒。

- 衍生閱讀:

Scrum:用一半的時間做兩倍的事

Kenneth S. Rubin,<敏捷開發經典,Essential Scrum>

Andrew Stellman & Jennifer Greene <Agile學習手冊,Learning Agile>

Mary & Tom Poppendieck<Lean Software Development>

Jeff Gothelf & Josh Seiden<精益設計,Lean UX>

Part 3:創新

- 你提供了哪些行動呼籲(Call-to-action)?在購買旅程中,你為顧客提供了那些量身訂製的廣告內容?

- 接觸點的運作方式及訪客與互動的體驗滿意度,主動塑造了你的品牌觀感。這樣的感知會直接地植入在與你互動的閱聽眾印象裡,也會間接地因他人在社群媒體上對你的品牌平價而產生。

- 用戶體驗是現代行銷的戰場。而行銷的方式充滿了各種創新可能。

- 早在50多年前,Marshall McLuhan就提出了其著名的主張:「媒介即訊息」。而在過去50多年裡,行銷方面的創新多歸功於訊息(傳遞內容)與媒體(傳遞方式與場域)的交互作用。

- 不同的媒體提供我們不同的調色盤,描繪出來的訊息也因此不同。

- 訊息是被傳遞的內容。媒體是訊息傳遞的方式與場域。在兼具功能性與互動性的體驗下,其機制是指體驗本身與其運作模式。

- 內容行銷是一種策略性行銷方式,著重於創造並發布有價值、相關且一致的內容,以吸引並留住特定閱聽眾,進而衍生出可獲利的顧客行為-此點也最為重要。

- 今日軟體產品管理界最重要的概念可說是最簡可行產品(MVP)。因Eric Ries出版的<精實創業>而廣受歡迎。

- MVP的宗旨在於讓更多點子與版本獲得測試的機會-並在更快、浪費最小的情況下。我們可以在不耗費更多資源的情況下,承擔不成功的風險。

- 與其發布一連串只能擁有最終版本的創意活動,不如根據先前版本所得到的反饋或新點子,讓活動跟著演化。

- 許多行銷接觸點,如網站、社群媒體、email行銷企劃和行銷自動化,現在不但隨時待命,還可以隨心所欲地進行更新。

- 大測試的第二項理念,就是大環境。公司內部的多數員工被鼓勵並擁有執行實驗的權利。測試並非少數專家才能擁有的權力。為了提升表現,我們應經常執行實驗。

- 普遍性的實驗風氣可以帶來三大好處。第一,隨著數位接觸點數量的不斷暴增,我們有愈來越多的機會可以改善顧客互動。大量的網頁、email、廣告、內容和社群媒體,已非任何一位測試霸主或測試團隊可以獨立攻克的對象。分散測試能力給行銷人員,能協助我們處理大部分的問題。

Part 4:規模力

- 有時候,拓展行銷只是一件關於「接觸」(reach)的工作:將溝通與體驗散播到更廣泛的閱聽眾身上。但此步驟可能戶需要公司內部更多的參與:更多理解此概念的人,以及負責執行的角色。重複性與一致性由此開始又變得更重要。

- 這些顧客的行為都無法透過行銷自動生成系統來追蹤,進一步影響了日後的活動生成。

- 通路(Channel):活動會被映射到通路中。在活動的架構下某個時間點、應分配多少資源並搭配哪一個通路的選擇,都可以自行演化。此階段需對背景框架(context framing)負責(所謂的背景框架即一個活動在特定的通路下,該如何最好地滿足閱聽眾需求),以及跨通路的合作。此階段的變動速度約為數週至數月不等,因為有些面向更接近下層的活動,有些卻更接近上層的策略。

- 底層的結構性改變將對上曾造成無預警的地震效應。

2020年10月25日 星期日

流量新紅利時代:商業模式決定變現之道

 流量新紅利時代:商業模式決定變現之道

2019/04/24

單元一 突破流量困局

單元二 流量變現實戰

- 需要型商品不會因為有折扣而讓顧客多買,頂多是「提前消費」。

- 能推動營銷增長的關鍵數據,就是擁有用戶大數據的「結果數據」與「動機數據」。

單元三 結合優質的流量池

- RTB(即時競價)、DSP(廣告交易平台)、SSP(供應方平台)、DMP(數據管理平台)