2013/08/10
- 與其相信一個人的判斷，不如相信數千萬人的資料
★第一章 什麼是巨量資料
- 案例：Decide.com,FightCaster
★第二章 支撐巨量資料的技術
- Hadoop,NoSQL,串流資料(即時資料)處理：
IBM InfoSphere Streams,Oracle CEP,Sybase Sybase Aleri Streaming Platform,Hitachi uCosminexus Stream Data Platform,機器學習,統計分析
★第三章 以巨量資料為核心競爭力的企業 歐美企業篇
- 案例：eBay,Zynga,Centrica
★第四章 以巨量資料為核心競爭力的企業 日本企業篇
- 案例：KOMATSU,RECRIT,日本麥當勞
★第五章 巨量資料的運用模式★
- 巨量資料的運用案例：
1. 精準推薦商品或服務
2. 行為定位廣告
3. (運用地點資訊的)行銷
4. 揪出盜刷
5. 顧客流失分析
6. 預測設備故障
7. 驗出異常
8. 改善服務
9. 預測路況
10. 預測電力需求
11. 預測感冒流行
12. 預測股市行情
13. 油資成本的優化
- 巨量資料的運用模式
- 個別優化 X 批次處理
- 案例：美國先進保險公司(Progressive Corporation)
- 個別優化 X 即時資訊型模式的概念圖
- 案例：旅遊網站Expedia,美國特殊保險公司安信龍解決方案公司(Assurant Solutions)
- 全體優化 X 批次處理型
- 案例：Hotels.com,Google的reCAPTCHA
- 全體優化 X 即時資訊型
- 案例：FlightCaster,Decide.com
- 巨量資料的運用深度：掌握過去與現狀,發現行為模式,預測,優化
★第六章 巨量資料時代的隱私權問題★
★第七章 開放資料時代的到來與資料市場的興盛★
- 預測飛機房班出發時刻是否延遲的服務的新創企業FlightCaster，運用了航班準點績效和誤點(Airline On-Time Performance and Causes of Flight Delays)等資料。
- 天候企業(Climate Corporation)是一家天氣意外保險公司，以農家為對象，銷售"綜合天候保險"，是由農家投保以預防收穫量因氣候惡劣而減產歉收的農作物保險。該公司整合了由美國農業部公開的過去六十年分農作物收穫量資料，藉以預測玉米、大豆、冬麥等的收穫量。
- 資料市集是將人口統計、環境、金融、零售、天氣、運動等各種資料彙集在同一處進行買賣的網站，等於是資料的一站式購足商店。
- 在美國除了Factual,Infochimps等新創企業所營運的資料市集外，大型供應商也投入了這塊市場，像是微軟的Windows Azure Marketplace，以及亞馬遜的Public Data Sets on AWS等。
★第八章 面對巨量資料時代該有的準備★
- 美國支付服務業者朝向資料整合公司發展：VISA,PayPal,美國運通
- 資料科學家指的是，運用統計分析或機器學習、分散式處理等技術，由大量資料中萃取出在商業上有意義的洞見，然後以簡單易懂的方式將它傳達給決策者的人才；或是用資料創造出全新服務的人才。
- 電腦科學家需具備的技能如下：
1. 電腦科學-必須具備Hadoop或Mahout等，對處理巨量資料越來越重要的大規模平行處理技術或機器學習的能力。
2. 數學、統計、資料探勘-數學、統計、操作SPAA或SAS等主要的統計分析軟體，其中"R"是最近相當受注目的開放原始碼統計分析用程式語言及執行環境。
3. 資料的可視化(Visualization)
- 資料科學家需具備的資質：溝通能力、創業家精神、好奇心
- 數學、統計、電腦工程、資料分析。分析學領域-預測分析、描述分析(Descriptive Analytics，包括商業智慧與資料探勘)及規則分析(Prescriptive Analytics，包括優化與模擬)。
- 資料探勘用的統計方法(多重邏輯迴歸分析、非線性迴歸分析、判別分析等)、
計量方法(時間序列分析、機率模型、優化)、決策分析(多目的決策分析、決策樹、影響圖、敏感度分析)、競爭優勢分析、資料庫(資料庫模型、資料庫設計)、預測分析(時間軸分析、主成分分析、非參數迴歸分析、統計流程控制)、資料管理(ETL、資料管控、管理、後設資料)、優化與捷思(整數規劃法、非線性規劃法、局部搜尋法、通用捷思演算法(模擬退火法、基因演算法)、巨量資料分析(非結構化資料概念學習、MapReduce技術、巨量資料分析)、資料探勘(分群法、關聯規則、因素分析、存活分析)、社群網路、文本分析、網路分析、財務分析、服務業分析、能源、健康照護、供應鏈管理、整合行銷溝通之機率模型、風險分析與營運分析用電腦模擬、軟體面的分析學(分析之組織面課題、IT與商務使用者、變革管理、資料課題、結果的展示與傳達方法)、綜合設計
沒有留言:
張貼留言