[Data Analysis] Data Analysis基本觀念(未完成)

工程人員雖然對於數據處理技術方面相對在行, 但一般不具備數據分析的know how, 不清楚管理階層或user所面臨的難題, 必須花費時間進行溝通, 本篇節錄SQL商業資料分析術部分章節

數據類型

• 業務數據 - 又區分為交易資料與主檔資料, 會隨著系統設計跟著更新刪除

1. 交易資料 - 遊戲玩家數據, 客戶評價資料, 會包含日期.時間.數量.價格....等等
2. 主檔資料 - 商品資料, 客戶資料

• 日誌數據 - 保存user device. IP. URL. cookie......等等隨時間不斷累積, 可記錄交易資料執行的歷史紀錄

同時運用兩種資料, 例如客人在網站上瀏覽過的方式與產品, 當他到實體店面, 就可以第一時間接待客人與做推薦服務

數據流程

• 找出問題
• 數據累積
• 數據整理
• 數據彙總
• 數據視覺化
• 找出問題與解決方案
• 依照對象推薦與製作報表

日誌格式

• 日期時間
• 使用服務
• 使用者行為與行為對象 - 對圖片點讚
• 停留時間
• 使用者id
• url
• 網頁名稱
• device 
• 顯示類型 - 電腦web或手機web
• via - 從哪一個頁面過來的
• 計算訪問次數的session
• 計算訪客的session
• detail - 針對使用者行為與行為對象做補充, 例如購買商品.商品類別.價格.數量...等一些交易紀錄, 因為隨時可能變動, 可使用陣列.JSON格式保存

將數據分成三個階層

• Log層 - 記錄所有log

一般業務數據與日誌數據都會存在此層, 但並不會直接對此層分析, 屬於原始資料, 業務數據則是join不同table的資料或者dataframe merge, 日誌數據針對重複數據必須做處理, 也可排除特定IP的訪問

• 收集層 - 紀錄整理加工log或業務數據

已除去無用的資料, 分析人員或工程師會來此層取資料做 應用, 包含整理好的log. 各table join出的table. 今日登入會員清單......等等, 必須思考到未來彙總容易性

• 彙整層 - 針對每日必須檢查的指標, 先進行彙整

將使用便率較高的指標事前彙整並儲存下來, 利於常常做檢查, 包含每日營收.當月營收.註冊變化與趨勢.留存率與回訪率.每日訪問次數.人數......等等

數據分析四個步驟

1. 掌握全體狀況 - 由整體到細部去分析
2. 圖形化 

• 變化 : 折線圖
• 比率 : 圓餅圖.堆疊直條圖
• 比較 : 折線圖.直條圖
• 分佈相關 : 散佈圖.泡泡圖

3. 比較多個數值

例如彙整出營收, 也希望取得購買次數與單價等資訊, 使用多圖表比較找出結論

• 用相關指標分組, 再進行比較
• 用相關多個指標排序再比較 : 營收下降, 依照訪問次數.每人購買金額.CVR(轉換率)...等指標確認
• 將數據細分後再進行確認
• 和上個月去年比較：營收也有可能隨季節變化, 不一定是經營團隊的問題, 可計算每月營收年成長率
• 用相同指標和其他服務比較

4. 建立假設進行驗證

• 掌握狀況, 在和多個數值比較過後, 會服處各種疑問和假設, 藉由對假設做驗證, 就可以實施對應的服務, 並仔細觀察服務結果

設定KGI和KPI
KGI : Key Goal Indicator , 關鍵目標指標
KPI : Key Performance Indicator , 關鍵績效指標
例如
KGI 營收 = KPI 訪客數 Ｘ CVR  X  購買單價
透過提升其中KPI就可提升KGI

[訪客數] 

• 每頁的訪客數.訪問次數.pageview(單一頁面被顯示次數)
• 訪問來源, 分組訪問次數.CVR
• 掌握入口網頁與出口網頁

[CVR轉換率]

• 掌握連接成果的頁面
• Fallout Report視覺化用戶瀏覽情形
• 彙總從輸入到完成的遷移率

[購買單價] 

• 各類別銷售金額與小記
• 直方圖彙整購買價格區間
• RFM分析將使用者分組

將數據提供給誰
必須掌握數據報告向誰提出 Ｘ 想知道什麼
向誰提出

• 董事與經營層：期待得到服務規模.與其他公司比較.營收的變化 

1. 利用Ｚ圖表確認業績變化
2. 以訪問頻率定義使用者屬性
3. 定義訪問類型, 彙總成長指數

• 事業部總經理與總監：提升所負責之服務的營收和使用者數, 目標是KGI, 期待得到挖掘全體問題的報表.提出可增加營收的解決方案.提出活用數據的新策略

1. 利用ABC分析判別銷售情形
2. 利用FAN Chart判讀商品銷售成長率
3. 利用RFM分析將使用者分組
4. 推薦系統

• 企劃與開發人員：重視KPI, 提出使用者或頁面離開率.跳脫率.遷移率的報表

1. 彙總留存與回訪行為
2. 依照行為次數分組彙總回訪率
3. Fall Chart Report 視覺化用戶瀏覽情形

• 行銷部門：將預算投入效果更高的廣告

1. 依照經過天數彙總每人平均消費總金額
2. 掌握連結成果的頁面
3. 計算頁面的價值

想知道什麼

• 想知道指標的變化. 平衡情況(掌握現況)
• 想知道問題點. 應該改善重點(改善方案)
• 想知道投入的預算和效果(成效)
• 想知道指標為什麼增加或減少(探討原因)

Ref:

宮田直人著, 朱浚賢譯 , SQL商業資料分析術 , 旗標