[R] 相見太晚，回頭是岸，分析WOE和IV值的神器套件

        

圖片來源：http://business.inquirer.net/105003/mining-loses-1-5b-in-potential-investments

        最近因為投入研究Spark，對於資料分析的東西比較沒時間琢磨，難得一個雙十假日又可以來體驗一下礦工的生活了．

        

        Data mining不管是用何種方式建立模型，從幾百個變項中選出幾個候選變項往往是整個資料採掘過程最耗人的一個過程，實務上常使用WOE和IV用於變項篩選和分析（特別是信用評分卡模型），並透過WOE將原始資料離散化並取代後放入logistic模型中進行二分變項（結果只有0或1）的分析．

資料脈絡與詮釋

        數字會說話？錯，說話的永遠是人，這是最近很紅的一本書"精準預測"中的名言。如果只會看數字講話，那很容易跌入陷阱。別忘記，蒐集資料的是人，解讀資料的是人，使用資料的也是人，就算是演算法的設計，也是跟人有關，所以解讀數字時千萬不能脫離資料的脈絡。

資料分析鍊金術(四)-利用八二法則建立客戶分層金字塔

        有天老總提了個要求，希望重新設定VP客戶分群，希望將客戶分成幾群來擬定行銷策略。CRM分析一個很重要的精神就是幫客戶分群，於是這個工作理所當然地落到我們的頭上。一般我們都會利用客戶的貢獻程度來將客戶分群，但是傳統上到底要切成幾群，或是要怎麼分一直沒有個依據(通常是依據直覺)，所以這次我們就利用很紅的八二法則來將客戶分群。

市場成長的動力?

        每次做簡報的時候，不會是分析人員或是客戶，最喜歡看到這個圖形了，不但簡報製作起來沒有壓力，簡報現場也是和樂融融。沒有人看到業績成長是不高興的，通常也不會仔細追究成長的動力來自哪裡。

        每天行銷人員都有很多企畫在手上執行，有時候受到資料與調查方法的限制，還真的很難指出究竟是企劃A、企劃B還是企劃CDE哪個方案讓消費者買單。但是最基本的，調查公司還是可以幫客戶指出，成長的來源究竟是整體市場消費者的增加，還是單一消費者購買的量增加。

        消費者增加與每個消費者購買的量增加是個很基本，卻很重要的問題。這個問題反映了市場的需求的型態。消費者增加代表有更多消費者需要這樣產品，而單一消費者的消費量增加代表著每個消費者的需求增加。而且根據產品特性，其成長的來源也不太一樣。例如高階金融產品，需求的人數本來就少，成長通常就會來自單一消費者的增加。如果是新的飲品上市，消費者成長的速度通常就會大於單一消費者消費量的增加。成長動力的不同，反映了市場狀況，也反映了產品的定位

        那要如何從調查資料中確認這一點呢? 在調查產品使用者人數時，除了該商品之外，也同樣將其他競品並列其中(如果不能全部列出，至少也要列出市場上的重要品牌)。另外因為是要觀察成長的動力，所以這個調查勢必會連續調查幾期(例如三期，每個月一期)，待調查資料回收後，比較兩件事情：1. 每一期的總消費者人數(不重複的人數)，以及2. 平均每個人使用的產品數。如果1.消費者總數成長速度超過2.平均每個人使用的產品數，那表示市場成長的動力是來自消費者的增加，反之則來自每個消費者的使用量增加。

        市場成長是每個分析簡報的基礎，也是最基本的想像，不管是在設計問卷或是執行分析時，一定要納入其中。更重要的是，要回答成長(或衰退)的基本動力來自那裏，作為整個分析的基底，以及對於客戶商品市場的基本認識。


圖片來源：http://www.inside.com.tw/2012/07/12/growth-hacker-the-requirements (流量成長駭客（Growth Hacker）應該具備的條件)

誰搞砸了好資料？

<文章觀點以及部分內容來自哈佛商業評論 2012年4月號>
現在是資訊爆炸的時代，我們該煩惱的不是沒有資料，而是資料太多。市場調查公司其中一項產品就是資料庫和DATA，客戶買這些DATA回去分析資料。但是有很多客戶說真的實在是不太會用資料...不會用資料的原因很多，公司裡沒有專門跑資料的人員、基層人員來來去去，沒有人對資料有長期且深入的經驗......等等。不過最關鍵的原因，就是這些購買資料的客戶，對於資料的不信任不了解價值，才不願花時間來使用。花了大錢才蒐集到的資訊，卻可能無法被充分的使用甚至做出拙劣的決定...