新年快樂 馬到成功--進入市場分析的心路歷程

        

        因為這幾天過年出門在外 ，不方便更新文章，祝各位讀者新年快樂 ！
回顧進入資料分析這行，也是相當巧合。研究所時念的是人口學 ，研究的是存活分析方法 ，畢業後進入市場調查公司 ，腦袋中的研究方法和統計方法少得可憐 。只知道質化量化 ，對於量化的認識也只限於調查統計。

         一開始接觸 CRM和Data mining ,還是一位離職的前輩介紹才知道原來有這種分析方式 。後來做了一些了解後 ，發現市場調查與資料挖掘本質上的差異 ，在因緣際會下投入製造端 ，才有幾會實務上處理Crm和data mining。

         在分析資料幾個月後 ，進一步體認到儘管市場調查調查和資料探勘研究法法上有所差異 ，但是研究人員的心態上卻沒有太大差別 。無論是採用何種研究途徑，研究人員的好奇心是最重要的出發點--為了更接近市場事實 ，用各種可能且合乎邏輯的方式來剖析市場 。

        研究方法就是不同的工具，當你的工具箱中有越多工具 ，就能有更多滿足好奇心的選擇 。新的一年希望自己仍能保持好奇心 ，更靈活的使用各種放方法。

        圖片來源：http://www.kinetic-impulse.com/mocap_data/

資料分析鍊金術(一)--認識手上的資料庫

     

         因為剛換工作，想趁記憶猶新的時候，把所有接觸資料庫到分析流程記錄下來，作為將來自己或是其他人的參考。

         (一) Read Database Schema

        作為新成立的資料分析部門，硬碟裡沒有半個DATA也是很合理的事情，於是只好請資料分析的好朋友--IT部門撈資料。因為行業關係，我們公司除了會員資料庫之外，也有自己的POS DATA和生產資料(這都是慢慢才知道的)，每個資料庫因為資料結構不同，所以都儲存在不同的TABLE中。例如會員資料庫就會有會員代號、姓名、生日、電話、消費次數等以"會員"為分析單位的資料；而POS DATA就是以每筆消費為單位，儲存內容包括銷貨日期、單據金額、原訂價、實際售價等等，要依當初設定的SPEC(或Schema)而定。因此第一步就是像IT申請所有資料庫表格的Schema、代號對照表，才能了解目前公司有多少個資料庫表格、欄位內容、以及不同資料庫之間的串連方式。Schema包含了資料庫的變項內容，是了解資料庫最基礎也最重要的步驟，從schema觀察每個資料庫的內容資料，變項之間的關係或定義最好也能先有初步認識

         (二)Read the Data

         接著請IT撈每個資料庫的DATA，這裡建議是每個SCHEMA都撈，也不要設任何篩選變項，直接觀察最原始的資料。觀察資料的方式先取第一筆或前十筆，從實際的DATA中了解變項的(A)資料格式以及(B)變項之間的關係。

         (A)使用資料分析軟體讀資料時，一開始都建議先用文字變項讀取每一個欄位，避免有些假數值的欄位讀取錯誤(例如電話號碼，開頭是0，如果一開始用數字格式讀取，之後難以處理)；或是資料會有其他莫名的格式錯誤(例如全形半形)，用文字變項讀取會較為安全。

         (B)變項之間的關係是最複雜的部分。因為當初設計資料庫的人第一可能不在，也沒留下紀錄，有些關係無從了解。或是其他人不習慣使用的變項，找不到變項與其他變項之間的關聯，都會對我們未來的分析有所影響。

         (C)除了單一資料庫內變項之間的關係外，也要了解不同資料庫間相關變項的關係。例如會員資料庫中通常會有消費次數和累積消費金額，這兩個值可以由POS系統中的會員歷次消費紀錄得出。資料庫之間的了解也有助於將來分析跨資料庫變項。

        

        (三)Clean the Data

        這邊會花超級多時間，而且狀況千奇百怪。檢查步驟很基本也很原始，將變項讀入後，使用次數分配或SUMMARY觀察每個變相的分配、最大最小值、看有沒有異常的情況(這邊的異常指的是資料"格式"上的異常，內容上的異常目前先不處理。以這次遇到的例子：

        (A) 資料換行：第一次讀資料發現很多奇怪的資料位移狀況，某個人的消費次數變成日期、其他數值也超級怪。進去RAW DATA看(直接觀察TXT檔)發現是一些開放題(像是地址)出現了看不見的換行符號，所以將資料撈出時碰到該換行符號資料會自動換行，造成部分觀察值得異常情況。

     

         (B) 資料跳格：接著我們又發現變項數目超過原始的Schema，有些觀察值多了一些變項，也是發生資料位移的情況。回到raw data一看，發現原來又是開放提搞得鬼，有些開放題使用了csv檔的分欄符號","，造成資料讀取錯誤(例如地址欄填了台北市,北區,信義路)。

        (四) Check the Value

        如果公司沒有直接的資料分析部門，通常都會透過ERP系統來撈取資料庫資料，但是每個功能或資料結果背後連結的資料庫變項就不一定有人那麼清楚。在計算一些重要變項時，建議交叉比對自己使用統計軟體以及ERP系統的資料，以確保資料的一致性和正確性。有些很基本的統計數值ERP系統其實也跑得出來，像是會員人數，年度消費金額等。一定要確定自己的變項抓對，才能進行後續的分析。

圖片來源：http://jss.uk.com/IT-Services/web-database-forums-blogs

         

        

我所認知的BIG DATA以及企業應用

     

         Big Data是近年來相當夯的術語，不管是企業還是學術都相當的一頭熱。因為Big Data是個相對應用的領域，各行各業都有運用Big Data的佼佼者，相關的書也談得相當多，在這就不再贅述。有興趣請參考   http://en.wikipedia.org/wiki/Big_data  ，或是天下雜誌出版的大數據(http://www.books.com.tw/products/0010587258) 這裡只談談目前我認知到的Big Data以及企業導入的方式。

       Big Data並不是一個新的概念和領域，相關的技術其實在各領域都有一定發展，但是為什麼還是很多企業無法好好運用？ 在於Big Data並不是一個單一的技術或領域，而是橫跨了包含資料庫建置、資料分析、資料視覺化、消費者行為研究、統計等好幾個不同專業領域的資料科學。

        一個完整可供企業使用的Big Data流程為：消費者基本資料蒐集(CRM)、消費行為蒐集(POS DATA)、資料倉儲管理(Data Warehouse)、資料清理(Data Cleaning)、資料分析
(Data Analysis)、最後也是最重要的是將分析結果重新導入資料庫(Machine Learning)作為下一次分析或應用的基礎。

        其中困難的往往不是個別的技術，而是企業中往往沒有這樣的人或團隊能執行整個流程。例如就以很簡單的購物籃分析為例，前端需要POS系統蒐集購物資料，進入公司系統後需要清理POS DATA並轉換成分析軟體適合的格式，分析後再將結果重新寫入消費者推薦欄，才能完成整個購物籃分析的流程。在企業中需要以專案的形式集結各部門專業人員才有辦法將購物籃系統導入，並非單一個人或單一部門能夠完成。

圖片來源：http://virtualization.sys-con.com/node/2670357

     

市場調查(Marketing Research)與資料庫分析(CRM & POS DATA)對企業的幫助

     

        現代企業面對的外在環境遠比以前複雜，除了同業的競爭外，各種跨界競爭更是防不勝防(例如家樂福最大的敵人可能不是COSTCO，而是YAHOO)。在選擇越來越多的時代，傳統生產者和消費者的權力關係逆轉過來，不再是生產者要做什麼消費者就得接受，在這個時代了解消費者的玩家才能贏得市場。

        傳統製造商利用市場調查抽樣的方式了解消費者，但隨著企業自己掌握的資訊越來越多，企業也能從內部會員資料(CRM DATA)以及銷貨資料(POS DATA)掌握消費者的需求。當資料儲存設備的成本越來越低，BIG DATA的分析是當今各行各業的熱門議題。

        先前我極端一點的認為，最終企業內部資料分析將會完全取代企業對於市場調查的需求，但是實際在接觸兩造產業後，否定了這樣的假想。事實上，若要全盤的了解市場消費者，市場調查和資料庫分析都不可缺少，兩個取向(Approach)分別看到市場的兩面。

        資料庫分析來自內部的會員資料和銷售資料，優點是能對會員的行為有更細微以及精準的了解和判斷。例如可以依據會員的貢獻將其分層，或是針對其購買的物品進行預測分析。但是缺點是只能了解會員的行為，不能了解非會員的行為模式。

        市場調查透過抽樣(Sampling)的方式了解消費者輪廓，優點是能了解會員以及非會員的生活樣貌，但是缺點在於抽樣過程可能造成的偏誤，以及無法太精細的測量消費者行為。

        唯有透過資料庫分析和市場調查才能了解到市場的兩面--消費者與潛在消費者。

圖片來源：http://ebizsol.ca/business-researching/

市場調查(Marketing Research)與客戶關係管理(Customer Relationship Manage)的異同

     

        去年的三月，受到某職場前輩的經驗分享與鼓勵，於去年底從市場調查一腳跨進了客戶關係管理(CRM)領域。不同於從市場上以隨機抽樣的方式蒐集受訪者資料，CRM的資料來自於公司自己的會員資料，以及各種活動行為的紀錄。兩者不論是在研究方法或是分析方式都有截然不同的差異。

        由於CRM資料庫來自於自己的會員，所以沒有抽樣的問題。但是另外一方面，因為市場調查的資料來自於自己設計的問卷以及受過訓練的訪員、督導，所以資料彼此之間的關聯是預先設計的，資料品質也有一定的控制。但是CRM資料在設計當初往往沒有分析人員的介入，因此資料在定義及結構上是相當散亂的，散亂的不只是各個資料之間的關係，也包括資料本身也暗藏著大量的陷阱和錯誤，需要花費相當時間在了解資料結構、定義以及Clean Data上。

        以結構來說，客戶資料不只是單純一個資料Table，可能還有POS DATA、商品分類、進銷貨等數個大型彼此關聯的TABLE。這些TABLE可能是同一個時間點或是不同時間點創建，彼此之間的關係有可以比對的部分，也有無法比對的部分，狀況完全不是資料分析人員可以事先預測的，每個變項的定義和關聯也是需要花費一陣時間才能了解掌握。

        另外在資料的檢誤上也是一番功夫，例如商品退換貨的狀況，或是每個KEY IN資料人員(可能是門市人員)都有許多的特例和個案。在閱讀DATA中如何排除個案，來確保分析資料的品質都只能見招拆招的處理。

        雖然市場調查和客戶關係管理都是資料分析，但是市場調查訓練的是問卷設計、研究設計、抽樣設計的能力；而CRM資料庫分析訓練的是CLEAN DATA和管理資料的能力。

圖片來源：http://www.harvestsolutions.net/crm-insights-blog/bid/92363/What-to-Look-for-When-Choosing-CRM-Software-Vendors

市場成長的動力?

        每次做簡報的時候，不會是分析人員或是客戶，最喜歡看到這個圖形了，不但簡報製作起來沒有壓力，簡報現場也是和樂融融。沒有人看到業績成長是不高興的，通常也不會仔細追究成長的動力來自哪裡。

        每天行銷人員都有很多企畫在手上執行，有時候受到資料與調查方法的限制，還真的很難指出究竟是企劃A、企劃B還是企劃CDE哪個方案讓消費者買單。但是最基本的，調查公司還是可以幫客戶指出，成長的來源究竟是整體市場消費者的增加，還是單一消費者購買的量增加。

        消費者增加與每個消費者購買的量增加是個很基本，卻很重要的問題。這個問題反映了市場的需求的型態。消費者增加代表有更多消費者需要這樣產品，而單一消費者的消費量增加代表著每個消費者的需求增加。而且根據產品特性，其成長的來源也不太一樣。例如高階金融產品，需求的人數本來就少，成長通常就會來自單一消費者的增加。如果是新的飲品上市，消費者成長的速度通常就會大於單一消費者消費量的增加。成長動力的不同，反映了市場狀況，也反映了產品的定位

        那要如何從調查資料中確認這一點呢? 在調查產品使用者人數時，除了該商品之外，也同樣將其他競品並列其中(如果不能全部列出，至少也要列出市場上的重要品牌)。另外因為是要觀察成長的動力，所以這個調查勢必會連續調查幾期(例如三期，每個月一期)，待調查資料回收後，比較兩件事情：1. 每一期的總消費者人數(不重複的人數)，以及2. 平均每個人使用的產品數。如果1.消費者總數成長速度超過2.平均每個人使用的產品數，那表示市場成長的動力是來自消費者的增加，反之則來自每個消費者的使用量增加。

        市場成長是每個分析簡報的基礎，也是最基本的想像，不管是在設計問卷或是執行分析時，一定要納入其中。更重要的是，要回答成長(或衰退)的基本動力來自那裏，作為整個分析的基底，以及對於客戶商品市場的基本認識。


圖片來源：http://www.inside.com.tw/2012/07/12/growth-hacker-the-requirements (流量成長駭客（Growth Hacker）應該具備的條件)

Surprise

相信大家都有同樣的經驗：男女朋友交往時，送一朵花都能讓對方高興半天。但是交往到第三年，你再拿花出來，對方沒生氣已經算便宜你了。
習慣和期待
以前在數學補習班打工的時候，當時的老闆跟我說：｢這裡的家長不會因為你剛來就對你客氣，他們認為你是政大的，就應該什麼都會，不能犯一點錯。｣
人很難被討好是吧？當客戶習慣你的服務時，他們覺得理所當然，不會對你所花的時間和心力有任何感激；但是他們又覺得你理當拿出高水準的服務，如果沒達到他們心中想的，他們又馬上覺得不滿。
要怎麼做才能讓客戶滿意呢？
其實我們每個人都是客戶，不論我們去買個便當、出去玩住旅館、去便利商店買包菸，我們日常生活大部分的時間都是在當客戶的。什麼時候我們會發自內心覺得：｢這個服務真好｣？就用這種態度面對自己的客戶就可以了。
比期望再多做一點(WOW)
什麼時候我們會覺得人家服務很好，就是有｢驚喜｣的時候。原本以為沒有這個服務，他們突然做了，就會覺得｢哇~｣
例如我有一次去一家平價牛排館，牛排上來的時候，店員拿出了衣服罩幫我們把外套罩起來避免吸到油煙，我當場｢WOW~｣了出來。這就是會讓人有印象的服務。他們或許沒有做很多，但是做了一件客戶沒有想過的事情(而且還是在平價牛排館)

誰搞砸了好資料？

<文章觀點以及部分內容來自哈佛商業評論 2012年4月號>
現在是資訊爆炸的時代，我們該煩惱的不是沒有資料，而是資料太多。市場調查公司其中一項產品就是資料庫和DATA，客戶買這些DATA回去分析資料。但是有很多客戶說真的實在是不太會用資料...不會用資料的原因很多，公司裡沒有專門跑資料的人員、基層人員來來去去，沒有人對資料有長期且深入的經驗......等等。不過最關鍵的原因，就是這些購買資料的客戶，對於資料的不信任不了解價值，才不願花時間來使用。花了大錢才蒐集到的資訊，卻可能無法被充分的使用甚至做出拙劣的決定...

測量

市場調查是實證科學，實證科學講求觀察和測量，所謂眼見為憑。在統一的測量工具發明前，人們用手腳長度來定義事物的大小，後來有了統一的尺規甚至更先進的科學方式來描述我們的物理世界。

但是在社會上，如果要知道一群人的意見，可沒有這種尺規來測量。在希臘城邦的時代，由於人數不多，我們可以點人頭計算統計民眾意見，目前台灣的總統大選也是人人一票，但是礙於成本關係，我們不可能所有關於人的意見或想法，都用這種方式解決。因此市場調查藉由統計學的概念來見微知著。

藉由統計學(今天這篇文章還不打算談到統計概念)，我們可以用抽樣的方式，只取得少數人的意見，來推估大部分的人行為。不管是收視率研究、閱讀率研究、或是服務滿意度調查、市場銷售量等等，絕大多的數據都是推估而來。

但是既然是推估，就一定有誤差。統計誤差的來源有很多種，一般來說最直接影響的就是抽樣設計以及樣本數了。當然我們可以藉由控制各種變因、更完善的抽樣架構，或是加大樣本數來讓抽樣誤差降低，但是商業活動不是追求真理，在考量到成本效益下，還是得跟現實妥協。只是我們心中都要記得｢調查成本｣以及｢可接受的誤差｣這兩件事。

多工處理

你是不是也發生過這種情況：明天有分內部簡報要交，但是客戶突然打來請你幫忙跑份資料給他，同時下禮拜要出季報告，要先聯絡資料處理部門準備data，還有......
剛開始工作的時候，最不適應的恐怕就是同時間有好幾條線要處理吧。客戶AB兩條+產品CD兩條+如果再插進來一個臨時要求的話，恐怕就爆炸了。