資料分析鍊金術(八)-想像力是你的超能力

圖片來源：https://psychologies.co.uk/self/what-would-your-super-power-be.html

        
        加入技術單位之後，在真正分析資料問題之前，常需要思考處理眼前的技術問題．有時候會天真地認為，只要解決技術問題，資料就已經分析完成．就像當我們披荊斬棘的來到城堡面前，奮力爬上城堡，打倒魔王，救回公主後，才發現要過著幸福快樂的生活，還需要學會如何與公主相處．

資料科學愛好者年會開始囉！

今天是第一屆的資料科學愛好者年會http://twconf.data-sci.org票卷在九十分鐘內賣光，來不及報名的朋友可以來這裡看投影片和實況．
投影片在這裡：資料科學愛好者年會粉絲團 https://www.facebook.com/twdsconf?fref=ts
hackpad上的文字實況：https://hackpad.com/2014--yoCSWnghDWb

資料分析鍊金術(七)-insight?

圖片來源:http://www.cgma.org/Resources/Reports/Pages/insight-to-impact-big-data.aspx?TestCookiesEnabled=redirect

        這幾年除了Big Data被超級濫用之外，Insight也是個聽到爛掉的名詞。人們已經無法滿足於單純的分析，而是想更進一步取得Insight，像是Custimer Research變成Customer Insight、或是乾脆用Insight代替Analysis的說法也有。那到底什麼是Insight?

市場調查在企業內部的Framework

        
        現在企業講求數據與消費者導向，這篇文章試圖根據目前在企業內部的觀察與經驗，建構了這樣的Framework來規劃市場調查部門在企業內部與其他部門的互動狀況。在這樣的架構下，市場調查部門將緊密的與企業結合，企業也可以透過市調部門更接近消費者。

資料科學家線上自修課程-最近更新日期:2017-02-20

        現在線上免費的學習資源越來越多了!用本篇文章來整理有在使用的資源，有任何補充或推薦的網站也歡迎隨時留言，謝謝!

[職涯] 如何進入市場調查/行銷研究業!搶佔2013全球最HOT工作!

        去年有篇文章"搶佔2013全球最HOT工作"( http://www.cheers.com.tw/article/article.action?id=5047051)中， 市場調查業在幾個雜誌的評比中都佔據了前十名的位置。其實這個結果也不難解釋，當傳統的大眾(喜好相對單一)轉為分眾時，消費者需求逐漸分化、多元、細緻，一般大眾化的產品已經無法滿足所有消費者的需求，商業環境由製造者本位轉為消費者本位，商業活動越來越重視消費者的需求和回饋，自然也需要有一批專業人士來作為消費者與製造商之間的橋樑，協助產品提供者了解消費者。


        這群專家橫跨生產與消費的兩端，自然也會比較需要跨領域的能力，無法被概括在任何一個單一的研究領域。一般的市場分析研究員的工作內容流程大致如下：

當行為紀錄器越來越方便和普及時

     

        文章網址http://technews.tw/2014/03/11/big-data-feed-the-world/

        文章中提到："例如在美國德克薩斯州將會有一個全新的資料收集實驗，Vital Herd 公司已經開發出一個可供牛隻吞嚥的小型電子感應器，感應器最後會停在牛隻的「瘤胃」（通常是反芻動物最大的一個胃）中，並利用聲納技術在牛的體內收集各種訊息，包括牛隻的心跳頻率、溫度、反芻的時間、胃酸濃度甚至雌激素分泌等資料。"

新年快樂 馬到成功--進入市場分析的心路歷程

        

        因為這幾天過年出門在外 ，不方便更新文章，祝各位讀者新年快樂 ！
回顧進入資料分析這行，也是相當巧合。研究所時念的是人口學 ，研究的是存活分析方法 ，畢業後進入市場調查公司 ，腦袋中的研究方法和統計方法少得可憐 。只知道質化量化 ，對於量化的認識也只限於調查統計。

         一開始接觸 CRM和Data mining ,還是一位離職的前輩介紹才知道原來有這種分析方式 。後來做了一些了解後 ，發現市場調查與資料挖掘本質上的差異 ，在因緣際會下投入製造端 ，才有幾會實務上處理Crm和data mining。

         在分析資料幾個月後 ，進一步體認到儘管市場調查調查和資料探勘研究法法上有所差異 ，但是研究人員的心態上卻沒有太大差別 。無論是採用何種研究途徑，研究人員的好奇心是最重要的出發點--為了更接近市場事實 ，用各種可能且合乎邏輯的方式來剖析市場 。

        研究方法就是不同的工具，當你的工具箱中有越多工具 ，就能有更多滿足好奇心的選擇 。新的一年希望自己仍能保持好奇心 ，更靈活的使用各種放方法。

        圖片來源：http://www.kinetic-impulse.com/mocap_data/

市場調查(Marketing Research)與資料庫分析(CRM & POS DATA)對企業的幫助

     

        現代企業面對的外在環境遠比以前複雜，除了同業的競爭外，各種跨界競爭更是防不勝防(例如家樂福最大的敵人可能不是COSTCO，而是YAHOO)。在選擇越來越多的時代，傳統生產者和消費者的權力關係逆轉過來，不再是生產者要做什麼消費者就得接受，在這個時代了解消費者的玩家才能贏得市場。

        傳統製造商利用市場調查抽樣的方式了解消費者，但隨著企業自己掌握的資訊越來越多，企業也能從內部會員資料(CRM DATA)以及銷貨資料(POS DATA)掌握消費者的需求。當資料儲存設備的成本越來越低，BIG DATA的分析是當今各行各業的熱門議題。

        先前我極端一點的認為，最終企業內部資料分析將會完全取代企業對於市場調查的需求，但是實際在接觸兩造產業後，否定了這樣的假想。事實上，若要全盤的了解市場消費者，市場調查和資料庫分析都不可缺少，兩個取向(Approach)分別看到市場的兩面。

        資料庫分析來自內部的會員資料和銷售資料，優點是能對會員的行為有更細微以及精準的了解和判斷。例如可以依據會員的貢獻將其分層，或是針對其購買的物品進行預測分析。但是缺點是只能了解會員的行為，不能了解非會員的行為模式。

        市場調查透過抽樣(Sampling)的方式了解消費者輪廓，優點是能了解會員以及非會員的生活樣貌，但是缺點在於抽樣過程可能造成的偏誤，以及無法太精細的測量消費者行為。

        唯有透過資料庫分析和市場調查才能了解到市場的兩面--消費者與潛在消費者。

圖片來源：http://ebizsol.ca/business-researching/

市場調查(Marketing Research)與客戶關係管理(Customer Relationship Manage)的異同

     

        去年的三月，受到某職場前輩的經驗分享與鼓勵，於去年底從市場調查一腳跨進了客戶關係管理(CRM)領域。不同於從市場上以隨機抽樣的方式蒐集受訪者資料，CRM的資料來自於公司自己的會員資料，以及各種活動行為的紀錄。兩者不論是在研究方法或是分析方式都有截然不同的差異。

        由於CRM資料庫來自於自己的會員，所以沒有抽樣的問題。但是另外一方面，因為市場調查的資料來自於自己設計的問卷以及受過訓練的訪員、督導，所以資料彼此之間的關聯是預先設計的，資料品質也有一定的控制。但是CRM資料在設計當初往往沒有分析人員的介入，因此資料在定義及結構上是相當散亂的，散亂的不只是各個資料之間的關係，也包括資料本身也暗藏著大量的陷阱和錯誤，需要花費相當時間在了解資料結構、定義以及Clean Data上。

        以結構來說，客戶資料不只是單純一個資料Table，可能還有POS DATA、商品分類、進銷貨等數個大型彼此關聯的TABLE。這些TABLE可能是同一個時間點或是不同時間點創建，彼此之間的關係有可以比對的部分，也有無法比對的部分，狀況完全不是資料分析人員可以事先預測的，每個變項的定義和關聯也是需要花費一陣時間才能了解掌握。

        另外在資料的檢誤上也是一番功夫，例如商品退換貨的狀況，或是每個KEY IN資料人員(可能是門市人員)都有許多的特例和個案。在閱讀DATA中如何排除個案，來確保分析資料的品質都只能見招拆招的處理。

        雖然市場調查和客戶關係管理都是資料分析，但是市場調查訓練的是問卷設計、研究設計、抽樣設計的能力；而CRM資料庫分析訓練的是CLEAN DATA和管理資料的能力。

圖片來源：http://www.harvestsolutions.net/crm-insights-blog/bid/92363/What-to-Look-for-When-Choosing-CRM-Software-Vendors

市場成長的動力?

        每次做簡報的時候，不會是分析人員或是客戶，最喜歡看到這個圖形了，不但簡報製作起來沒有壓力，簡報現場也是和樂融融。沒有人看到業績成長是不高興的，通常也不會仔細追究成長的動力來自哪裡。

        每天行銷人員都有很多企畫在手上執行，有時候受到資料與調查方法的限制，還真的很難指出究竟是企劃A、企劃B還是企劃CDE哪個方案讓消費者買單。但是最基本的，調查公司還是可以幫客戶指出，成長的來源究竟是整體市場消費者的增加，還是單一消費者購買的量增加。

        消費者增加與每個消費者購買的量增加是個很基本，卻很重要的問題。這個問題反映了市場的需求的型態。消費者增加代表有更多消費者需要這樣產品，而單一消費者的消費量增加代表著每個消費者的需求增加。而且根據產品特性，其成長的來源也不太一樣。例如高階金融產品，需求的人數本來就少，成長通常就會來自單一消費者的增加。如果是新的飲品上市，消費者成長的速度通常就會大於單一消費者消費量的增加。成長動力的不同，反映了市場狀況，也反映了產品的定位

        那要如何從調查資料中確認這一點呢? 在調查產品使用者人數時，除了該商品之外，也同樣將其他競品並列其中(如果不能全部列出，至少也要列出市場上的重要品牌)。另外因為是要觀察成長的動力，所以這個調查勢必會連續調查幾期(例如三期，每個月一期)，待調查資料回收後，比較兩件事情：1. 每一期的總消費者人數(不重複的人數)，以及2. 平均每個人使用的產品數。如果1.消費者總數成長速度超過2.平均每個人使用的產品數，那表示市場成長的動力是來自消費者的增加，反之則來自每個消費者的使用量增加。

        市場成長是每個分析簡報的基礎，也是最基本的想像，不管是在設計問卷或是執行分析時，一定要納入其中。更重要的是，要回答成長(或衰退)的基本動力來自那裏，作為整個分析的基底，以及對於客戶商品市場的基本認識。


圖片來源：http://www.inside.com.tw/2012/07/12/growth-hacker-the-requirements (流量成長駭客（Growth Hacker）應該具備的條件)

Surprise

相信大家都有同樣的經驗：男女朋友交往時，送一朵花都能讓對方高興半天。但是交往到第三年，你再拿花出來，對方沒生氣已經算便宜你了。
習慣和期待
以前在數學補習班打工的時候，當時的老闆跟我說：｢這裡的家長不會因為你剛來就對你客氣，他們認為你是政大的，就應該什麼都會，不能犯一點錯。｣
人很難被討好是吧？當客戶習慣你的服務時，他們覺得理所當然，不會對你所花的時間和心力有任何感激；但是他們又覺得你理當拿出高水準的服務，如果沒達到他們心中想的，他們又馬上覺得不滿。
要怎麼做才能讓客戶滿意呢？
其實我們每個人都是客戶，不論我們去買個便當、出去玩住旅館、去便利商店買包菸，我們日常生活大部分的時間都是在當客戶的。什麼時候我們會發自內心覺得：｢這個服務真好｣？就用這種態度面對自己的客戶就可以了。
比期望再多做一點(WOW)
什麼時候我們會覺得人家服務很好，就是有｢驚喜｣的時候。原本以為沒有這個服務，他們突然做了，就會覺得｢哇~｣
例如我有一次去一家平價牛排館，牛排上來的時候，店員拿出了衣服罩幫我們把外套罩起來避免吸到油煙，我當場｢WOW~｣了出來。這就是會讓人有印象的服務。他們或許沒有做很多，但是做了一件客戶沒有想過的事情(而且還是在平價牛排館)

誰搞砸了好資料？

<文章觀點以及部分內容來自哈佛商業評論 2012年4月號>
現在是資訊爆炸的時代，我們該煩惱的不是沒有資料，而是資料太多。市場調查公司其中一項產品就是資料庫和DATA，客戶買這些DATA回去分析資料。但是有很多客戶說真的實在是不太會用資料...不會用資料的原因很多，公司裡沒有專門跑資料的人員、基層人員來來去去，沒有人對資料有長期且深入的經驗......等等。不過最關鍵的原因，就是這些購買資料的客戶，對於資料的不信任不了解價值，才不願花時間來使用。花了大錢才蒐集到的資訊，卻可能無法被充分的使用甚至做出拙劣的決定...

測量

市場調查是實證科學，實證科學講求觀察和測量，所謂眼見為憑。在統一的測量工具發明前，人們用手腳長度來定義事物的大小，後來有了統一的尺規甚至更先進的科學方式來描述我們的物理世界。

但是在社會上，如果要知道一群人的意見，可沒有這種尺規來測量。在希臘城邦的時代，由於人數不多，我們可以點人頭計算統計民眾意見，目前台灣的總統大選也是人人一票，但是礙於成本關係，我們不可能所有關於人的意見或想法，都用這種方式解決。因此市場調查藉由統計學的概念來見微知著。

藉由統計學(今天這篇文章還不打算談到統計概念)，我們可以用抽樣的方式，只取得少數人的意見，來推估大部分的人行為。不管是收視率研究、閱讀率研究、或是服務滿意度調查、市場銷售量等等，絕大多的數據都是推估而來。

但是既然是推估，就一定有誤差。統計誤差的來源有很多種，一般來說最直接影響的就是抽樣設計以及樣本數了。當然我們可以藉由控制各種變因、更完善的抽樣架構，或是加大樣本數來讓抽樣誤差降低，但是商業活動不是追求真理，在考量到成本效益下，還是得跟現實妥協。只是我們心中都要記得｢調查成本｣以及｢可接受的誤差｣這兩件事。

如何設定媒體組合？

在行銷活動上，最基本的就是透過各種媒體放送廣告來與消費者溝通，吸引消費者了。但是廣告也不能無限制地放送，不同媒體的廣告費用不盡相同(先不計算廣告製作費用，僅考慮上架費)，在預算有限的情況下，如何透過不同媒體的安排，讓廣告達到最大效益，是非常重要的一門學問。
｢接觸成本｣、｢接觸人次｣、｢接觸頻次｣

[職涯] 行銷研究與市場調查

｢什麼是行銷研究？｣

借用｢行銷與市場分析｣一書中的定義，所謂行銷研究可以定義為｢有關行銷活動的企劃、執行、驗證等場合所產生的課題，利用某種手段蒐集資訊，加以分析，使該課題的實際情況或構造趨於明朗。｣

這本書是我在進入業界前看的，當時對這個定義也就只是看過而已。實際進入這行業一年後再來看這個定義，才知道這段定義的實際內涵。

 ｢行銷｣，白話一點，就是把商品賣出去。但是要把商品賣出去，要了解的層面可真的是比想像多很多。舉可口可樂為例，要把一罐可樂賣出去，可不是單單只要研發一種秘方就好的事情。