2012年7月12日 星期四

誰搞砸了好資料?

data-mining-big-data
<文章觀點以及部分內容來自哈佛商業評論 2012年4月號>
現在是資訊爆炸的時代,我們該煩惱的不是沒有資料,而是資料太多。市場調查公司其中一項產品就是資料庫和DATA,客戶買這些DATA回去分析資料。但是有很多客戶說真的實在是不太會用資料...不會用資料的原因很多,公司裡沒有專門跑資料的人員、基層人員來來去去,沒有人對資料有長期且深入的經驗......等等。不過最關鍵的原因,就是這些購買資料的客戶,對於資料的不信任不了解價值,才不願花時間來使用。花了大錢才蒐集到的資訊,卻可能無法被充分的使用甚至做出拙劣的決定...

HBR這篇文章提到,為了協助組織評量及改善員工的資料導向(data-driven)決策能力,設計了「洞察力智商」(Insight IQ),來評估人們發現與分析相關資訊的能力。
他們把調查的員工分成三組:「不質疑的經驗主義者」、「本能決策者」、以及「資訊靈通的懷疑者」。

「不質疑的經驗主義者」:信任分析,比較不相信判斷,決策過程往往會大量參考過去的經驗。
「本能決策者」:只憑直覺就做決定,決策過程中比較少依賴各種資料。
「資訊靈通的懷疑者」:這類人在判斷與分析之間取得平衡,具有強大的分析能力,會聽取別人意見,但也願意提出異議。

文章是從企業觀點出發,對於企業來說,當然必須培養更多上述提到的第三類人「資訊靈通的懷疑者」。但是對於個人來說,要如何培養這種能力呢?

要培養自己成為資訊靈通的懷疑者,首先必須瞭解數字背後的各種因素和計算方法,並學習用批判的態度來思考數字的準確性、樣本大小、偏差、和數據的品質。例如有些客戶會詢問為甚麼不同季期之間某筆資料波動會那麼大;身為供應商則必須讓客戶知道說,當你切的族群越細(比如說女性經理人),自然會受到一、二個樣本的關係造成資料有比較大的偏誤或變動。