我所認知的BIG DATA以及企業應用

     

         Big Data是近年來相當夯的術語，不管是企業還是學術都相當的一頭熱。因為Big Data是個相對應用的領域，各行各業都有運用Big Data的佼佼者，相關的書也談得相當多，在這就不再贅述。有興趣請參考   http://en.wikipedia.org/wiki/Big_data  ，或是天下雜誌出版的大數據(http://www.books.com.tw/products/0010587258) 這裡只談談目前我認知到的Big Data以及企業導入的方式。

       Big Data並不是一個新的概念和領域，相關的技術其實在各領域都有一定發展，但是為什麼還是很多企業無法好好運用？ 在於Big Data並不是一個單一的技術或領域，而是橫跨了包含資料庫建置、資料分析、資料視覺化、消費者行為研究、統計等好幾個不同專業領域的資料科學。

        一個完整可供企業使用的Big Data流程為：消費者基本資料蒐集(CRM)、消費行為蒐集(POS DATA)、資料倉儲管理(Data Warehouse)、資料清理(Data Cleaning)、資料分析
(Data Analysis)、最後也是最重要的是將分析結果重新導入資料庫(Machine Learning)作為下一次分析或應用的基礎。

        其中困難的往往不是個別的技術，而是企業中往往沒有這樣的人或團隊能執行整個流程。例如就以很簡單的購物籃分析為例，前端需要POS系統蒐集購物資料，進入公司系統後需要清理POS DATA並轉換成分析軟體適合的格式，分析後再將結果重新寫入消費者推薦欄，才能完成整個購物籃分析的流程。在企業中需要以專案的形式集結各部門專業人員才有辦法將購物籃系統導入，並非單一個人或單一部門能夠完成。

圖片來源：http://virtualization.sys-con.com/node/2670357