2014年10月7日 星期二
[Apache Spark][開發] 建立第一個RDD物件,體驗in Memory Computing的威力(一)
RDD(Resilient Distributed Dataset)是SAPRK的核心概念和特色,最主要的特色在於:
1. RDD是基於在記憶體上的儲存和運算
2. RDD具備平行運算處理的能力
RDD背後有很深的理論和演算法基礎,想要有更深的了解可以參考這篇論文:Resilient Distributed Datasets: A Fault-Tolerant Abstraction forIn-Memory Cluster Computing
本文從實作方面來看一下如何透過python在spark上建立RDD物件,以及做基本的操作.
2014年10月4日 星期六
Like a Bat 從行銷中的分析單位到IT中的分析單位 - 後記
圖片來源:黑暗騎士劇照
前天發了篇Like a Bat 從行銷中的分析單位到IT中的分析單位,提到一些兩造的差異.但是過了一天又覺得差異其實並不若那麼大.
昨天和部門主管報告未來的專案規劃,被問到很多技術上的問題,諸如資料平台,可用的資料庫等等.在回答這些問題的過程中,我突然想起來過去在調查分析時的情況.過去在提案的時候,不也是會回答種種執行方法上的問題嗎?
2014年10月2日 星期四
Like a Bat 從行銷中的分析單位到IT中的分析單位
放Batman的圖片不是想說我變得很有錢。只是最近的心情讓我想到那個有關蝙蝠的預言故事。那個故事是這樣的:
很久以前,鳥類和走獸,因為發生一點爭執,就爆發了戰爭。并且,雙方僵持,各不相讓。
有一次,雙方交戰,鳥類戰胜了。蝙蝠突然出現在鳥類的堡壘。“各位,恭禧啊!能將那些粗暴的走獸打敗,真是英雄啊!我有翅膀又能飛,所以是鳥的伙伴!請大家多多指教!”
這時,鳥類非常需要新伙伴的加入,以增強實力。所以很歡迎蝙蝠的加入。
可使蝙蝠是個膽小鬼,等到戰爭開始,便秘不露面,躲在一旁觀戰。後來,當走獸戰勝鳥類時,走獸們高聲地唱著勝利的歌。蝙蝠卻又突然出現在走獸的營區。“各位恭禧!把鳥類打敗!實在太棒了!我是老鼠的同類,也是走獸!敬請大家多多指教!”
走獸們也很樂意的將蝙蝠納入自己的同伴羣中。
於是,每當走獸們剩利,蝙蝠就加入走獸。每當鳥類們打贏,卻又成為鳥類們的伙伴。
最後戰爭結束了,走獸和鳥類言歸和好,雙方都知道了蝙蝠的行為。當蝙蝠再度出現在鳥類的世界時,鳥類很不客氣的對他說:“你不是鳥類!”
被鳥類趕出來的蝙蝠只好來到走獸的世界,走獸們則說:“你不是走獸!”並趕走了蝙蝠。 最後,蝙蝠只能在黑夜,偷偷的飛著。
---- 資料來源:https://tw.knowledge.yahoo.com/question/question?qid=1007032307854
2014年9月30日 星期二
2014年9月29日 星期一
2014年9月21日 星期日
[Apache Spark][教學] Spark 單機版安裝教學(for mac)
最近SPARK在台灣相當火熱名媛最愛李宗瑞來這撿屍,潮男潮女富二代去的是(http://www.sparktaipei.com.tw),宅宅工程師只能在家玩Spark(https://spark.apache.org).
2014年9月20日 星期六
[R] tm package version 0.6 大解析(text mining文字探勘套件)
有在玩text mining的同好,最近不知道有沒有碰過類似的問題,就是很多以前用tm套件的程式跑不出來或有問題(先前文章[R] TEXT MINING(文字探勘、文本分析練習)就有使用這個套件)。這是因為tm套件在今年的6/1號升級到了0.6版(http://cran.r-project.org/web/packages/tm/index.html)改變了包裝corpus的方式(http://cran.r-project.org/web/packages/tm/news.html)很多東西都必須rebuild才能正常運作(其實這也是我個人的血淚經驗).
2014年9月13日 星期六
[R] 讀取大資料檔的效率比較:read.table vs freed
最近在玩Kaggle(https://www.kaggle.com/)上的資料,還沒開始分析就碰到了問題:檔案太大讀不進來.原始檔案約11G的CSV檔,我的電腦只有8g(ram),而R的特性偏偏又是要將檔案讀到記憶體中做運算,根本無法進入下一步.
2014年9月7日 星期日
[R] 到底還有什麼可以吃!!!???以社會網絡分析(Social Network Analysis)觀察地溝油事件
在進入本文前,先讓我們看部影片
所謂地溝油(http://zh.wikipedia.org/wiki/地沟油)就是廢物利用將使用過的油再次回收精煉使用的技術,技術層級超英趕美,是世界糧食的救星 ,本文的產生即是為了紀念這歷史性的一刻.
2014年9月5日 星期五
五個試著當顧問的理由-實踐篇
之前看了一篇Forbes的文章5 Reasons To Try Consulting (No Matter What You Want To Do)分享了從事顧問的五個主要理由.這些原因聽起來很吸引人,但是不是一加入顧問公司就能得到的.我想來根據過往經驗來補充一下如何才能感受到顧問業吸引人的地方.
訂閱:
文章 (Atom)









