[心得] 網路爬蟲專案規劃策略

先前花了一些篇幅在介紹網路爬蟲的使用方式，都是比較偏重技術面的討論，但是爬蟲本身在理解原理後並不難實作，下一個階段就是如何規劃一個完整的爬蟲專案，這反而是比較需要討論以及有挑戰性的部分．過去的爬網專案都以中小型（監測的網站約50個以下，頻率頂一個小時一次）居多，以這樣的規模來討論在規劃上可能要注意哪些事情．

[心得] 看模仿遊戲（Imitation Game）學管理（內有大量雷，未看過慎入）

圖片來源：http://brackety-ack.pages.roanoke.edu/2015/02/12/movie-review-the-imitation-game/

這個週末去朝聖了模仿遊戲．模仿遊戲主要在描述圖靈這位電腦科學的始祖，破解二次大戰時德國的加密設備（Enigma），以及晚年因為同性戀的身份被迫害而死的故事．整部片的重點雖然跟管理無關，但是打贏戰爭的確也不是個人英雄主義式的勝利，劇中也相當合理的帶到一些管理的議題，趁著記憶猶新的時候紀錄一下我的感想．

[Apache Spark] Spark編成指南繁體中文版計畫啟動

        

        雖然現在大部分都是直接看英文資料，但是有中文的資料看起來還是非常方便．Spark目前在國內的中文資源還是相當貧乏，所以才想說可以從翻譯一些官方文件開始，讓更多人能夠輕易接觸這個技術，所以開了一個專案一起來共同翻譯～

Step by Step 使用github參與專案流程（後記）- 媽～我被Merge啦！

圖片來源：https://github.com/GoogleCloudPlatform/gcloud-python/graphs/contributors

        病了兩天，早上看到這個令人振奮的好消息，貢獻給gcloud的code被merge啦～（撒花）雖然只是短短幾行code，但是能對網路社群有個小小的貢獻還是非常開心，記錄一下這個patch的前因後果．

Step by Step 使用github參與專案流程（下）- ISSUE，PR，and CI

        當我們把修改後的檔案push上之後，就可以對原始的來源發PR（Pull Request）．但是在發PR之前，先回過頭來說一下要從哪邊開始參與專案．參與專案通常可以分成幾種狀況，一種是自己發起，二是別人發起但是你是主要的參與者，三是周邊的參與者．如果你是前兩種狀況，那麼對於專案本身都會比較了解，知道要開發什麼功能，或是要改什麼東西．但是如果是周邊的參與者，通常不太可能一開始就跳下去做什麼重大的功能開發，而是從一些例如bug或是小功能著手．

Step by Step 使用github參與專案流程（中）- branch, add, commit and push

        接續上一篇文章Step by Step 使用github參與專案流程（一）- fork, clone, and sync，我們把專案拉下來後，就可以開始快樂的寫coding了．

Step by Step 使用github參與專案流程（上）- fork, clone, and sync

圖片來源：https://octodex.github.com

        封面這隻章魚貓大家應該都不陌生，就是coding界的facebook--github的代表圖案．Github相關教學網路上已經很多了（最近最推薦這篇：連猴子都學得會的github），所以我就不再多介紹一些基本功能，而是從實戰角度來看如何透過github來參與線上專案．以下都拿我所參與的專案為例，這是一個源自於Google Cloud的開發專案，貢獻的規範相對嚴謹，可以學到很多管理或是參與專案的技巧．

[R] 當Text Mining專案完成度達到99%之後...

圖片來源：http://jerryrushing.net/?p=1773

       先前接下了一個號稱完成度99％的專案，只剩下一個小bug解決好就可以上線...故事由真人真事改編．故事背景是有個利用R來做text mining（文本分析）的專案要上線，這個專案使用了tm package和segmentCN兩個標準的配備（可以參考：[R] TEXT MINING(文字探勘、文本分析練習)）．原本剩下這1%的問題在於開發環境和上線環境不同，導致結果的不一致．這個問題在當初我就有寫篇專文[R] tm package version 0.6 大解析(text mining文字探勘套件)來處理這個問題（使用了非常瑣碎的爛方法...有更好的方法請跟我說Orz）．今天的故事是從這邊接下去開始...

[Apache Spark][教學] 應用IDEA以及Scala於Spark程式開發(圖多)

        俗話說，工欲善其事，必先利其器，對於程式開發者來說，有個好的IDE介面絕對能大幅增加開發速度以及減少不必要的錯誤．先前在玩Spark的時候（[Spark] 建立第一個RDD物件，體驗in Memory Computing的威力）是使用python，自然就是以Ipython notebook為首選，可以很方便的測試和操作RDD物件．但是因為Spark的原生語言其實是Scala，python在一些功能的支援上目前還趕不上Scala，所以目前選擇Scala作為開發Spark的主要工具．

[Python] K-means 分組 Script

圖片來源：http://www.mathworks.com/matlabcentral/fileexchange/24616-kmeans-clustering

        K-means是一種非監督式學習的分類方式，原理將向量空間中的點分成k群後，計算每個點到群組中心的距離，目的在於使點到群心的距離成為最小（參考資料：http://en.wikipedia.org/wiki/K-means_clustering，https://www.youtube.com/watch?v=aiJ8II94qck）．K-means因為容易理解，所以業界中也很常使用，本篇主要不是講解演算法，而是利用python中的sikit-learn套件製作一個小程式，讓使用者可以輕鬆的使用k-means演算法．

[職涯] 那些除了Consumer Insight之外的事情......

        對於行銷研究來說，了解消費者行為是最重要的事情，我們深深認為當我們透徹地解讀消費者的行為模式之後，能夠協助客戶獲取更大的利潤。站在行銷研究者的角度來說這當然沒錯，但是站在企業端的話，這件事說不定只對了一半還不到。

[Python] 自製N-Gram Analyst 文字探勘(text mining)軟體

       
        做質性調查的時候常需要從受訪者的文句中，挑出重要且關鍵的概念，這些重要概念可能是受訪者查掛在嘴邊，或是無意識間透露出的字句。資料處理上，我們會將受訪者的受訪內容透過文字，以逐字稿的方式呈現，研究者再從中觀察、解析重要的觀念。

[Python] 幫我家電子寵物做了一個草皮!

        看著自己的單細胞只能孤獨的為生命倒數計時讓我不僅感到悲傷，為了給他們更好的生存環境，今天早上特別幫他們打造5星級的生存環境!