2015年8月7日 星期五

[Algorithm] [python] K-鄰近算法(KNN k-nearest neighbors) 實作


機器學習演算法通常分為監督式學習以及非監督式學習兩種,監督式學習指已知部分要分類的對象的分類結果(例如男性女性),用這些已知的部分來學習分類的模式,將未知的對象來做分類;非監督式學習則是單純從屬性差異來將對象分類.今天要介紹的KNN(K鄰近算法)屬於監督式學習的一種,透過已知的分類結果來給予未知對象分類.

2015年7月24日 星期五

[心得] 老傢伙,你了解我多少-雲端時代領導的挑戰

enter image description here
大部份的人都是員工身份,再與長官們合作時,一定多少都有在心裡或是跟朋友聊天的時候痛罵自己的主管.我也曾經抱怨過主管,無論是處理事情或是決策,甚至對人的態度等等,但是在幹樵的同時也會想到,萬一未來換我當主管時,遇到這些狀況該怎麼辦? 真的每種狀況都有完美的解決方式? 恐怕也很難有個完美的答案.

2015年7月22日 星期三

[閒聊] 年中回顧


        最近剛過了三個月的Review(今年四月換工作),整理了這三個月來的成果以及績效.雖然自己覺得很多時間在瞎忙,但是三個月來確實也累積了不少東西.剛好時間也到了年中,也從個人層面來回顧一下今年上半年的成果以及下半年要加油的項目.


  • 上半年在社群參與方面是及格的,成功的辦了pycon,Spark Group雖然中間一度找不到方向,但是最近又有很棒的夥伴加入一起奮鬥,靠著大家的參與也勉強自己跟上XD 

  • 新工作花了比較多時間在搞ETL和FrameWork,累積了不少對於linux系統的操作經驗,同時也對架構自動化系統有點信心算是一個額外的收穫. 

  • 演算法的部分上半年沒啥長進,但是最近開始實作一些分析資料,希望下半年可以多深刻理解一點.

  • 另外健康管理是很重要的,二三月因爲壓力關係身體很差,改善生活習慣和開始運動後好很多,希望能持續維持.

  • 上半年說要找的吉他老師一直擱著,常常很怠惰練琴,哀哀.

  • 一個意外的插曲就是參加了世界公民島的活動,真的大大打亂的原本的行程,預計下半年會更忙碌吧.

同時開很多副本的缺點就是就算沒事的時候腦中也會想著很多事情,但是這樣子真的很疲累,沒法好好的休息,也間接造成隨時都很疲憊的感覺,更無法好好利用休息時間,在心態和時間管理上應該要好好補強一番.


2015年7月18日 星期六

[Python] 資料科學家的日常(二) Clean Data-清理HTML標籤

enter image description here
繼承上次提的Read Data,Read本身除了讀取之外也包含著閱讀的意思.當資料讀取進來前後,都要好好閱讀資料,決定之後的分析方向.通常把資料讀取進來後,就會進入清理資料的階段.Clean Data雖說是分析資料的基本功,但是當資料大到某種程度後,Clean Data也變成相當惱人而且很多坑的事情.

2015年7月12日 星期日

[Python] 資料科學家的日常(一) Read Data

enter image description here

        資料科學家這個名字在這兩年紅到發黑,好像透過大數據和資料科學家能夠變成預言家,還可以憑空幫公司賺進數倍利潤,本系列文章將以實例揭露所謂資料科學家平常在做的事情,打破各位對這個職業的幻想XD 這次示範的資料來源來自Pixnet辦的hackthon其中的spam(辨識垃圾文章)的資料.

2015年7月6日 星期一

[Python][教學] 網路爬蟲(crawler)進階實務 -- 破解十八禁網站(三)

enter image description here

一般瀏覽網頁的時候,遇到十八禁的網站都會套跳出像這樣的警示畫面,我們當然很習慣的點下已滿十八歲就能閱讀內容.但是對於爬蟲來說卻不見得那麼簡單.

2015年6月27日 星期六

[Python] Receiver operating characteristic (ROC) Curve 實作教學

enter image description here
        ROC Curve以及AUC(Area Under Curve)常被用來衡量預測模型的效果,但是因為之前不了解演算法只會套公式,所以趁空擋簡單實作了ROC演算法.

        ROC Curve主要是要將分類模型的效果視覺化,幫助研究人員選擇模型.ROC Curve適用於輸出為機率的分類(例如svm, logistic regression),計算在不同機率條件下,對於判斷結果的影響.

2015年6月23日 星期二

準確率(Precision)與召回率(Recall)


enter image description here

在評估預測模型好壞時,常用的到指標包括Precision, Recall, ROC Curve, AUC等等.但是先前唸書的時候,都只是傻傻背定義,對指標的實際意義沒有太多感觸,直到最近真正跑了幾個模型,開始認真的想要預測結果時,才更深入了解這幾個指標含義及精神.

2015年6月20日 星期六

[Python] Pycon2015 工作人員心得

       

        在決定要投入當工作人員時,裡面一個人我都不認識XD 可以這樣貿然投入三天兩夜的活動對我來說也滿特別的,紀錄一下這個難得的經驗.從高中開始就滿愛辦活動的,要說什麼很崇高的原因到也沒有,可能只是單純喜歡與一群人合力策劃的感覺吧.雖然高中時候因為經驗和個性不佳把活動砸了造成好幾年的陰影,但是隨著年紀漸增,也比較懂得協調處理事情.過去參與的活動都由特定的組織(例如社團貨公司)辦理,由社群辦活動算是當初比較難以想像的事情.

2015年6月12日 星期五

[Python][教學] 網路爬蟲(crawler)進階實務 -- 頁中有頁(二)

enter image description here
上一回[Python][教學] 網路爬蟲(crawler)進階實務– 自動爬蟲(一)介紹了怎麼繼承已經寫好的CrawlSpider物件來達到根據規則自動爬網頁的效果,但是如果你要爬的分頁沒有特定的規則,或是只想抓取頁面中的特定連結又該如何處理呢?
例如我今天要抓這個網站的掛號資料可以透過網址比對找出類似的網址之後,再一層一層的解析這個表格: