2015年6月27日 星期六

[Python] Receiver operating characteristic (ROC) Curve 實作教學

enter image description here
        ROC Curve以及AUC(Area Under Curve)常被用來衡量預測模型的效果,但是因為之前不了解演算法只會套公式,所以趁空擋簡單實作了ROC演算法.

        ROC Curve主要是要將分類模型的效果視覺化,幫助研究人員選擇模型.ROC Curve適用於輸出為機率的分類(例如svm, logistic regression),計算在不同機率條件下,對於判斷結果的影響.

2015年6月23日 星期二

準確率(Precision)與召回率(Recall)


enter image description here

在評估預測模型好壞時,常用的到指標包括Precision, Recall, ROC Curve, AUC等等.但是先前唸書的時候,都只是傻傻背定義,對指標的實際意義沒有太多感觸,直到最近真正跑了幾個模型,開始認真的想要預測結果時,才更深入了解這幾個指標含義及精神.

2015年6月20日 星期六

[Python] Pycon2015 工作人員心得

       

        在決定要投入當工作人員時,裡面一個人我都不認識XD 可以這樣貿然投入三天兩夜的活動對我來說也滿特別的,紀錄一下這個難得的經驗.從高中開始就滿愛辦活動的,要說什麼很崇高的原因到也沒有,可能只是單純喜歡與一群人合力策劃的感覺吧.雖然高中時候因為經驗和個性不佳把活動砸了造成好幾年的陰影,但是隨著年紀漸增,也比較懂得協調處理事情.過去參與的活動都由特定的組織(例如社團貨公司)辦理,由社群辦活動算是當初比較難以想像的事情.

2015年6月12日 星期五

[Python][教學] 網路爬蟲(crawler)進階實務 -- 頁中有頁(二)

enter image description here
上一回[Python][教學] 網路爬蟲(crawler)進階實務– 自動爬蟲(一)介紹了怎麼繼承已經寫好的CrawlSpider物件來達到根據規則自動爬網頁的效果,但是如果你要爬的分頁沒有特定的規則,或是只想抓取頁面中的特定連結又該如何處理呢?
例如我今天要抓這個網站的掛號資料可以透過網址比對找出類似的網址之後,再一層一層的解析這個表格: