[Python][教學] 網路爬蟲（crawler）實務（下）--爬蟲策略以及設定

       

        在知道目標之後，接著就要決定如何達成。網路爬蟲的概念很簡單，就是進入網頁之後，將網站中的原始碼擷取下來，透過Xpath或是Html節點的方式來找到目標字串。根據上次[Python][教學] 網路爬蟲（crawler）實務（上）--網頁元件解析分析的內容，我們的爬網策略大致上會是：

[Python][教學] Scrapy(Web Crawler) to PostgreSQL（二）postgreSQL資料庫連接設定

        上一篇[Python] Scrapy(Web Crawler) to PostgreSQL（一）簡介 ＆ 爬蟲基本設定介紹了網路爬蟲的基本設定後，這篇就是要接著介紹如何設定postgreSQL．首先我們要先安裝PostgreSQL（這句好像有點廢話）．到官方網站（http://www.postgresql.org）找到屬於自己作業系統的連結，Mac可以到（http://postgresapp.com）下載postgreapp，點開來安裝，單機版的設定相當簡單．如果習慣透過command line呼叫postgreSQL的話，還需要到http://postgresapp.com/documentation/cli-tools.html設定PATH．
        安裝好DB後，繼續回到Scrapy上．要連結並操作PostgreSQL，有幾個檔案需要設定，以下將一一介紹：

[Python][教學] Scrapy(Web Crawler) to PostgreSQL（一）簡介 ＆ 網路爬蟲基本設定

圖片來源：http://doc.scrapy.org/en/latest/index.html

        Scrapy是python上很受歡迎的爬網框架，官方網站為：http://doc.scrapy.org/en/latest/index.html．介紹Scrapy的網站很多，官網自己就寫得很清楚，一些中文化的資料可參考像是http://www.addbook.cn/book/scrapy中文手册等資料．今天主要介紹的是爬網之後的動作．爬網並不是單純爬文而已，而是為了提供之後進一步的分析，所以資料都必須儲存下來，儲存的方式有很多種，可以單純是個file，再由分析軟體來處理資料，或是把資料放在資料庫中，做進一步的分析．

[R] 當Text Mining專案完成度達到99%之後...

圖片來源：http://jerryrushing.net/?p=1773

       先前接下了一個號稱完成度99％的專案，只剩下一個小bug解決好就可以上線...故事由真人真事改編．故事背景是有個利用R來做text mining（文本分析）的專案要上線，這個專案使用了tm package和segmentCN兩個標準的配備（可以參考：[R] TEXT MINING(文字探勘、文本分析練習)）．原本剩下這1%的問題在於開發環境和上線環境不同，導致結果的不一致．這個問題在當初我就有寫篇專文[R] tm package version 0.6 大解析(text mining文字探勘套件)來處理這個問題（使用了非常瑣碎的爛方法...有更好的方法請跟我說Orz）．今天的故事是從這邊接下去開始...

[R] PTT推文文化的社群網絡分析（Social Network Analysis），帶你一窺社群網絡中的互動情況

        PTT是台灣最大的社群網站（http://zh.wikipedia.org/wiki/批踢踢），很多人介紹過我就不多費脣舌，PTT中很特別的功能就是可以推文回應作者，畢竟回文相對來說比較正式，推文感覺更加閒聊的性質．Wxxxxd版相對PTT中的其他版來說，由於有每日發文限制，版友之間更頃向利用推文的方式來互動，而且因為男多女少的緣故，通常女生的推文比較多人推，男生（例如我）可能發文都沒人鳥，然後網友之間彼此也會利用推文互動，本文就是要以圖像化的方式來展現這種推文互動關係。

從反黑箱服貿協議看傳統媒體的沒落

反黑箱服貿協議[置頂] 3/19 19:00，隨時更新！
儲量、飲水目前已經充足，目前希望徵求各種 3C 電源產品：充電器、電池、行動電源，讓現場人員能和外界保持連線。請以帶自家存貨借用優先，訂購、捐贈前請到 http://bit.ly/occupylysupport確認最新需求。
現場堅持的信念，和網路遠端的關注與打氣成正比，請用力分享轉播連結，讓無法到場的朋友也能貢獻一份心意：
場外直播
濟南路 https://www.youtube.com/watch?v=XehUwbeYcz8青島東1 http://youtu.be/pptmdPk-0DQ青島東2 http://www.youtube.com/watch?v=Nxu0IlaF3CI場內直播（確認部分插座已被斷電 ）
網民版 http://www.ustream.tv/channel/longson3000蘋果版 http://www.appledaily.com.tw/live‪#‎佔領立法院‬ ‪#‎CongressOccupied‬★★★請大家發布相關訊息時，加入下面這兩個關鍵字（前面加#）
#佔領立法院 #CongressOccupied 之前的貼文也可以點進去改喔！
資料來源：https://www.facebook.com/antiblacktw/posts/617239568346888

"7.5 億台幣做 Full HD 轉型，專訪 TVBS 總經理楊鳴：我們已在生死存亡關頭上"?

7.5 億台幣做 Full HD 轉型，專訪 TVBS 總經理楊鳴：我們已在生死存亡關頭上
http://techorange.com/2014/03/07/interview-with-tvbs-general-manager-young-ming/
資料來源：科技橘報

文章大意：
        TVBS幾乎已經完成FULL HD轉型，但是系統業者線路無法支援。
        網路視頻沒有良好的獲利模式，傳統電視業者不敢進入，但是不進入觀眾又被網路瓜分掉。TVBS投入很多在網站了，但是沒有獲利很難繼續投入。

當行為紀錄器越來越方便和普及時

     

        文章網址http://technews.tw/2014/03/11/big-data-feed-the-world/

        文章中提到："例如在美國德克薩斯州將會有一個全新的資料收集實驗，Vital Herd 公司已經開發出一個可供牛隻吞嚥的小型電子感應器，感應器最後會停在牛隻的「瘤胃」（通常是反芻動物最大的一個胃）中，並利用聲納技術在牛的體內收集各種訊息，包括牛隻的心跳頻率、溫度、反芻的時間、胃酸濃度甚至雌激素分泌等資料。"

不健康的社群媒體關係

內文主要來自10 Signs You May Have An Unhealthy Relationship With Social Media
社群媒體(social media) 充斥在我們生活的各個角落。社群媒體像是Facebook、推特PTT實業坊等等，我們依賴這些社群媒體來和他人、世界保持聯繫。我們可以看到很多人無論去哪裡都要打個卡(自殺前臉書「打卡」　男子越軌遭撞斷成兩截)，開個車也要低頭看看FB上有哪些動態更新，許多人更是患了資訊焦慮症(測測你的資訊焦慮程度)，儘管我們內心深處知道，大部分的動態訊息就算不知道也不會怎麼樣，但是我們就忍不住Follow最新訊息。
我們怎麼知道我們的生活是不是被這些社群媒體綁架了？這邊提供了十個徵兆供大家自我檢視