[Spark] 利用 Spark 將亂七八糟資料格式的 Fortigate Log 檔轉成關聯式資料

圖片來源:http://www.fastcompany.com/1842000/company-chaos-you-dont-know-youre-creating

不論資料多雜亂，在做資料分析之前，總是先要整理成關聯式資料，這一段一直是分析中最麻煩也最惱人的一段，特別是當資料量大的時候，其中可能問題又更多了．這次遇到的麻煩是要固定將機器每天的 Log 檔轉成關聯式資料，聽起來不難，是很常見的需求，但是看了資料格式之後整個傻眼．

這樣的格式麻煩點在：

1. 非一般的資料格式: 既不是關聯式資料，也不是 Json 格式(真的很想打設計這種 log 出來的人)，沒辦法輕易地整理．
2. 分隔符號不固定: 雖然後面的資料是用 = 做為key和value分隔，但是前面四個欄位不是，表示資料要分開處理．
3. 資料欄位內有空格: 如果預設用" "當做每個欄位的分隔符號，會在這些內部有空格的地方吃了大虧，所以要另外寫工具來區別這種情況．
4. 每筆資料有的key不一致: 這是最麻煩的事．例如有些筆資料有 location 這個 key ，但是有些資料沒有...，連 null 都不給．所以就算你處理完上面三件事，每筆資料的欄位長度還是不一樣．

[心得] 美國ESTA簽證申請流程

因為八月份要到矽谷出差，所以最近趕緊來研究一下怎麼到米國．美國於2012年10月2日宣布台灣加入免簽證計劃（以下簡稱VWP）。根據VWP，符合資格之台灣護照持有人若滿足特定條件，即可赴美從事觀光或商務達90天，無需簽證。其實還是要的，只是流程沒以前那麼麻煩．根據美國在台協會的說明：VWP允許來自38個參與國[1]符合資格的旅客，無須申請美簽即可前往美國洽商或觀光（B簽證之旅行目的，詳情請按這裏）並可停留達90天。惟停留天數不得延長，VWP旅客在美期間亦不得改變其身份，例如變更為學生簽證身份。若符合VWP資格之旅客希望申請美簽，亦可選擇申辦。旅客欲以VWP入境美國，須先透過旅行授權電子系統（ESTA）取得授權許可(若搭飛機或船)，並於旅行前滿足所有相關資格條件。

[職涯] 給畢業生的話

畢業季到了，因為我家剛好也有一個應屆畢業生，剛好可以趁機說說想對畢業生說的話．

1. 不要被自己的學歷給限制了．台灣太喜歡用單向價值觀來看人，但是世界是充滿各種可能的．身在台灣的大學畢業生，手上的選擇權算多了，當你羨慕人家用四年喚來台清交的文憑，那你可以設定自己在四年後走向不一樣的路．
2. 如果不工作也能好好生活，那太棒了．你有很多時間做想做的事情，也可以不受薪水限制去做想做的工作．那如果逼不得已要上班的話，找個自己也有興趣的工作．有興趣的工作讓你有機會做得比別人更好，偶爾的加班也能當成自我成長學習，活得比較開心．
3. 找工作最重要的是做自己，而不是委屈求全．很多人覺得面試是就是假來假去，面試官唬爛工作內容，公司福利，求職者唬爛自己的能力和意願，但是長期來說這都是不健康的態度．進入一個能接受你的環境，進去之後也會活得比較舒服．
4. 人生不是只有工作．工作是為了生活，而不是讓生活被工作吞噬．工作固然有他有趣的部分，但那是我覺得那是在不得已需要工作的情況下從中找的好處．聽過斯德哥爾摩症候群嗎？因不得非得要工作，只好賦予工作一個更正當的含義，才能讓自己不受威脅的活著．
5. 培養工作以外的興趣．如果工作剛好是你的興趣，那很好，如果不是認真建議培養一份．興趣可以讓你真正的放鬆和轉換心情．

[職涯] 廈門工作+生活攻略（三）上班要吃什麼

民以食為天，人可以不工作但是不能不吃飯(?)．吃飯是很重要的．在園區裡面工作的好處就是不用為吃飯擔心太多（如果你不太挑食的話），每天中午可以到大食堂裡面吃飯，有飯有麵有自助餐任君挑選．因為是園區的廠商，相信食物的安全上應該是滿OK的．在食堂吃飯有滿滿當兵的感覺．