[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境-- numpy 設定

之前設定完Docker和Spark後好不容易解決了一堆問題（請參考連結）：

[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境

[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境--HiveContext設定

但是卻在在跑MLlib時發生了嚴重的問題！

天啊～真的是晴天霹靂．因為環境橫跨Jupyter-Docker-Master和Slave等環境，光確認每台的版本就花了很多時間...

相關文章：

[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境
[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境--HiveContext設定
[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境-- numpy 設定

[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境--HiveContext設定

Spark在1.3.0之後發佈新的DataFrame，與Hive有更多的結合，預設也會啟動HiveContext，可以直接使用sql指令撈取hive中的資料．一般如果Spark與Hive放在同一個環境，只要將hive的hive-site.xml放到spark路徑/conf下面，就可以直接使用．但是現在當我們的環境放在docker裡面的話，設定上就要動點手腳．
相關文章：
[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境
[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境--HiveContext設定
[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境-- numpy 設定

[Linux] 駭人之心不可有，防人之心不可無，Ubuntu簡單防護

上禮拜拿到Softlayer的時候，因為是實體機，有朋友告知安全性的問題，都已經將防火牆架設列在todo list裡面，但是因為大家平常都各自有事情要忙，想說沒有重要資料就先擺著．沒想到今天一早就接到ibm大大的聯繫說有不明人士嘗試進入主機…orz 沒想到平常看人家笑話今天自己變成笑話，果然出來跑的總是要還，在網路上的遲早會被駭．
事情是這樣的：

[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境

台灣Spark社群將在九月中的Hadoop Conference展開一系列的Spark課程（開放當天就已經額滿了XD），由於小弟我沒有負責任何課程，所以有時間來建課程環境．因為環境要考量比賽以及教學使用，所以架設上相對複雜一點．
相關文章：
[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境
[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境--HiveContext設定
[Apache Spark][Docker] 利用Jupyterhub打造隨開即用的spark教學環境-- numpy 設定

[Docker][教學] 使用Vagrant建立PostgreSQL環境(下)

        經歷過先前多次失敗，聽大大建議果斷放棄boot2docker，改用VM模擬一個Ubuntu來當作docker的執行環境，並且使用Vagrant來管理VM．Vagrant並不是一個真正的VM運行平台，而是一套方便管理VM的工具，可以透過Vagrant來簡化VM設定的流程（特別是要開很多個VM的時候），Vagrant實際上是使用virtual Box來運行VM．

[Docker][教學] 使用Vagrant建立PostgreSQL環境(上)

開始使用docker後，現在都盡量將環境建立在docker上方便環境的設定以及移轉．最近想把postgresql移轉到docker上，但是怎樣都不成功（我的環境是OSX）．試過官方的版本postgres，也有非官方的版本Painted-Fox/postgresql，搞了整整兩天經歷過無數次的失敗，才學到的血淚教訓–放下boot2docker，立地成佛．

[Apache Spark][教學] Spark x Docker x ipython Notebook !(四)-pyspark設定＋commit images

        我最近感受到催稿的壓力了orz，話不多說最終章開始．承繼之前的進度，設定完ipython notebook以及對外通道後，再來就是要設定pyspark．原理是將pyspark放入ipython的import路徑中就可以了．

[Apache Spark][教學] Spark x Docker x ipython Notebook !(三)-Docker網路設定篇

圖片來源http://philipzheng.gitbooks.io/docker_practice/content/advanced_network/README.html

         因為container是一個獨立的運行環境，我們要從本機連線進去必須透過docker的網路設定，相關的細節設定可以參考

http://philipzheng.gitbooks.io/docker_practice/content/advanced_network/README.html

及https://docs.docker.com/articles/networking/

這邊只就用得到的部分介紹．

[Apache Spark][教學] Spark x Docker x ipython Notebook !(二)-Python安裝設定篇

        文章開頭也是先謝謝前輩https://www.digitalocean.com/community/tutorials/how-to-set-up-python-2-7-6-and-3-3-3-on-centos-6-4．在上一回，[Spark][教學] Spark x Docker x ipython Notebook !(一)-Docker + Spark安裝篇，我們從大大那邊抓下來Spark的環境，但是還缺少python的環境，所以這篇文章就是要介紹怎樣在前一個環境中建立python環境．Docker在建立環境時有兩種方式，一種是進入container內，將程式安裝起來後，將建好的container儲存起來使用，另外一種就是用Dockerfile的方式紀錄安裝的過程．因為我Dockerfile還不熟，所以先介紹第一種方式．

[Apache Spark][教學] Spark x Docker x ipython Notebook !(一)-Docker + Spark安裝篇

圖片來源：http://www.docker.com/

       
        文章開頭先感謝前輩們的貢獻：http://philipzheng.gitbooks.io/docker_practice/．Docker是今年非常火紅的技術，可以透過輕量化虛擬container來實現系統或程式的部屬配置．我們在實物開發上常遇到的問題是，開發環境和正式環境彼此存在著差異，來來回回把程式搬到正式環境上執行是非常花時間的事情．Docker透過輕量化虛擬技術讓開發者可以很輕易地將程式放到模擬出來的正式環境執行，測試，減低了很多開發上的時間成本．同時Docker可以保證開發環境的一致性，如果不小心掛掉，簡單重啟一個就好，也節省很多維護的時間．
        我們可以在Docker上run Hadoop或Spark，把寫好的程式丟到上面執行，但是有沒有辦法直接在Docker的模擬出來的環境上開發spark程式，而且還是透過方便又強大的IDE介面（你當然也可以直接開vim寫，但是不在討論範圍內XD）？本文要介紹如何在Docker上面運行spark，並且透過ipython notebook來編輯，並以互動式方式來使用Spark．