[R][翻譯]Reshape(transpose)! 資料的變形金剛

 

        今天的文章來自這裡

Reshape Package in R: Long Data format, to Wide, back to Long again 
        我們在做資料的時候，為了配合不同的演算法、公式、統計套件、或整理報表需求，我們常常需要將資料轉來轉去。最簡單的轉法就是行列交換(又稱轉置、transpose)，但是實務上，這種轉置用途太小了，我們需要更複雜的變形。

[翻譯]讓你的DATA更人性 (Six Ways to Make Your Data More Human)

原文出處：Six Ways to Make Your Data More Human

        這篇文章是我最近看到在談Big Data文章的非技術文章中最有感觸的一篇，跟大家分享。這篇文章副標下得很好："Big Data Is Great, But Marketing Still Needs the Human Touch"
        當不管業界還是學術界對BIG DATA一頭熱的時候，還是要適時停下來想想DATA本身對我們的意義，畢竟分析資料的資料來源是人，演算法的邏輯設定也是人，解釋的對象是人，未來應用的對象也是人，當然要讓資料"人性化"一點。這篇文章提供了六個讓DATA更人性的方法：

[R][翻譯] apply、sapply、lapply之區別

原文：Using apply, sapply, lapply in R

        R和一般程式語言或統計軟體的不同在於進行迴圈運算時，可以使用向量的方式來處理，也就是本文主要要介紹的apply、sapply和lapply。這三個功能相似，卻有一點不同，今天無意中發現一篇好文章在比較這三者，因此將原文翻譯並摘要後與大家分享。

[轉貼] 資料科學家與凡人的溝通利器：30 個把資料視覺化的簡單工具-科技報橘

        資料科學家與凡人的溝通利器：30 個把資料視覺化的簡單工具
        這篇文章太棒了，蒐集了很多好用的資料視覺化工具，提供各位格友參考!! 因為完全不是原創，就只貼連結了!

        過去在行銷研究公司，資料視覺化的工具只有PPT (超慚愧) ，因為我對美工完全不行，所以本部落格應該完全不會介紹有關資料視覺化的東西XD 但是如果要將資料介紹給觀眾的話，資料視覺化絕對是最棒的橋樑，可以讓聽眾更直觀的方式了解資料內容和Insight!

資料脈絡與詮釋

        數字會說話？錯，說話的永遠是人，這是最近很紅的一本書"精準預測"中的名言。如果只會看數字講話，那很容易跌入陷阱。別忘記，蒐集資料的是人，解讀資料的是人，使用資料的也是人，就算是演算法的設計，也是跟人有關，所以解讀數字時千萬不能脫離資料的脈絡。

傳統市場分析人員的未來

        我這邊說得傳統是指，依照一般商學或傳播的背景成長，所學專長可能是行銷、應用統計，對於程式設計或資料庫管理幾乎是零的人。BIG DATA為什麼吸引那麼多人進入，是因為這個領域除了傳統行銷或統計分析背景之外，也大量依賴資訊科技(甚至以資訊科技為主導)。


        BIG DATA時代有幾個資料分析特色是傳統市場分析人員需要適應的：

[R] TEXT MINING(文字探勘、文本分析練習)

        BIG DATA時代要說跟一般資料庫分析有什麼不一樣的地方，除了更多資料外，就是更多對於非結構化資料的蒐集了。網路媒體有別於傳統媒體，每個使用者都可以製造、生產訊息，網路上的訊息量比美國國會圖書館還多了N^N倍，這些資料都不是整理好的資料，甚至大多不是是數值資料，為了蒐集並且分析這些資料，TEXT MINING(文字探勘)成了近幾年的主流。

      一般文字探勘軟體都很貴...而且不支援中文文字探勘，因此在華人世界，R成為文字探勘者最主要的工具(畢竟免費)，而且有大神在開發中文文字探勘R套件，讓R成為中文文字探勘神器。

資料的切與不切，is a critical choice

        為了瞭解雨量和業績之間的關係，先前以用R抓網頁資料抓到了台灣的雨量資料，觀察三年來每一天雨量和業績的關係，我們去觀察是否雨量越大，業績會越好(或越不好)，但是結果是相當不顯著的。直到有一天與同事聊天，同事以前是在達美樂上班，說有下雨和沒下雨對業績是有非常大的差別的。

[R]用R將資料依百分位數分組(Recode Data by Percentile) 連續型資料轉離散

        在資料分析中我們可以大致將資料類型分為離散型變項以及連續型變項兩種類別，以統計檢定來說，連續型資料的檢定力相對較強，結果也相對具有說服力。但是在真實社會環境中，第一很難確切的蒐集到那麼多連續型的變項；二來連續型變項之間的關係，由於檢定力強，反過來說就是除非兩者關係相當明確，否則很難證實相關性；若遇到這些情況，我們通常就會需要將連續型變項轉換成離散型變項，簡單來說就是將資料重新分組(或稱為recode)

[R]R的學習資源推薦

        R是統計分析或DATA MINING中目前使用者比例最高的軟體。但是國內相關的資源相對來說卻不如其他統計軟體(特別是SPSS)，剛開始學R的時候花了很多時間和金錢報名課程和摸索。在這邊列出一些我常在使用或曾經使用過的線上資源供各位朋友參考。