[Python] 土砲N-GRAM(文字探勘、文本分析工具)演算法大升級! 加入長詞優先法與斷句系統

        上次很簡單做的N-gram演算法其實有幾個明顯缺點：
1. 標點符號一起加入計算
2. 有些字詞屬於長詞中的一部分，例如"拉熊"是"拉拉熊"的部分，兩者會重複計算，但其實"拉拉熊"才有意義
3. 中英數混合文章無法取得有意義分析

        本次的更新重點在於：
1. 以標點符號來切割句子，取得更有意義的結果
2. 以"長詞優先法"來優先計算詞句出現的次數，並刪除子詞




        演算法分為下列幾塊：
        第一部分：這部分主要是要用標點符號切割句子。

這次更新將載入檔案放到cutSentence這個方法中，因為將來我們會根據字詞長度重覆讀取檔案，所以才做這樣的處理。
另外一個keywords的方法需要傳入一個關鍵字矩陣，將來會傳入計算出的長詞，並且把長詞刪掉，避免重覆計算的情況。

        第二部分：這部分是N-GRAM演算法核心，和之前版本沒有差異

        第三部分：整合性的function，透過重覆呼叫第一塊和第二塊來計算不同長度詞的數量

這邊加入兩個變項分別用來儲存長詞和長詞+數量，被儲存的長詞會傳到第一部分的funcion中，來刪除篩選出來的長詞，避免長詞重覆的情況。可以透過參數maxTermLength，來決定最長要取到多少個字的詞，並且透過參數minFreq來決定出現的次數最少要達到幾次

最後附上完整的程式碼以及執行結果，關鍵的input文章是用紅樓夢第一回來示範。





圖片來源：http://bbs.ent.163.com/bbs/liudehua/167337417.html