google code-beautifer

星期三, 2月 06, 2008

中文頻率最高的前100個詞

下面的資料是來自「中央研究院平衡語料庫詞集及詞頻統計(Word List with Accumulated Word Frequency in Sinica Corpus 3.0)」。這跟Big5 產生的年代已經有一些距離了。

可是我很好奇,會不會有些字即使後來使用頻率居上,比如王建(火宣),陶(吉吉),...但是受到電腦編碼下Big5 的影響,而在語料庫裡永不得翻身?其實光這點在學術上就很有得爭論。但關於這樣的問題,我一時是無法回答的,因為Sinica Corpus 不公開對外開放。要的人除了要花一筆錢外,使用上還有諸多限制。

不管是作gcin/linbchewing 輸入法的基礎,或是作中文 IR stop word list ,這些是很基本的資料,開放出來對政府機構其實也就是少收那一點錢,比起民進黨政府沒有效用的灑錢斷交的種種動作而言,實在是九牛一毛,可是對台灣整體的科技跟帶動的經濟都會有強勢的影響。台灣還在關起門自己搞之時,可是美國跟大陸已經在中文自然語言相關的研究上急起直追了,令人感嘆。

詞類標記 -- 依據中研院詞庫小組所架構的分類系統(參見原文)
詞頻 -- 在語料庫中出現的次數
累積頻率 -- 照詞頻排序至此詞的累積頻率(100為總頻率和)。

詞項 詞類 頻率 累積頻率
的 DE 285826 5.82
是 SHI 84014 7.53
一 Neu 58388 8.72
在 P 56769 9.88
有 V_2 45823 10.81
個 Nf 41077 11.64
我 Nh 40332 12.47
不 39014 13.26
這 Nep 33659 13.95
了 Di 31873 14.59
他 Nh 30025 15.21
也 D 29646 15.81
就 D 29211 16.40
人 Na 24269 16.90
都 D 20403 17.31
說 VE 19625 17.71
而 Cbb 18452 18.09
我們 Nh 18152 18.46
你 Nh 17298 18.81
了 T 15958 19.14
要 D 15955 19.46
之 DE 15893 19.78
會 D 14066 20.07
對 P 13944 20.36
及 Caa 13758 20.64
和 Caa 13585 20.91
與 Caa 13445 21.19
以 P 13172 21.45
很 Dfa 13013 21.72
種 Nf 12263 21.97
中 Ng 12231 22.22
的 T 11580 22.45
大 VH 11577 22.69
能 D 11125 22.92
著 Di 11026 23.14
她 Nh 10776 23.36
那 Nep 10740 23.58
上 Ncd 10619 23.79
但 Cbb 10242 24.00
年 Nf 10127 24.21
還 D 9698 24.41
可以 D 9671 24.60
時 Ng 9565 24.80
最 Dfa 9416 24.99
自己 Nh 9069 25.17
為 P 9026 25.36
來 D 8992 25.54
所 D 8873 25.72
他們 Nh 8818 25.90
兩 Neu 8692 26.08
各 Nes 8651 26.26
上 Ng 8650 26.43
可 D 8508 26.60
為 VG 8369 26.77
或 Caa 8317 26.94
好 VH 8304 27.11
等 Cab 8070 27.28
又 D 8037 27.44
將 D 7858 27.60
後 Ng 7752 27.76
因為 Cbb 7592 27.91
於 P 7395 28.06
由 P 7344 28.21
從 P 7303 28.36
更 D 7298 28.51
被 P 7272 28.66
才 Da 7266 28.81
已 D 7256 28.95
者 Na 7221 29.10
每 Nes 7207 29.25
次 Nf 7087 29.39
把 P 7024 29.54
三 Neu 6954 29.68
什麼 Nep 6729 29.81
問題 Na 6683 29.95
其 Nep 6667 30.09
讓 VL 6624 30.22
此 Nep 6599 30.36
做 VC 6597 30.49
再 D 6563 30.62
所以 Cbb 6529 30.76
只 Da 6521 30.89
與 P 6519 31.02
沒有 VJ 6510 31.15
則 D 6476 31.29
台灣 Nc 6414 31.42
卻 D 6388 31.55
地 DE 6329 31.68
並 Cbb 6171 31.80
位 Nf 6015 31.92
得 DE 5969 32.05
想 VE 5898 32.17
去 D 5748 32.28
呢 T 5577 32.40
學生 Na 5523 32.51
表示 VE 5504 32.62
到 P 5468 32.73
公司 Nc 5421 32.84
將 P 5365 32.95
如果 Cbb 5336 33.06