Last change
on this file since 1317 was 1315, checked in by paynter, 24 years ago |
Language models for the textcat language identification package.
|
-
Property svn:keywords
set to
Author Date Id Revision
|
File size:
3.2 KB
|
Line | |
---|
1 | _ 20326
|
---|
2 | e 6617
|
---|
3 | t 4843
|
---|
4 | o 3834
|
---|
5 | n 3653
|
---|
6 | i 3602
|
---|
7 | a 3433
|
---|
8 | s 2945
|
---|
9 | r 2921
|
---|
10 | h 2507
|
---|
11 | e_ 2000
|
---|
12 | d 1816
|
---|
13 | _t 1785
|
---|
14 | c 1639
|
---|
15 | l 1635
|
---|
16 | th 1535
|
---|
17 | he 1351
|
---|
18 | _th 1333
|
---|
19 | u 1309
|
---|
20 | f 1253
|
---|
21 | m 1175
|
---|
22 | p 1151
|
---|
23 | _a 1145
|
---|
24 | the 1142
|
---|
25 | _the 1060
|
---|
26 | s_ 978
|
---|
27 | er 968
|
---|
28 | _o 967
|
---|
29 | he_ 928
|
---|
30 | d_ 888
|
---|
31 | t_ 885
|
---|
32 | the_ 844
|
---|
33 | _the_ 843
|
---|
34 | on 842
|
---|
35 | in 817
|
---|
36 | y 783
|
---|
37 | n_ 773
|
---|
38 | b 761
|
---|
39 | re 754
|
---|
40 | , 734
|
---|
41 | ,_ 732
|
---|
42 | an 732
|
---|
43 | g 728
|
---|
44 | w 718
|
---|
45 | _i 707
|
---|
46 | en 676
|
---|
47 | f_ 599
|
---|
48 | y_ 595
|
---|
49 | of 594
|
---|
50 | _of 592
|
---|
51 | es 589
|
---|
52 | ti 587
|
---|
53 | v 580
|
---|
54 | _of_ 575
|
---|
55 | of_ 575
|
---|
56 | nd 568
|
---|
57 | at 549
|
---|
58 | r_ 540
|
---|
59 | _w 534
|
---|
60 | it 522
|
---|
61 | ed 496
|
---|
62 | _p 494
|
---|
63 | nt 485
|
---|
64 | _c 462
|
---|
65 | o_ 457
|
---|
66 | io 450
|
---|
67 | _an 439
|
---|
68 | te 432
|
---|
69 | or 425
|
---|
70 | _b 418
|
---|
71 | nd_ 407
|
---|
72 | to 406
|
---|
73 | st 402
|
---|
74 | is 401
|
---|
75 | _s 396
|
---|
76 | _in 389
|
---|
77 | ion 385
|
---|
78 | and 385
|
---|
79 | de 384
|
---|
80 | ve 382
|
---|
81 | ha 375
|
---|
82 | ar 366
|
---|
83 | _m 361
|
---|
84 | and_ 360
|
---|
85 | _and 360
|
---|
86 | _and_ 358
|
---|
87 | se 353
|
---|
88 | _to 347
|
---|
89 | me 346
|
---|
90 | to_ 344
|
---|
91 | ed_ 339
|
---|
92 | . 330
|
---|
93 | be 329
|
---|
94 | _f 329
|
---|
95 | ._ 329
|
---|
96 | _to_ 320
|
---|
97 | co 317
|
---|
98 | ic 316
|
---|
99 | ns 308
|
---|
100 | al 307
|
---|
101 | le 304
|
---|
102 | ou 304
|
---|
103 | ce 293
|
---|
104 | ent 279
|
---|
105 | l_ 278
|
---|
106 | _co 277
|
---|
107 | tio 275
|
---|
108 | on_ 274
|
---|
109 | _d 274
|
---|
110 | tion 268
|
---|
111 | ri 266
|
---|
112 | _e 264
|
---|
113 | ng 253
|
---|
114 | hi 251
|
---|
115 | er_ 249
|
---|
116 | ea 246
|
---|
117 | as 245
|
---|
118 | _be 242
|
---|
119 | pe 242
|
---|
120 | h_ 234
|
---|
121 | _r 232
|
---|
122 | ec 227
|
---|
123 | ch 223
|
---|
124 | ro 222
|
---|
125 | ct 220
|
---|
126 | _h 219
|
---|
127 | pr 217
|
---|
128 | in_ 217
|
---|
129 | ne 214
|
---|
130 | ll 214
|
---|
131 | rt 213
|
---|
132 | s,_ 210
|
---|
133 | s, 210
|
---|
134 | li 209
|
---|
135 | ra 208
|
---|
136 | T 207
|
---|
137 | wh 204
|
---|
138 | a_ 203
|
---|
139 | ac 201
|
---|
140 | _wh 199
|
---|
141 | _n 196
|
---|
142 | ts 196
|
---|
143 | di 196
|
---|
144 | es_ 195
|
---|
145 | si 194
|
---|
146 | re_ 193
|
---|
147 | at_ 192
|
---|
148 | nc 192
|
---|
149 | ie 190
|
---|
150 | _a_ 188
|
---|
151 | _in_ 185
|
---|
152 | ing 184
|
---|
153 | us 182
|
---|
154 | _re 182
|
---|
155 | g_ 179
|
---|
156 | ng_ 178
|
---|
157 | op 178
|
---|
158 | con 177
|
---|
159 | tha 175
|
---|
160 | _l 174
|
---|
161 | _tha 174
|
---|
162 | ver 173
|
---|
163 | ma 173
|
---|
164 | ion_ 171
|
---|
165 | _con 171
|
---|
166 | ci 170
|
---|
167 | ons 170
|
---|
168 | _it 170
|
---|
169 | po 169
|
---|
170 | ere 168
|
---|
171 | is_ 167
|
---|
172 | ta 167
|
---|
173 | la 166
|
---|
174 | _pr 165
|
---|
175 | fo 164
|
---|
176 | ho 164
|
---|
177 | ir 162
|
---|
178 | ss 161
|
---|
179 | men 160
|
---|
180 | be_ 160
|
---|
181 | un 159
|
---|
182 | ty 159
|
---|
183 | _be_ 158
|
---|
184 | ing_ 157
|
---|
185 | om 156
|
---|
186 | ot 156
|
---|
187 | hat 155
|
---|
188 | ly 155
|
---|
189 | _g 155
|
---|
190 | em 153
|
---|
191 | _T 151
|
---|
192 | rs 150
|
---|
193 | mo 148
|
---|
194 | ch_ 148
|
---|
195 | wi 147
|
---|
196 | we 147
|
---|
197 | ad 147
|
---|
198 | ts_ 145
|
---|
199 | res 143
|
---|
200 | _wi 143
|
---|
201 | I 143
|
---|
202 | hat_ 142
|
---|
203 | ei 141
|
---|
204 | ly_ 141
|
---|
205 | ni 140
|
---|
206 | os 140
|
---|
207 | ca 139
|
---|
208 | ur 139
|
---|
209 | A 138
|
---|
210 | ut 138
|
---|
211 | that 138
|
---|
212 | _that 137
|
---|
213 | ati 137
|
---|
214 | _fo 137
|
---|
215 | st_ 137
|
---|
216 | il 136
|
---|
217 | or_ 136
|
---|
218 | for 136
|
---|
219 | pa 136
|
---|
220 | ul 135
|
---|
221 | ate 135
|
---|
222 | ter 134
|
---|
223 | it_ 134
|
---|
224 | nt_ 133
|
---|
225 | that_ 132
|
---|
226 | _ha 129
|
---|
227 | al_ 128
|
---|
228 | el 128
|
---|
229 | as_ 127
|
---|
230 | ll_ 127
|
---|
231 | _ma 125
|
---|
232 | no 124
|
---|
233 | ment 124
|
---|
234 | an_ 124
|
---|
235 | tion_ 122
|
---|
236 | su 122
|
---|
237 | bl 122
|
---|
238 | _de 122
|
---|
239 | nce 120
|
---|
240 | pl 120
|
---|
241 | fe 119
|
---|
242 | tr 118
|
---|
243 | so 118
|
---|
244 | int 115
|
---|
245 | ov 114
|
---|
246 | e, 114
|
---|
247 | e,_ 114
|
---|
248 | _u 113
|
---|
249 | ent_ 113
|
---|
250 | Th 113
|
---|
251 | her 113
|
---|
252 | j 112
|
---|
253 | atio 112
|
---|
254 | ation 112
|
---|
255 | _Th 111
|
---|
256 | le_ 110
|
---|
257 | ai 110
|
---|
258 | _it_ 110
|
---|
259 | _on 110
|
---|
260 | _for 109
|
---|
261 | ect 109
|
---|
262 | k 109
|
---|
263 | hic 108
|
---|
264 | est 108
|
---|
265 | der 107
|
---|
266 | tu 107
|
---|
267 | na 106
|
---|
268 | _by_ 106
|
---|
269 | by_ 106
|
---|
270 | E 106
|
---|
271 | by 106
|
---|
272 | _by 106
|
---|
273 | ve_ 106
|
---|
274 | _di 106
|
---|
275 | en_ 104
|
---|
276 | vi 104
|
---|
277 | m_ 103
|
---|
278 | _whi 102
|
---|
279 | iv 102
|
---|
280 | whi 102
|
---|
281 | ns_ 102
|
---|
282 | _A 101
|
---|
283 | ich 100
|
---|
284 | ge 100
|
---|
285 | pro 99
|
---|
286 | ess 99
|
---|
287 | _whic 99
|
---|
288 | ers 99
|
---|
289 | hich 99
|
---|
290 | ce_ 99
|
---|
291 | which 99
|
---|
292 | whic 99
|
---|
293 | all 98
|
---|
294 | ove 98
|
---|
295 | _is 98
|
---|
296 | ich_ 97
|
---|
297 | ee 97
|
---|
298 | hich_ 97
|
---|
299 | n,_ 96
|
---|
300 | n, 96
|
---|
301 | im 95
|
---|
302 | ir_ 94
|
---|
303 | hei 94
|
---|
304 | ions 94
|
---|
305 | sti 94
|
---|
306 | se_ 94
|
---|
307 | per 93
|
---|
308 | The 93
|
---|
309 | _pa 93
|
---|
310 | heir 93
|
---|
311 | id 93
|
---|
312 | eir 93
|
---|
313 | eir_ 93
|
---|
314 | ig 93
|
---|
315 | heir_ 93
|
---|
316 | _no 93
|
---|
317 | ev 93
|
---|
318 | era 92
|
---|
319 | _int 92
|
---|
320 | ted 91
|
---|
321 | _The 91
|
---|
322 | ies 91
|
---|
323 | art 91
|
---|
324 | thei 90
|
---|
325 | _ar 90
|
---|
326 | _thei 90
|
---|
327 | their 90
|
---|
328 | _pro 90
|
---|
329 | et 89
|
---|
330 | _pe 88
|
---|
331 | _mo 88
|
---|
332 | ther 88
|
---|
333 | x 87
|
---|
334 | gh 87
|
---|
335 | S 87
|
---|
336 | _is_ 87
|
---|
337 | ol 87
|
---|
338 | ty_ 87
|
---|
339 | _I 86
|
---|
340 | nde 86
|
---|
341 | am 86
|
---|
342 | rn 86
|
---|
343 | nte 86
|
---|
344 | mp 85
|
---|
345 | _su 84
|
---|
346 | _we 84
|
---|
347 | par 84
|
---|
348 | _v 84
|
---|
349 | pu 82
|
---|
350 | his 82
|
---|
351 | ow 82
|
---|
352 | mi 82
|
---|
353 | go 81
|
---|
354 | N 81
|
---|
355 | ue 81
|
---|
356 | ple 81
|
---|
357 | ep 80
|
---|
358 | ab 80
|
---|
359 | ;_ 80
|
---|
360 | ; 80
|
---|
361 | ex 80
|
---|
362 | ain 80
|
---|
363 | over 80
|
---|
364 | _un 79
|
---|
365 | q 79
|
---|
366 | qu 79
|
---|
367 | pp 79
|
---|
368 | ith 79
|
---|
369 | ry 79
|
---|
370 | _as 79
|
---|
371 | ber 79
|
---|
372 | ub 78
|
---|
373 | av 78
|
---|
374 | uc 78
|
---|
375 | s._ 77
|
---|
376 | s. 77
|
---|
377 | enc 77
|
---|
378 | are 77
|
---|
379 | iti 77
|
---|
380 | gr 76
|
---|
381 | his_ 76
|
---|
382 | ua 76
|
---|
383 | part 76
|
---|
384 | ff 75
|
---|
385 | eve 75
|
---|
386 | O 75
|
---|
387 | rea 74
|
---|
388 | ous 74
|
---|
389 | ia 74
|
---|
390 | The_ 73
|
---|
391 | ag 73
|
---|
392 | mb 73
|
---|
393 | _go 73
|
---|
394 | fa 72
|
---|
395 | on,_ 72
|
---|
396 | ern 72
|
---|
397 | t,_ 72
|
---|
398 | on, 72
|
---|
399 | t, 72
|
---|
400 | _me 71
|
---|
Note:
See
TracBrowser
for help on using the repository browser.