Index: /trunk/gsdl/perllib/textcat/Other/afrikaans.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/afrikaans.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/afrikaans.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 23602
+e	 8036
+a	 4087
+n	 3782
+i	 3726
+o	 3314
+r	 2951
+s	 2885
+t	 2749
+d	 2479
+e_	 2118
+l	 1854
+k	 1741
+ie	 1670
+g	 1601
+n_	 1447
+m	 1440
+_d	 1219
+t_	 1143
+er	 1124
+h	 1124
+u	 1110
+ie_	 1079
+y	 1048
+w	 986
+s_	 982
+_s	 969
+_h	 956
+di	 924
+an	 922
+r_	 912
+aa	 882
+v	 876
+en	 807
+_di	 807
+.	 790
+y_	 747
+_v	 709
+et	 706
+._	 694
+die	 691
+die_	 667
+_n	 666
+_die	 651
+p	 639
+_m	 634
+_die_	 633
+_w	 632
+ee	 607
+ge	 606
+_o	 598
+b	 586
+te	 568
+,	 560
+in	 555
+k_	 550
+_e	 550
+,_	 548
+oo	 516
+et_	 511
+de	 509
+el	 489
+_g	 486
+f	 461
+ar	 451
+ni	 450
+nd	 442
+an_	 440
+en_	 437
+_i	 426
+he	 423
+g_	 418
+_t	 412
+oe	 410
+at	 406
+er_	 400
+om	 381
+wa	 378
+_a	 378
+_b	 377
+_k	 371
+nie	 371
+_he	 370
+aar	 355
+_ge	 351
+es	 351
+_ni	 348
+da	 346
+m_	 342
+ou	 338
+it	 335
+_nie	 335
+d_	 332
+l_	 330
+_wa	 329
+or	 327
+le	 326
+we	 326
+ek	 324
+het	 321
+me	 319
+_het	 319
+is	 318
+j	 315
+at_	 311
+on	 309
+se	 308
+_en	 298
+ma	 294
+st	 291
+as	 280
+va	 277
+_en_	 270
+re	 270
+"	 269
+'	 265
+het_	 261
+_het_	 260
+om_	 254
+al	 252
+ar_	 250
+li	 248
+te_	 247
+aar_	 247
+_da	 245
+u_	 242
+nde	 241
+ou_	 237
+_l	 231
+be	 229
+_'	 226
+rd	 224
+_va	 224
+ig	 223
+ng	 222
+ns	 221
+ve	 220
+it_	 218
+_j	 216
+_me	 216
+sy	 215
+ke	 213
+_sy	 212
+aan	 212
+van	 212
+_in	 210
+is_	 210
+in_	 208
+sy_	 206
+_sy_	 206
+'n	 205
+ro	 205
+ko	 204
+_'n	 203
+ra	 203
+'n_	 203
+_'n_	 202
+so	 202
+D	 202
+ho	 201
+rs	 200
+eer	 200
+ik	 199
+la	 198
+_te	 196
+_van	 196
+_ma	 195
+as_	 194
+ui	 194
+ver	 192
+e.	 192
+der	 191
+to	 188
+op	 187
+van_	 184
+ag	 184
+_ve	 182
+and	 180
+_van_	 178
+ha	 178
+f_	 176
+ka	 176
+ne	 175
+_is	 175
+sk	 174
+e._	 174
+oor	 174
+_ver	 170
+ek_	 170
+_hy	 170
+hy	 170
+p_	 168
+_be	 168
+ri	 168
+ur	 167
+nie_	 165
+_so	 165
+_D	 164
+si	 164
+ll	 164
+no	 164
+_in_	 163
+_hy_	 162
+hy_	 162
+ed	 161
+ers	 160
+_r	 156
+ak	 156
+_ho	 155
+_nie_	 153
+eg	 153
+nt	 152
+de_	 152
+_p	 151
+_we	 148
+_is_	 148
+ei	 147
+es_	 142
+maa	 142
+wee	 142
+na	 141
+nder	 139
+a_	 138
+ing	 138
+ew	 138
+S	 135
+lle	 135
+_om	 135
+_te_	 134
+eu	 134
+ie.	 134
+wo	 132
+em	 132
+wat	 131
+_no	 130
+_"	 130
+vo	 130
+E	 129
+H	 128
+_wat	 127
+ti	 126
+mo	 126
+A	 126
+e,	 126
+_ha	 125
+vi	 125
+el_	 125
+ter	 125
+e,_	 124
+dat	 124
+eer_	 124
+wat_	 124
+le_	 124
+ta	 124
+Di	 123
+dat_	 123
+_wat_	 122
+ie._	 122
+was	 121
+ste	 121
+_H	 121
+_se	 121
+se_	 120
+ul	 120
+al_	 120
+_was	 120
+_om_	 119
+_st	 119
+lik	 118
+"_	 118
+_ko	 118
+_maa	 118
+lo	 117
+_to	 117
+ns_	 115
+aan_	 115
+nie.	 114
+_vi	 114
+met	 114
+_nie.	 111
+nk	 110
+_Di	 110
+-	 110
+_op	 109
+_oo	 109
+_on	 108
+ir	 108
+ord	 108
+uit	 106
+ens	 105
+_was_	 105
+was_	 105
+een	 105
+_met	 105
+os	 105
+_S	 104
+nie._	 104
+ig_	 103
+_sk	 102
+op_	 101
+_ek	 101
+_wee	 101
+ir_	 101
+met_	 100
+_met_	 100
+rt	 100
+ik_	 99
+end	 99
+nd_	 99
+gt	 99
+ond	 98
+ot	 98
+_aa	 97
+og	 97
+vir_	 95
+vir	 95
+_ka	 94
+hu	 94
+_mo	 94
+_vir_	 94
+_vir	 94
+_dit	 93
+kr	 93
+am	 93
+ol	 93
+dit	 93
+_ek_	 93
+ki	 93
+sa	 93
+_aan	 92
+man	 92
+jy	 92
+ng_	 92
+aak	 92
+lle_	 91
+_hu	 91
+_na	 91
+_vo	 90
+ewe	 90
+of	 90
+jy_	 90
+_dit_	 90
+dit_	 90
+_jy	 89
+der_	 89
+jo	 89
+_f	 88
+_u	 88
+sie	 87
+_dat	 87
+_jy_	 87
+daa	 87
+do	 87
+vr	 87
+wi	 86
+ry	 86
+_dat_	 86
+eur	 86
+rs_	 85
+_jo	 85
+_wo	 84
+_ne	 84
+jie	 84
+ji	 84
+pe	 83
+moe	 83
+my	 82
+ull	 82
+Die	 81
+maar	 81
+_hom	 81
+ulle	 81
+_maar	 81
+hom	 81
+_uit	 80
+_ui	 80
+ges	 80
+raa	 80
+or_	 80
+ies	 80
+jou	 79
+_la	 79
+maar_	 79
+ulle_	 79
+_daa	 79
+Die_	 79
+daar	 78
+_daar	 78
+ien	 78
+_my	 78
+_jou	 78
+ok	 78
+il	 78
+lik_	 77
+sta	 77
+_Die	 77
+ur_	 77
+ga	 77
+ag_	 77
+kan	 77
Index: /trunk/gsdl/perllib/textcat/Other/albanian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/albanian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/albanian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 19480
+ë	 4099
+e	 4082
+t	 3635
+i	 3134
+a	 2893
+r	 2820
+n	 2610
+s	 2380
+h	 2060
+ë_	 2055
+e_	 1825
+j	 1677
+u	 1489
+d	 1381
+o	 1370
+m	 1318
+k	 1264
+të	 1091
+p	 1072
+_t	 1068
+sh	 998
+l	 936
+_n	 876
+a_	 822
+,	 816
+,_	 808
+të_	 795
+i_	 770
+_p	 739
+_m	 702
+_s	 700
+te	 653
+ër	 620
+_d	 613
+_e	 607
+g	 602
+_k	 601
+_të	 593
+.	 575
+_të_	 574
+v	 567
+_e_	 554
+r_	 525
+._	 523
+ht	 503
+n_	 480
+he	 473
+në	 462
+sht	 461
+te_	 457
+q	 454
+nd	 436
+ri	 432
+is	 414
+et	 403
+b	 402
+je	 401
+me	 395
+in	 391
+it	 381
+rë	 374
+_a	 374
+t_	 359
+ur	 353
+_i	 346
+ar	 342
+ës	 339
+er	 338
+në_	 338
+ën	 338
+dh	 337
+en	 336
+pë	 334
+f	 328
+_v	 323
+jë	 318
+nj	 313
+ish	 312
+për	 294
+y	 285
+z	 282
+es	 281
+at	 274
+_me	 273
+_q	 273
+gj	 269
+ra	 261
+as	 258
+_në	 256
+ku	 256
+j_	 250
+ta	 249
+re	 246
+një	 245
+o_	 243
+ni	 243
+_pë	 240
+hte	 240
+_nj	 239
+on	 239
+isht	 236
+pa	 234
+th	 233
+shte	 233
+_për	 232
+se	 228
+_g	 223
+ve	 221
+in_	 220
+s_	 219
+_në_	 219
+do	 218
+hte_	 218
+më	 216
+ti	 215
+aj	 212
+shte_	 212
+ej	 212
+u_	 211
+që	 211
+_sh	 210
+nt	 207
+jë_	 206
+_b	 205
+_një	 203
+di	 202
+_pa	 201
+_i_	 201
+ll	 199
+_f	 199
+kë	 198
+me_	 197
+dhe	 195
+ishte	 195
+si	 194
+hi	 191
+he_	 188
+-	 187
+ja	 187
+_që	 187
+ua	 186
+il	 184
+_dh	 184
+ur_	 183
+ër_	 182
+or	 180
+se_	 179
+që_	 178
+S	 176
+ç	 175
+_h	 173
+an	 172
+një_	 172
+ng	 170
+nte	 170
+_që_	 169
+_S	 169
+rë_	 166
+dhe_	 165
+_me_	 164
+ka	 162
+im	 159
+hë	 158
+mi	 157
+to	 156
+tu	 156
+ën_	 155
+_një_	 154
+ha	 153
+nte_	 150
+tr	 148
+sa	 148
+ët	 148
+_gj	 148
+un	 147
+rr	 147
+ë,	 147
+_dhe	 147
+ej_	 147
+ki	 146
+ë,_	 146
+_ku	 145
+_-	 144
+_ng	 142
+ik	 141
+_nd	 140
+end	 138
+uk	 137
+etë	 135
+ko	 135
+_dhe_	 135
+_ve	 132
+va	 131
+_l	 131
+për_	 131
+shi	 131
+erë	 129
+ke	 127
+kis	 127
+së	 126
+jo	 125
+li	 124
+ga	 124
+kish	 123
+_ki	 122
+po	 122
+_se	 122
+'	 121
+du	 120
+mb	 120
+_më	 119
+Si	 115
+më_	 115
+esh	 115
+_si	 114
+qe	 114
+lë	 114
+_kis	 113
+oh	 113
+_kish	 113
+_Si	 113
+pr	 112
+_u	 112
+uar	 111
+de	 111
+hu	 111
+_th	 111
+al	 111
+ta_	 109
+ilv	 108
+Sil	 108
+Silv	 108
+lv	 108
+k_	 108
+e,	 108
+ji	 107
+e,_	 106
+_Sil	 106
+_Silv	 106
+_r	 105
+os	 104
+_se_	 104
+kisht	 102
+_di	 102
+st	 101
+_për_	 101
+bë	 101
+tj	 100
+_nga	 99
+nga	 99
+_du	 98
+ra_	 98
+vë	 98
+gji	 98
+_ish	 96
+rt	 96
+_is	 96
+ro	 95
+ir	 94
+ga_	 94
+ësh	 94
+ont	 93
+c	 93
+t,	 93
+t,_	 93
+hin	 92
+a,	 92
+_at	 92
+und	 92
+jt	 91
+_mb	 91
+a,_	 91
+tje	 90
+_nga_	 90
+_do	 90
+_pr	 90
+rit	 90
+men	 90
+nga_	 90
+ri_	 89
+N	 89
+ma	 89
+it_	 88
+_kë	 88
+-_	 88
+m_	 87
+jo_	 87
+onte	 87
+atë	 87
+la	 87
+ëri	 87
+ilva	 86
+shin	 86
+ë.	 86
+Silva	 86
+lva	 86
+së_	 85
+jer	 85
+et_	 85
+_po	 85
+ës_	 84
+kur	 84
+ru	 84
+nin	 83
+ot	 83
+hin_	 83
+_N	 83
+her	 83
+htë	 82
+ap	 82
+shin_	 82
+mo	 81
+ash	 81
+tha	 81
+_ç	 81
+ë._	 81
+ëm	 81
+jit	 80
+_ta	 80
+ul	 80
+le	 80
+ho	 80
+_z	 79
+dr	 78
+jet	 78
+nin_	 78
+_më_	 78
+gjit	 78
+A	 78
+hk	 78
+onte_	 78
+oni	 77
+lo	 77
+ba	 77
+herë	 77
+ndo	 76
+shk	 76
+mend	 75
+_vë	 75
+ha_	 75
+dë	 75
+tur	 74
+_A	 74
+el	 74
+bi	 74
+_ko	 74
+uk_	 73
+erë_	 73
+si_	 73
+_sa	 73
+ar_	 72
+P	 72
+rs	 72
+pas	 72
+ith	 72
+uar_	 71
+_isht	 71
+ai	 70
+e.	 70
+_vet	 70
+vet	 70
+_bë	 70
+zi	 70
+d_	 70
+jith	 70
+da	 70
+gjith	 69
+duk	 69
+na	 69
+hej	 69
+tër	 68
+_men	 68
+_ka	 68
+am	 68
+nd_	 68
+_c	 67
+_pas	 67
+_duk	 67
+jes	 67
+ak	 67
+s,	 67
+e._	 67
+s,_	 67
+K	 67
+ësht	 67
+mu	 66
+kur_	 66
+yr	 66
+em	 65
+_së	 65
+tha_	 65
+imi	 65
+ie	 65
+hej_	 64
+_së_	 64
+_u_	 64
+?	 64
+fu	 64
+_P	 64
Index: /trunk/gsdl/perllib/textcat/Other/amharic-utf.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/amharic-utf.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/amharic-utf.lm	(revision 1382)
@@ -0,0 +1,406 @@
+á	 21403
+_	 10092
+	 7734
+á	 6558
+_á	 5003
+	 4717
+	 4401
+á	 4274
+á	 4176
+	 4054
+á	 3868
+	 2728
+	 1656
+á	 1591
+µ	 1579
+ 	 1425
+ á	 1402
+_á	 1261
+_á	 1231
+š	 1217
+á	 1187
+šá	 1183
+_á	 1160
+	 1145
+á	 1123
+­	 1097
+á	 1043
+	 1043
+°	 1041
+°á	 1004
+_á	 991
+á	 936
+«	 880
+	 855
+á	 855
+¥	 849
+µá	 805
+µ	 783
+áµ	 783
+µ_	 763
+«á	 709
+¥á	 704
+ 	 682
+á 	 682
+­á	 679
+	 670
+á	 667
+á á	 666
+ á	 666
+á	 658
+	 643
+áš	 637
+š	 637
+šá	 627
+ášá	 627
+á	 614
+	 614
+­	 611
+á­	 611
+_	 588
+µ_	 583
+áµ_	 583
+_áš	 577
+_ášá	 574
+áá	 573
+á	 573
+áá	 570
+á	 570
+á	 563
+	 563
+á	 557
+áá	 557
+ 	 554
+á 	 554
+á á	 553
+á°	 553
+ á	 553
+°	 553
+á°á	 547
+°á	 547
+á	 534
+	 534
+ á	 532
+-	 531
+áµ	 525
+µ	 525
+--	 521
+á	 515
+	 515
+---	 512
+----	 503
+_á 	 499
+-----	 494
+_á á	 487
+á	 479
+šá	 477
+_	 473
+á	 469
+áá	 469
+á_	 468
+_	 468
+¢	 465
+³	 464
+á«	 457
+«	 457
+°á	 444
+_á 	 424
+_á á	 424
+áµá	 423
+µá	 423
+­_	 415
+³á	 402
+œ	 401
+	 390
+á	 389
+	 382
+_	 378
+á_	 378
+á	 365
+«á	 364
+á«á	 364
+	 363
+áá	 357
+á	 357
+£	 356
+¢_	 351
+œ	 347
+áœ	 347
+	 341
+á	 341
+á­	 337
+¢	 337
+á¢	 337
+­	 337
+¢_	 337
+á¢_	 337
+á	 336
+
+	 334
+¥	 320
+á¥	 320
+£á	 320
+á	 320
+¥á	 318
+á¥á	 318
+­_	 314
+á­_	 314
+á	 312
+á	 311
+šá	 301
+á	 300
+á	 300
+	 300
+	 300
+ á	 299
+á	 297
+á­á	 294
+	 294
+á	 294
+­á	 294
+	 293
+á	 291
+áš	 291
+á	 291
+á	 291
+š	 291
+áá	 291
+áá	 291
+áá	 291
+á°	 288
+°	 288
+_á¥	 285
+_á¥á	 283
+®	 279
+šá	 279
+ášá	 279
+ á	 279
+á á	 279
+áá	 276
+á	 276
+á	 276
+_á	 272
+¥	 270
+á¥	 270
+_	 269
+áá	 264
+á	 264
+á	 262
+¥á	 262
+áá	 262
+¥á	 262
+á­á	 261
+­á	 261
+	 260
+á	 260
+á°á	 259
+°á	 259
+á«	 254
+£	 254
+á£	 254
+«	 254
+	 253
+®á	 249
+á	 247
+á	 245
+µá	 244
+á	 242
+	 242
+ášá	 242
+šá	 242
+áá	 238
+á	 238
+ á	 237
+áš	 237
+š	 237
+°á	 236
+á°á	 236
+á_	 235
+_	 235
+á	 234
+­á	 233
+«á	 233
+£á	 230
+	 230
+á£á	 230
+á	 230
+áµ	 228
+µ	 228
+_á	 227
+á	 227
+_áá	 226
+šá	 225
+ášá	 225
+²	 225
+á¢	 222
+á¢_	 222
+ á	 216
+á¥á	 214
+áá	 214
+¥á	 214
+á	 214
+
+á	 213
+²á	 212
+«á	 210
+á	 209
+áá	 209
+©	 208
+á	 207
+á	 206
+œ_	 206
+¥á	 205
+á¥á	 205
+á	 202
+°	 200
+á³	 200
+³	 200
+á°	 200
+«á	 199
+á«á	 199
+á°á	 198
+°á	 198
+áµá	 195
+á	 195
+µá	 195
+	 195
+á	 194
+áá	 194
+œá	 191
+	 191
+œ_	 189
+áœ_	 189
+á	 188
+žá	 186
+ž	 186
+_á	 184
+_áá	 183
+áá	 183
+á	 183
+¥á	 180
+šá	 179
+ášá	 179
+á	 178
+±	 177
+¥áá	 177
+_áš	 175
+¥	 174
+á¥	 174
+ á	 172
+á á	 172
+_ášá	 170
+	 170
+«_	 169
+¥á	 169
+á	 166
+°á	 166
+áá	 165
+_	 165
+á	 165
+á_	 163
+_	 163
+ž	 160
+áž	 160
+ážá	 160
+žá	 160
+á	 160
+šá	 159
+žá	 159
+	 158
+á	 158
+­á	 158
+£á	 156
+áá	 155
+á	 155
+áœá	 154
+žá	 154
+á_	 154
+œá	 154
+žá	 154
+ážá	 154
+_	 154
+µá	 152
+³á	 151
+žá	 151
+á	 150
+_á	 150
+¶	 150
+_áá	 150
+	 150
+_á­á	 150
+_á­	 150
+³á	 149
+á³á	 149
+á¢	 148
+ á	 147
+á°á	 147
+°á	 147
+á á	 147
+	 146
+_á°	 146
+_á°á	 146
+áá	 145
+á	 145
+áµá	 144
+µá	 144
+á	 144
+µá	 144
+á
+	 143
+
+	 143
+¥_	 143
+áá	 142
+á	 142
+³	 141
+á³	 141
+á	 139
+á
+	 138
+
+	 138
+á	 137
+áá	 137
+«á	 137
+á	 136
+á	 136
+á á	 135
+ á	 135
+á	 135
+áµá	 134
+µá	 134
+á 	 133
+á³á	 133
+ 	 133
+áá	 133
+á	 133
+á	 133
+³á	 133
+	 133
+áá	 132
+á	 132
+šá°	 131
+á«á	 131
+šá°á	 131
+«á	 131
+á	 129
+µá	 128
+­	 128
+á­	 128
+á	 128
+	 128
+°á	 127
+ á	 127
+á á	 127
+«	 126
+á«	 126
+á	 124
+á á	 123
+°á	 123
+á«á	 123
+«á	 123
+ á	 123
+šá	 122
+ášá	 122
+á	 121
+áá	 121
Index: /trunk/gsdl/perllib/textcat/Other/arabic-iso8859_6.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/arabic-iso8859_6.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/arabic-iso8859_6.lm	(revision 1382)
@@ -0,0 +1,434 @@
+_	 9692
+Ø	 7361
+Ù	 6120
+Ø§	 2417
+§	 2417
+_Ø	 1691
+Ù	 1587
+	 1587
+Ø§Ù	 1415
+§Ù	 1415
+Ç	 1241
+_Ù	 1129
+_Ø§	 987
+§Ù	 978
+Ø§Ù	 978
+ä	 952
+_Ø§Ù	 894
+Ù
+	 869
+
+	 869
+ÙØ	 801
+Ø	 801
+	 798
+Ù	 798
+_Ø§Ù	 771
+ª	 757
+Øª	 757
+Ø§Ø	 738
+§Ø	 738
+Ù	 680
+	 680
+Ù	 659
+	 659
+è	 622
+ÙÙ	 619
+Ù	 619
+§ÙØ	 574
+Ø§ÙØ	 574
+¹	 547
+Ø¹	 547
+Ø±	 541
+±	 541
+ê	 527
+©	 512
+Ø©	 512
+
+Ø	 504
+Ù
+Ø	 504
+æ	 496
+Çä	 492
+Øš	 490
+š	 490
+Ø©_	 482
+©_	 482
+å	 477
+_Ç	 470
+Ø	 461
+ÙØ	 461
+.	 430
+_Çä	 405
+§ÙÙ	 352
+Ø§ÙÙ	 352
+Ù	 350
+	 350
+È	 340
+Ø¯	 339
+¯	 339
+ØªØ	 334
+ªØ	 334
+Ñ	 324
+	 314
+Ù	 314
+ç	 302
+_Ù	 289
+
+Ù	 278
+Ù
+Ù	 278
+ÙØ	 276
+Ø	 276
+Ø¹Ù	 270
+¹Ù	 270
+Ê	 267
+ÙÙ	 263
+Ù	 263
+Ù_	 262
+_	 262
+_Ù
+	 259
+	 258
+Ù	 258
+³	 258
+Ø³	 258
+ÙØ§	 258
+Ø§	 258
+æ_	 257
+ØšØ	 252
+šØ	 252
+Ø	 252
+ÙØ	 252
+¬	 252
+§_	 250
+Ø§_	 250
+Ï	 242
+_è	 235
+Øª_	 226
+ª_	 226
+._	 223
+±Ù	 213
+Ø±Ù	 213
+§Øª	 206
+Ø§Øª	 206
+­	 202
+Ø­	 202
+Ç_	 200
+±Ø	 199
+Ø±Ø	 199
+á	 199
+¹Ø	 198
+Ø¹Ø	 198
+šÙ	 196
+ØšÙ	 196
+ÙØ	 193
+Ø	 193
+ØªÙ	 191
+ÙÙ
+	 191
+ªÙ	 191
+Ù
+	 191
+..	 188
+Ù	 184
+	 184
+Ø¬	 183
+Ø§Ù	 180
+§Ù	 180
+§ÙØ§	 178
+_	 176
+ÙØ©	 176
+Ø©	 176
+Ù_	 176
+ã	 175
+ÙÙ	 175
+Ù	 175
+_Øš	 171
+Ì	 171
+§ÙÙ
+	 170
+Ã	 166
+_	 165
+Ù_	 165
+ÙØ	 163
+_Ù	 163
+Ø	 163
+Ž	 162
+ØŽ	 162
+Ù_	 162
+_	 162
+Ù	 161
+ÙÙ	 161
+É	 160
+â	 159
+ÙØ©_	 158
+Ø©_	 158
+	 155
+Ù	 155
+Ø³Ø	 153
+³Ø	 153
+Ù_	 150
+_	 150
+Í	 150
+Ó	 148
+§Øª_	 147
+Ø§Øª_	 147
+µ	 144
+_å	 144
+Øµ	 144
+ç_	 142
+Ù
+Ø	 139
+ÙÙ
+Ø	 139
+_ÙÙ	 136
+_Ù
+Ù	 133
+Ù
+Ø§	 130
+_ØšØ	 130
+
+Ø§	 130
+ØŽØ	 129
+ŽØ	 129
+_Ù_	 129
+¯Ø	 128
+Ø¯Ø	 128
+É_	 127
+äÇ	 127
+_Ù
+Ø	 126
+Ø±_	 124
+±_	 124
+Ø¹Ù	 123
+¹Ù	 123
+ÙÙ	 122
+Ù	 122
+ÙØ	 121
+_È	 121
+Ø	 121
+­Ø	 119
+Ø­Ø	 119
+ÙØ§Ù	 118
+Ø§Ù	 118
+ò	 117
+ê_	 117
+_Ø¹	 117
+î	 116
+Ù	 115
+_Øª	 115
+ÙÙ	 115
+äå	 113
+¯Ù	 113
+Ø¯Ù	 113
+
+Ù	 111
+Ù
+Ø¹	 111
+
+Ø¹	 111
+Ù
+Ù	 111
+Ø¹ÙÙ	 110
+¹ÙÙ	 110
+_Ã	 109
+_Ù	 108
+ÙÙ	 108
+Ù	 108
+Ù_	 102
+ÙØ§	 102
+ÙØ§Ø	 102
+Ø§Ø	 102
+ÙÙ_	 102
+Ø§	 102
+®	 101
+¬Ø	 101
+Ø®	 101
+_ÙØ	 100
+Ø¬Ø	 100
+_ÙÙ	 99
+ÙØ	 99
+Ø	 99
+Ð	 98
+¯_	 97
+Ø§Ù
+	 97
+§Ù
+	 97
+Ø¯_	 97
+...	 94
+_Ù
+Ù	 94
+šØ§	 93
+·	 93
+ØšØ§	 93
+_Ø§Ø	 93
+Ø·	 93
+Ø§	 92
+ï	 92
+ÙØ§	 92
+ÙØª	 91
+Øª	 91
+ä_	 90
+Çæ	 89
+_á	 89
+Ï_	 88
+èÇ	 87
+_Ø¹Ù	 87
+ÙÙ	 85
+Ù	 85
+èä	 84
+Ø°	 84
+
+Ù_	 84
+Ø³Ù	 84
+³Ù	 84
+Ù_	 84
+°	 84
+ÙÙ_	 84
+Ù
+Ù_	 84
+Çäå	 84
+-	 83
+®Ø	 83
+Ø®Ø	 83
+_ä	 82
+
+_	 82
+§Ø³	 82
+Ø§Ø³	 82
+Ù
+_	 82
+_Çäå	 81
+Ù
+	 80
+é	 80
+ÙÙ
+	 80
+é_	 79
+Ø§ÙØ	 79
+§ÙØ	 79
+¹_	 78
+±Ø§	 78
+¹Ø§	 78
+Ø¹Ø§	 78
+§Ø±	 78
+ÙØ§_	 78
+Ø¹_	 78
+¬_	 78
+Ø§_	 78
+Ø±Ø§	 78
+Ø§Ø±	 78
+µØ	 78
+ØµØ	 78
+.._	 77
+Ø£	 77
+..._	 77
+£	 77
+Ô	 77
+Ù	 76
+ÙÙ	 76
+ªØ±	 75
+ØªØ±	 75
+«	 74
+ÙÙ	 73
+Ø§Ù_	 73
+Ø¶	 73
+Ø«	 73
+¬Ù	 73
+Ø¬Ù	 73
+¶	 73
+§Ù_	 73
+Ù	 73
+Ù
+Ø¹Ù	 72
+
+Ø¹Ù	 72
+åæ	 71
+èÌ	 70
+Ø§	 70
+ÙØ§	 70
+­Ù	 69
+î_	 69
+Ø­Ù	 69
+êæ	 69
+Øª	 68
+ÙØª	 68
+Ø§	 68
+Ùä	 68
+_ØªØ	 68
+ÙØ§	 68
+_ê	 67
+Ë	 66
+ò.	 66
+èÏ	 66
+_¬_	 65
+³Øª	 65
+äè	 65
+Ø³Øª	 65
+_¬	 65
+Ìè	 65
+ð	 64
+ÙÙ
+Ø	 64
+áê	 64
+Ù
+Ø	 64
+èæ	 63
+Ø§Ø³Ø	 63
+Õ	 63
+§Ø³Ø	 63
+Ñ_	 62
+-_	 62
+ÇÊ	 61
+_-	 61
+Ù	 61
+ÙÙ	 61
+_Ø§Ù	 61
+åÇ	 61
+å_	 61
+äé_	 60
+§Ø¯	 60
+_ÙÙ	 60
+èÌè	 60
+Ö	 60
+Ø§Ø¯	 60
+äé	 60
+ØªØ	 59
+ÌèÏ	 59
+_-_	 59
+_Ø¹Ù	 59
+ÙØªØ	 59
+èÌèÏ	 58
+ÙÙ	 58
+²	 58
+Ø¬Ø§	 58
+Ù	 58
+Øš	 58
+ÙØš	 58
+_Ù	 58
+_åæ	 58
+Ø²	 58
+_ÙØ	 58
+¬Ø§	 58
+Ø§	 57
+§ÙØª	 57
+Ù	 57
+ÙØ§	 57
+ÙÙ	 57
+ò..	 56
+ØŽØš	 56
+ò..._	 56
+ŽØš	 56
+Çæ_	 56
+ò...	 56
+šÙ	 56
+ØšÙ	 56
+ØªØ¹	 55
+Ø¹Ù
+	 55
+¹ÙÙ	 55
+_Ù	 55
+ªØ¹	 55
+_._	 55
Index: /trunk/gsdl/perllib/textcat/Other/armenian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/armenian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/armenian.lm	(revision 1382)
@@ -0,0 +1,402 @@
+_	 49002
+³	 12626
+	 9480
+Ý	 8485
+ñ	 7623
+ï	 7071
+á	 7010
+»	 6370
+«	 6320
+¯	 5012
+ó	 4656
+	 4607
+õ	 4506
+Ç	 4210
+í	 3775
+áõ	 3655
+Ù	 3369
+ë	 3320
+	 3208
+Ï	 3016
+¯ó	 2832
+³Ý	 2755
+Û	 2552
+§	 2519
+,	 2502
+,_	 2492
+Ý_	 2177
+«	 2099
+	 2034
+é	 2007
+©	 1918
+»ñ	 1748
+³ñ	 1703
+Ñ	 1605
+«_	 1587
+É	 1558
+ã	 1528
+Ï³	 1502
+:	 1483
+:_	 1482
+ù	 1420
+_³	 1403
+ñ_	 1382
+Ç_	 1335
+Ã	 1307
+Á	 1294
+Ý»	 1281
+	 1274
+¹	 1264
+ï	 1229
+å	 1218
+ï	 1184
+÷	 1170
+³Ï	 1154
+_á	 1139
+³Û	 1130
+_Ñ	 1121
+	 1085
+	 1065
+_	 1046
+_»	 1036
+áñ	 1019
+	 1017
+õÙ	 1001
+áõÙ	 993
+ÇÝ	 987
+ï_	 964
+	 962
+_Ù	 961
+ñ³	 952
+Ù³	 951
+_	 945
+	 941
+	 938
+Ñ³	 934
+Õ	 929
+Ý»ñ	 919
+¯ï	 918
+·	 915
+ó_	 911
+»Ý	 910
+Ý³	 910
+³Ý_	 882
+«	 863
+«	 846
+ç	 834
+	 827
+©	 824
+¿	 818
+ÃÛ	 817
+õÃ	 804
+áõÃ	 804
+_	 791
+õÃÛ	 787
+áõÃÛ	 787
+£	 781
+õÝ	 753
+_¯	 750
+Ù_	 748
+_	 747
+ï	 747
+áõÝ	 744
+_¿	 732
+ñá	 730
+«	 723
+ó§	 710
+õ_	 710
+¯ó§	 709
+_Ñ³	 708
+_Ï	 705
+ï³	 703
+µ	 702
+	 697
+	 695
+§_	 684
+_§	 683
+ñÇ	 682
+
+	 672
+³Ï³	 671
+Ûá	 669
+»É	 666
+ó	 659
+ß	 659
+Í	 658
+¯ó	 658
+Ë	 653
+©	 649
+ó©	 641
+¯ó©	 641
+ó«	 640
+Ûáõ	 636
+»õ	 635
+¯ó«	 631
+_ã	 626
+	 623
+Û³	 620
+ë_	 616
+_	 615
+õÙ_	 614
+áõÙ_	 613
+Ýá	 601
+Ï³Ý	 597
+«	 596
+«_	 590
+³Ù	 590
+§	 582
+Á_	 581
+«ï	 576
+³ï	 574
+í³	 574
+	 566
+í	 564
+	 555
+_í	 532
+©¯	 527
+Ýù	 527
+©	 526
+_	 524
+©¯ó	 517
+_Ç	 511
+ï	 510
+_	 507
+§	 500
+í	 500
+ÛáõÝ	 497
+ï¯	 496
+œ	 488
+	 485
+³í	 480
+_	 480
+ó§_	 478
+¯ó§_	 477
+«¯	 476
+ÃÛá	 475
+ÃÛáõ	 475
+³Ï³Ý	 473
+_Ý	 469
+É_	 466
+­	 465
+»ñÇ	 465
+ÃÛáõÝ	 464
+_ë	 463
+õÃÛá	 459
+õÃÛáõ	 459
+áõÃÛá	 459
+Ýáõ	 454
+	 449
+_áñ	 449
+ñ»	 444
+_³Û	 442
+_	 431
+Ù»	 428
+í_	 427
+_Ï³	 422
+	 422
+©¯ó«	 421
+»õ_	 416
+ó	 416
+_¯ï	 415
+³ë	 414
+_	 413
+å³	 408
+©¯	 405
+©¯ó	 405
+ÇÝ_	 404
+©¯ó«	 400
+ó©¯	 399
+¯ó©¯	 399
+ó©¯ó	 399
+ñÇ_	 398
+¿_	 395
+Û³Ý	 394
+áñ_	 387
+-	 385
+ñáõ	 383
+«	 382
+é	 380
+ù_	 379
+ã	 377
+«¯ó	 377
+é_	 377
+áí	 376
+Ý»ñÇ	 374
+ëï	 371
+©«	 371
+»Ý_	 371
+_¹	 371
+ï	 370
+ë	 368
+³	 367
+_¿_	 366
+íá	 363
+í»	 361
+ï»	 358
+.	 357
+ÙÇ	 356
+_å	 351
+¡	 347
+_»õ	 345
+ÃÛ³	 342
+³é	 341
+_µ	 341
+_«	 340
+Ï³Ý_	 339
+ñÁ	 338
+_ï	 337
+_	 331
+¯ï_	 330
+õÃÛ³	 328
+áõÃÛ³	 328
+ÝÇ	 328
+ï	 327
+«_	 324
+_»Ý	 324
+¯£	 324
+_»õ_	 322
+Éá	 321
+»ñÇ_	 321
+_Ù»	 318
+µ³	 317
+áÕ	 317
+Ù³Ý	 316
+_·	 314
+ÝÝ	 314
+å»	 309
+_©	 309
+³Ï³Ý_	 307
+ë	 306
+»ï	 306
+_÷	 303
+ÛÝ	 302
+«÷	 302
+¹³	 302
+Çñ	 300
+¯	 299
+ÃÛ³Ý	 299
+³Ýá	 299
+_	 299
+__	 299
+Ïá	 298
+«	 298
+ñ¹	 297
+_	 294
+_áõ	 293
+_	 292
+ïá	 291
+³ó	 291
+õÃÛ³Ý	 288
+»Õ	 288
+»ë	 287
+áõ_	 286
+_
+	 286
+²	 284
+ë	 284
+¯ë	 284
+Ë³	 283
+Å	 283
+ó_	 281
+«_	 281
+Û³Ý_	 281
+`	 280
+ñ	 279
+`_	 279
+«	 279
+³Ù³	 278
+»É_	 274
+³Í	 271
+Ó	 268
+_Ù³	 266
+ç	 266
+§	 266
+ÉÇ	 266
+Ý»ñÇ_	 266
+í	 264
+Ý,	 263
+§	 263
+³_	 262
+ë¯	 262
+Ý,_	 262
+««	 259
+ÝÁ	 258
+_	 258
+Ï»	 257
+»ñÁ	 257
+Ï_	 255
+ï¯ó	 255
+_ù	 255
+_áñ_	 255
+ï	 255
+ñÏ	 253
+ÝÝ»	 252
+»ñ_	 252
+	 250
+ù³	 248
+ÝÝ»ñ	 248
+_¯ï_	 247
+Ý¹	 246
+Ýù_	 246
+	 245
+ï	 244
+³Ñ	 244
+«ï	 244
+©	 244
+»ó	 243
+ÃÛ³Ý_	 243
+ó©	 242
+¯ó©	 242
+	 241
+¯	 239
+³ñ³	 238
+ï_	 238
+³Ý³	 237
+«	 237
+í	 237
+·á	 237
+_é	 236
+ÝáõÙ	 234
+³É	 234
+«_	 233
+÷_	 233
+Ù³ñ	 233
+ë³	 232
+³Ýáõ	 232
+«	 231
+×	 230
+é	 230
+«¯	 230
+_ó	 228
+³ÛÝ	 228
+©«	 228
+Ã»	 227
+»Ýù	 227
+_ÙÇ	 226
+Ý³Ï	 223
+«_	 223
+_-	 222
+»Ï	 222
+¯ó_	 222
+éí	 220
+_Ã	 220
+_³Ý	 218
+Ï³ñ	 217
+©«	 216
+_ã	 216
+§	 216
+	 215
+	 215
+ó©«	 214
+í¯	 214
+_¯ó	 213
+û	 213
+	 213
+÷	 212
+Ñ³Ù	 211
+ï	 210
+³œ	 210
+_ó_	 210
+_«	 209
+ïí	 209
+_»Ý_	 208
Index: /trunk/gsdl/perllib/textcat/Other/basque.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/basque.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/basque.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 12114
+a	 5537
+e	 4040
+i	 3103
+t	 2567
+n	 2474
+r	 2406
+o	 1937
+k	 1761
+z	 1627
+u	 1561
+d	 1367
+l	 1075
+s	 1048
+b	 995
+n_	 958
+a_	 957
+en	 802
+g	 772
+_e	 736
+er	 680
+ra	 669
+.	 625
+at	 610
+_b	 594
+ar	 589
+an	 585
+_d	 580
+,	 569
+,_	 569
+h	 563
+ta	 563
+te	 555
+._	 520
+ko	 513
+m	 503
+o_	 486
+al	 481
+en_	 471
+tz	 458
+re	 435
+_a	 423
+ik	 416
+in	 409
+it	 392
+za	 391
+ak	 388
+ba	 358
+et	 357
+da	 352
+di	 351
+ka	 350
+ze	 349
+ai	 347
+p	 340
+ri	 335
+la	 329
+an_	 327
+de	 322
+ez	 318
+na	 314
+ti	 307
+be	 305
+i_	 302
+iz	 294
+k_	 293
+tu	 289
+eta	 287
+(	 280
+)	 280
+_i	 279
+or	 276
+_(	 270
+ko_	 269
+ek	 265
+rr	 264
+_h	 263
+e_	 260
+es	 260
+_ba	 258
+nt	 258
+ha	 255
+_g	 247
+era	 246
+ia	 240
+_be	 234
+oa	 229
+un	 229
+ta_	 218
+ma	 212
+on	 211
+z_	 209
+du	 207
+(_	 205
+_(_	 205
+:	 204
+tze	 204
+:_	 204
+us	 191
+u_	 191
+_da	 188
+ren	 183
+az	 183
+_)	 183
+ur	 182
+st	 182
+ea	 181
+_et	 181
+eta_	 179
+zi	 178
+si	 177
+zen	 177
+as	 176
+_n	 175
+go	 175
+_eta	 172
+il	 169
+tik	 169
+_z	 167
+_eta_	 167
+ne	 167
+bi	 166
+zk	 166
+sk	 165
+ag	 163
+t_	 162
+le	 160
+rt	 160
+ke	 158
+-	 150
+gu	 148
+au	 148
+tza	 147
+_de	 147
+ati	 146
+ut	 146
+A	 145
+li	 145
+hi	 145
+E	 144
+bat	 144
+_o	 143
+a,	 142
+a,_	 142
+_m	 141
+ntz	 141
+ad	 140
+ren_	 139
+_er	 138
+io	 138
+)_	 138
+_ez	 138
+ir	 137
+eh	 137
+ab	 135
+ate	 135
+ak_	 134
+sa	 134
+ra_	 134
+_bat	 133
+nd	 133
+_l	 133
+ki	 132
+ere	 131
+ika	 125
+ku	 125
+f	 124
+ga	 123
+ld	 122
+_di	 121
+arr	 120
+el	 120
+eg	 119
+uz	 119
+are	 116
+ng	 116
+os	 116
+_E	 115
+gi	 113
+_p	 113
+_du	 113
+mo	 113
+zen_	 112
+ib	 111
+_k	 110
+ber	 109
+ako	 108
+_iz	 107
+iza	 107
+ala	 107
+itz	 107
+har	 106
+eko	 106
+adi	 105
+l_	 105
+ie	 105
+ste	 105
+atu	 104
+am	 104
+ska	 104
+ah	 104
+_.	 104
+r_	 104
+zt	 103
+rri	 103
+ait	 103
+ua	 103
+tzen	 103
+ald	 103
+usk	 102
+aren	 102
+_._	 102
+ro	 102
+id	 100
+la_	 99
+_s	 98
+ue	 98
+tek	 97
+uska	 97
+atz	 96
+aren_	 96
+_ha	 95
+rre	 95
+"	 94
+atik	 94
+tzen_	 94
+ara	 94
+in_	 93
+ni	 93
+j	 92
+ge	 91
+ez_	 91
+ain	 91
+od	 91
+no	 91
+na_	 91
+ri_	 90
+tan	 90
+mat	 90
+do	 89
+_mo	 88
+ho	 88
+iko	 88
+beh	 88
+_ad	 88
+al_	 87
+_iza	 87
+I	 87
+zan	 87
+_ze	 87
+_adi	 87
+_A	 86
+uk	 86
+eha	 85
+dit	 85
+ru	 85
+pe	 85
+eko_	 84
+ela	 84
+ed	 84
+kar	 84
+n,_	 83
+ari	 83
+bil	 83
+_beh	 83
+bai	 83
+tu_	 83
+n,	 83
+ehar	 83
+_izan	 82
+itu	 82
+_ho	 82
+is	 82
+ean	 82
+ama	 82
+izan	 82
+_)_	 81
+ik_	 81
+B	 80
+koa	 80
+ot	 80
+_na	 79
+zu	 79
+beha	 78
+behar	 78
+_t	 78
+H	 78
+_ko	 78
+dir	 77
+mati	 76
+_j	 75
+at_	 75
+em	 74
+tika	 74
+K	 74
+_B	 74
+zte	 74
+ten	 74
+_beha	 74
+ter	 74
+matik	 73
+egi	 73
+_dir	 73
+a.	 72
+ago	 72
+kal	 72
+ram	 72
+ena	 72
+unt	 71
+lt	 71
+_H	 71
+su	 71
+mod	 71
+bo	 71
+G	 70
+_ber	 70
+lde	 70
+c	 69
+te_	 69
+ar_	 69
+me	 69
+ina	 69
+dal	 69
+ako_	 68
+L	 68
+rik	 68
+a._	 68
+ori	 68
+ite	 68
+raz	 67
+alde	 67
+)._	 67
+).	 67
+zio	 66
+_ez_	 66
+tan_	 66
+amat	 66
+atika	 66
+est	 66
+ntza	 65
+dut	 65
+izk	 65
+_ga	 65
+ia_	 65
+s_	 65
+ita	 65
+tea	 64
+ei	 64
+hal	 64
+_mod	 64
+pa	 64
+bu	 64
+re_	 63
+eu	 63
+ert	 63
+oa_	 63
+_era	 63
+ten_	 63
+_G	 63
+_eg	 63
+rama	 63
+odal	 63
+ramat	 63
+oda	 63
+amati	 62
+atze	 62
+gr	 62
+untz	 62
+eza	 62
+gra	 62
+_ge	 61
+gram	 61
+kat	 61
+abi	 61
+_gr	 60
+_gram	 60
+_gra	 60
+int	 60
+rd	 60
+_in	 60
+k,	 59
+_hi	 59
+zko	 59
+k,_	 59
+pr	 59
+rab	 59
+da_	 59
+ide	 58
+_)._	 57
+tat	 57
+ing	 57
+ira	 57
+tak	 57
+x	 57
+_).	 57
+_ed	 57
+_es	 57
+_bi	 57
+rak	 56
+_-	 56
Index: /trunk/gsdl/perllib/textcat/Other/belarus-windows1251.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/belarus-windows1251.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/belarus-windows1251.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 9440
+à	 4377
+í	 1855
+i	 1544
+ð	 1436
+ó	 1345
+ê	 1246
+û	 1233
+å	 1215
+ñ	 1093
+ë	 1090
+ò	 1050
+ÿ	 934
+ä	 860
+î	 811
+â	 792
+à_	 740
+ì	 724
+ç	 699
+ö	 643
+íà	 589
+ï	 580
+ã	 531
+.	 480
+êà	 467
+ðà	 458
+ó_	 432
+i_	 430
+._	 418
+,	 402
+,_	 402
+á	 391
+àð	 373
+òà	 361
+÷	 350
+âà	 340
+ü	 335
+àë	 330
+ý	 329
+_ï	 328
+àí	 315
+ëà	 307
+ÿ_	 306
+_ñ	 305
+û_	 296
+àä	 279
+é	 279
+_ó	 274
+ðû	 271
+ø	 269
+ãà	 250
+å_	 247
+õ	 244
+_í	 240
+_ç	 236
+_à	 221
+ñò	 221
+íû	 220
+ëi	 218
+äà	 210
+àâ	 203
+_ê	 199
+ñê	 197
+ïà	 195
+_ó_	 194
+äç	 193
+íi	 193
+àì	 192
+_ã	 190
+êi	 190
+_i	 189
+àñ	 187
+çå	 185
+_ä	 179
+é_	 178
+àó	 176
+àã	 174
+þ	 171
+_íà	 169
+ëü	 167
+_â	 166
+íà_	 166
+ëå	 162
+_ì	 161
+àé	 160
+ií	 158
+ì_	 154
+æ	 154
+òû	 154
+ðó	 151
+ïð	 151
+_á	 149
+iê	 148
+ûÿ	 147
+çà	 146
+åð	 145
+ðî	 142
+àê	 141
+óñ	 140
+_i_	 140
+ü_	 140
+"	 137
+åí	 135
+àö	 135
+êó	 131
+ìà	 129
+_ïà	 129
+õ_	 126
+äçå	 126
+àç	 125
+íå	 125
+íí	 123
+_ò	 122
+àò	 122
+ãà_	 121
+àãà	 120
+_ïð	 120
+åë	 120
+àâà	 119
+À	 119
+ûì	 116
+-	 113
+âå	 112
+âû	 112
+ñà	 112
+àé_	 111
+öû	 109
+öü	 109
+_À	 107
+ìi	 106
+àãà_	 105
+îð	 103
+öü_	 102
+Ì	 101
+_êà	 100
+_Ì	 100
+_ÿ	 99
+ëÿ	 99
+íÿ	 98
+íñ	 96
+Â	 95
+ñÿ	 94
+òð	 94
+âi	 92
+ãî	 92
+ç_	 91
+ñêà	 91
+öà	 91
+òó	 91
+àá	 91
+àëà	 90
+÷à	 88
+òî	 88
+íû_	 87
+ñòà	 87
+î_	 87
+_ð	 86
+ÿê	 84
+öö	 84
+iêà	 83
+îó	 83
+ñâ	 83
+àÿ	 83
+÷û	 82
+ïðà	 81
+_çà	 79
+ûí	 79
+åò	 79
+ìå	 79
+ÿí	 79
+âÿ	 79
+_ç_	 78
+ëi_	 78
+ûÿ_	 78
+ðóñ	 77
+êi_	 75
+îä	 74
+_ãà	 74
+i÷	 74
+åö	 73
+íñê	 73
+åëà	 72
+àíà	 72
+âàí	 72
+äð	 72
+ô	 71
+óí	 71
+ðí	 71
+àðó	 71
+àó_	 70
+àå	 70
+àëå	 70
+_íà_	 70
+àëi	 69
+iì	 68
+Ï	 68
+à.	 68
+îë	 68
+òâ	 68
+_àä	 68
+ûì_	 67
+àÿ_	 67
+ëàð	 67
+ööà	 67
+ñï	 67
+_"	 67
+îí	 67
+i,	 67
+à._	 67
+àðóñ	 67
+i,_	 67
+åëàðó	 66
+öi	 66
+óä	 66
+àðà	 66
+ëàðóñ	 66
+ëàðó	 66
+ïå	 66
+åëàð	 66
+_ø	 65
+àäç	 65
+êò	 65
+Í	 65
+_äà	 65
+òà_	 65
+Á	 64
+_Â	 64
+ðàä	 64
+íàã	 64
+_ñò	 64
+øû	 63
+íê	 63
+üí	 63
+óð	 62
+ëüí	 62
+_Ï	 62
+çi	 62
+óë	 62
+ëà_	 62
+ðý	 62
+iö	 62
+òàð	 62
+óê	 61
+û,	 61
+ñö	 61
+_Í	 61
+û,_	 61
+àõ	 61
+êàë	 60
+iñ	 60
+ð_	 60
+öà_	 60
+I	 59
+îâ	 59
+íàãà	 59
+_I	 59
+_Á	 59
+ûõ	 59
+Ê	 59
+_ïðà	 59
+äí	 59
+óñê	 59
+ië	 59
+íå_	 59
+ó.	 59
+_ñâ	 58
+ó._	 58
+ä_	 57
+êî	 57
+áå	 57
+ñi	 57
+çå_	 57
+êð	 57
+ýí	 56
+àâàí	 56
+àðû	 56
+ïi	 56
+åä	 56
+äçå_	 55
+_âû	 55
+íàãà_	 54
+áà	 54
+ööà_	 54
+öå	 53
+áî	 53
+Ìi	 53
+÷í	 53
+à÷	 53
+åê	 53
+iÿ	 53
+Ñ	 53
+íî	 53
+_Ìi	 52
+_ÿê	 52
+ÿð	 52
+òâà	 51
+íûÿ	 51
+ûñ	 51
+àï	 50
+à,_	 50
+ó,_	 50
+àëü	 50
+ïðû	 50
+_÷	 50
+à,	 50
+ó,	 50
+àíí	 50
+ûõ_	 50
+_Ñ	 50
+áû	 49
+êñ	 49
+iõ	 49
+åðà	 49
+ê_	 49
+þ_	 48
+ðóñê	 48
+_Ê	 48
+_ý	 47
+äû	 47
+êë	 47
+ãi	 47
+_.	 47
+àø	 47
+óò	 47
+íiê	 46
+âàð	 46
+àäà	 46
+_._	 46
+øò	 46
+ðû_	 46
+òý	 46
+_íå	 46
+çí	 45
+òû_	 45
+ûë	 45
+_-	 45
+_ñà	 45
+àì_	 45
+Ä	 45
+_ìà	 45
+iò	 44
+_ë	 44
+_ïðû	 44
+óñêà	 44
+ëiê	 44
+âà_	 44
+àçå	 43
+ýò	 43
+êàì	 43
+ÿë	 43
+_ãî	 43
+äî	 43
+í_	 43
+ÿò	 43
+iõ_	 42
+íûÿ_	 42
+ðò	 42
+ñòâ	 42
+íàé	 42
+êàâ	 42
+ãàçå	 42
+..	 42
+_ãàç	 42
+_ãàçå	 42
+ãàç	 42
+ïåð	 42
+íò	 41
+_áå	 41
+ñå	 41
+ðàâ	 41
+áð	 41
+àðî	 41
+ûö	 41
+íä	 41
+Áåë	 40
+åööà	 40
+äà_	 40
+û.	 40
+iíñê	 40
+ûi	 40
+_ðà	 40
+îëü	 40
+è	 40
+"_	 40
+(	 40
+_Ä	 40
+øà	 40
+òàê	 40
+Ó	 40
+ñÿ_	 40
+iíñ	 40
+_âà	 40
+_(	 40
+àíû	 40
+Áå	 40
+)	 40
+åöö	 40
+íÿ_	 39
+äçi	 39
+_Ó	 39
Index: /trunk/gsdl/perllib/textcat/Other/bosnian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/bosnian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/bosnian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 9464
+a	 2787
+i	 2108
+e	 2077
+o	 2018
+j	 1396
+n	 1328
+s	 1170
+u	 1010
+r	 988
+d	 957
+a_	 889
+e_	 833
+t	 774
+je	 771
+k	 756
+l	 743
+m	 702
+v	 685
+p	 604
+c	 538
+i_	 538
+_s	 522
+u_	 476
+z	 463
+_p	 450
+o_	 433
+,_	 381
+,	 381
+_i	 369
+_n	 358
+b	 349
+_d	 349
+.	 346
+na	 341
+je_	 337
+._	 321
+_j	 307
+g	 299
+ra	 292
+st	 283
+ko	 278
+_je	 274
+ij	 254
+_o	 245
+ni	 240
+_k	 236
+an	 228
+oj	 227
+da	 226
+_u	 222
+pr	 221
+no	 219
+ma	 219
+la	 211
+ri	 206
+_je_	 203
+po	 203
+ci	 196
+_pr	 191
+os	 190
+od	 187
+ka	 186
+im	 185
+ti	 184
+li	 182
+vo	 178
+_po	 174
+ja	 171
+_i_	 169
+ov	 169
+al	 168
+re	 167
+ne	 167
+m_	 164
+ta	 160
+na_	 158
+ed	 157
+_m	 157
+_na	 157
+se	 156
+_u_	 154
+en	 153
+ic	 151
+sa	 151
+_b	 149
+ak	 141
+va	 140
+ad	 137
+h	 136
+ju	 135
+su	 134
+dj	 133
+ije	 133
+ar	 127
+ca	 127
+_z	 126
+nj	 125
+ji	 124
+da_	 124
+_ko	 123
+_da	 122
+il	 121
+"	 120
+av	 120
+_t	 118
+aj	 116
+ob	 115
+ro	 114
+am	 114
+vi	 114
+_su	 113
+om	 112
+dje	 112
+za	 112
+at	 111
+le	 111
+di	 110
+su_	 107
+iz	 107
+ve	 107
+lj	 106
+_se	 105
+ev	 105
+is	 105
+es	 103
+se_	 103
+do	 101
+ih	 100
+a,	 99
+_su_	 99
+a,_	 99
+on	 98
+bi	 98
+in	 97
+voj	 97
+az	 96
+ac	 95
+_da_	 95
+la_	 95
+_r	 93
+_g	 93
+jev	 92
+ma_	 92
+er	 92
+or	 91
+h_	 90
+_sa	 90
+e,	 90
+e,_	 90
+ba	 90
+ima	 89
+a.	 88
+ol	 88
+_do	 87
+dn	 87
+it	 87
+ko_	 86
+ne_	 86
+ost	 85
+ek	 85
+to	 85
+d_	 84
+as	 84
+ju_	 84
+ao	 84
+ih_	 84
+a._	 84
+te	 83
+evo	 83
+koj	 83
+pri	 82
+jevo	 82
+ce	 81
+_se_	 81
+og	 80
+go	 80
+jevoj	 79
+de	 79
+uc	 79
+evoj	 79
+_od	 78
+_za	 78
+tr	 78
+S	 77
+_koj	 76
+ke	 75
+_v	 75
+ao_	 75
+_dje	 74
+_bi	 74
+sta	 74
+_dj	 74
+cij	 74
+ik	 74
+djev	 73
+sl	 73
+_djev	 72
+ga	 72
+djevo	 72
+_ka	 71
+rij	 71
+_iz	 71
+P	 71
+_pri	 70
+_a	 69
+us	 68
+_S	 68
+mo	 67
+el	 67
+sk	 66
+me	 66
+zi	 66
+ija	 65
+n_	 65
+ku	 64
+im_	 63
+_st	 63
+ica	 63
+_na_	 62
+_ne	 62
+em	 61
+edn	 61
+jk	 61
+io	 61
+li_	 60
+ojk	 60
+evojk	 60
+_"	 60
+zn	 60
+vojk	 60
+pro	 59
+lo	 59
+ije_	 59
+jed	 58
+ke_	 58
+om_	 58
+jen	 58
+sti	 57
+_im	 57
+le_	 57
+_ra	 56
+e.	 56
+ze	 55
+_pro	 55
+nu	 55
+nje	 55
+ti_	 55
+ec	 55
+pre	 55
+oc	 54
+aci	 54
+no_	 54
+et	 54
+oji	 53
+si	 53
+ara	 53
+ama	 53
+z_	 53
+pos	 52
+rad	 52
+ran	 52
+ima_	 52
+ru	 52
+_P	 52
+tu	 52
+mu	 51
+e._	 51
+ja_	 50
+_pre	 50
+sa_	 49
+io_	 49
+od_	 48
+ni_	 48
+_nj	 48
+j_	 48
+_pos	 47
+_c	 47
+ila	 47
+K	 46
+_sa_	 46
+uz	 46
+N	 46
+_ni	 45
+zna	 45
+U	 45
+za_	 45
+_no	 45
+ako	 45
+u,	 44
+lu	 44
+ali	 44
+u,_	 44
+sto	 44
+ste	 44
+ve_	 44
+ani	 44
+oli	 44
+aka	 44
+_jed	 43
+i,_	 43
+ji_	 43
+uci	 43
+i,	 43
+ci_	 43
+osti	 43
+_N	 42
+dr	 42
+so	 42
+ust	 41
+ila_	 41
+B	 41
+-	 41
+red	 41
+jke	 41
+sv	 41
+_go	 41
+bar	 41
+g_	 41
+est	 40
+D	 40
+iv	 40
+vojke	 40
+aju	 40
+ta_	 40
+A	 40
+lje	 40
+jedn	 40
+bil	 40
+ojke	 40
+ova	 40
+ati	 39
+_mu	 39
+pa	 39
+M	 39
+_ba	 39
+ca_	 39
+O	 39
+ka_	 39
+_a_	 38
+_B	 38
+_ima	 38
+sn	 38
+nu_	 38
+T	 38
+to_	 38
+eg	 38
+ava	 38
+ros	 37
+ir	 37
+ala	 37
+og_	 37
+osl	 37
+ovi	 37
+koji	 37
+_sv	 37
+dv	 36
+ric	 36
+_za_	 36
+br	 36
+_on	 36
+odi	 36
+_koji	 36
+_jedn	 35
+nik	 35
+dno	 35
+_D	 35
+jo	 35
+tra	 35
+_M	 35
+sp	 35
+iz_	 35
+oz	 35
+vr	 35
+u.	 35
+eri	 35
+I	 35
+eko	 35
+ale	 35
+_ma	 34
+lik	 34
+_bil	 34
+c_	 34
+ut	 34
+je,_	 34
+u._	 34
+str	 34
+je,	 34
+adi	 34
+tit	 34
+_iz_	 34
+iti	 34
+i.	 33
+_rad	 33
+ici	 33
+rost	 33
+aju_	 33
+va_	 33
+_ob	 33
+nog	 33
Index: /trunk/gsdl/perllib/textcat/Other/breton.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/breton.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/breton.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 21447
+e	 6375
+a	 5414
+n	 3228
+r	 3039
+o	 2968
+t	 2392
+i	 1812
+h	 1751
+u	 1650
+l	 1630
+d	 1506
+a_	 1352
+z	 1319
+t_	 1310
+_e	 1168
+_a	 1168
+e_	 1133
+m	 1105
+s	 1100
+g	 1090
+r_	 998
+k	 997
+n_	 958
+et	 941
+v	 888
+_d	 868
+an	 859
+.	 846
+'	 841
+en	 836
+b	 757
+,	 749
+,_	 743
+._	 716
+ar	 703
+ou	 700
+et_	 689
+c	 686
+ez	 572
+'h	 572
+_g	 565
+er	 555
+p	 553
+_k	 535
+c'h	 530
+c'	 530
+nt	 513
+_h	 505
+re	 505
+ra	 478
+ha	 466
+ñ	 458
+ne	 456
+oa	 454
+_o	 442
+_b	 434
+-	 432
+zh	 422
+ar_	 415
+_m	 414
+_e_	 414
+nn	 384
+el	 376
+_a_	 356
+ur	 350
+o_	 346
+h_	 345
+ve	 340
+nt_	 340
+w	 339
+ke	 338
+de	 333
+añ	 332
+_p	 332
+s_	 327
+he	 325
+on	 318
+le	 318
+ga	 316
+ma	 315
+_ar	 312
+eu	 312
+_n	 310
+an_	 298
+ant	 296
+enn	 285
+z_	 282
+_ar_	 281
+be	 280
+_v	 276
+_r	 272
+al	 270
+en_	 268
+_ke	 267
+l_	 264
+em	 264
+_c	 263
+ñ_	 262
+da	 262
+_s	 261
+ho	 260
+di	 259
+_ha	 252
+ll	 250
+tr	 248
+oa_	 247
+me	 246
+us	 242
+_ga	 234
+la	 231
+ket	 227
+ant_	 219
+_da	 219
+_l	 216
+ur_	 216
+_oa	 215
+in	 214
+ket_	 211
+gan	 211
+_c'	 207
+_u	 207
+_c'h	 207
+ad	 207
+añ_	 207
+ao	 204
+_ma	 204
+_t	 204
+_ket	 201
+_an	 199
+_di	 197
+ezh	 196
+ù	 196
+où	 196
+_de	 195
+ev	 193
+?	 192
+st	 192
+ro	 192
+P	 192
+_ket_	 188
+er_	 188
+f	 186
+na	 186
+ue	 185
+da_	 184
+?_	 184
+_gan	 184
+_da_	 184
+_ne	 183
+ed	 182
+_P	 180
+g_	 180
+pe	 179
+m_	 178
+A	 177
+ri	 176
+us_	 175
+ta	 174
+ze	 174
+gant	 174
+ka	 174
+i_	 172
+d_	 171
+G	 167
+te	 167
+ae	 166
+zh_	 164
+ha_	 163
+_ha_	 163
+_he	 161
+_gant	 159
+do	 159
+oue	 159
+_G	 158
+eus	 158
+eo	 158
+'h_	 157
+_en	 157
+go	 157
+am	 157
+c'h_	 157
+_be	 156
+we	 156
+iz	 154
+_an_	 151
+_A	 150
+eus_	 147
+sk	 147
+li	 146
+as	 146
+_pe	 146
+j	 146
+_oa_	 146
+av	 144
+gant_	 143
+ut	 142
+no	 141
+vez	 140
+va	 140
+_ra	 140
+ge	 138
+ez_	 138
+bo	 137
+ 	 137
+_ur	 136
+lo	 134
+he_	 134
+où_	 133
+ù_	 133
+_ur_	 132
+es	 130
+'ho	 129
+ni	 129
+uz	 129
+tra	 127
+se	 126
+it	 125
+ra_	 125
+out	 125
+is	 125
+at	 125
+hi	 125
+eg	 125
+ig	 124
+ko	 124
+io	 123
+k_	 123
+ch	 123
+_w	 121
+or	 121
+Pe	 121
+_ma_	 119
+ma_	 119
+gw	 118
+_em	 118
+_Pe	 118
+un	 118
+eme	 117
+ne_	 117
+nn_	 117
+c'ho	 117
+ol	 116
+ag	 116
+M	 115
+'ha	 115
+_en_	 115
+iv	 115
+vi	 113
+_ka	 113
+K	 113
+ud	 112
+_he_	 111
+ont	 110
+oc	 110
+vo	 110
+ec	 109
+wa	 109
+..	 107
+_M	 107
+_z	 107
+br	 107
+om	 106
+to	 105
+_f	 105
+N	 105
+_c'ho	 104
+ti	 104
+ut_	 104
+D	 104
+_o_	 103
+_la	 103
+_go	 101
+az	 101
+out_	 101
+ba	 101
+enn_	 101
+c'ha	 101
+our	 100
+oc'h	 100
+ell	 100
+oc'	 100
+etr	 99
+el_	 99
+_K	 99
+_D	 99
+:	 99
+:_	 99
+eve	 98
+_d'	 97
+all	 97
+d'	 97
+E	 97
+_ne_	 97
+_me	 95
+eo_	 95
+ak	 95
+bet	 95
+_eu	 95
+rc	 94
+_do	 94
+_gw	 94
+zi	 93
+oz	 93
+aou	 93
+etra	 92
+pa	 91
+ab	 90
+on_	 90
+ei	 90
+tra_	 90
+n,	 89
+zo	 89
+ag_	 89
+_ev	 88
+ul	 88
+'e	 88
+n'	 88
+n,_	 88
+ouz	 87
+v_	 86
+_n'	 86
+_eus	 84
+H	 83
+za	 83
+S	 83
+etra_	 83
+_eo	 82
+t,_	 82
+t,	 82
+il	 81
+ent	 81
+fe	 81
+rc'h	 81
+rc'	 81
+_eus_	 80
+ie	 80
+_bo	 79
+ele	 79
+_ve	 79
+mp	 79
+_bet	 78
+B	 78
+it_	 77
+_vo	 77
+'a	 77
+n.	 76
+_S	 76
+hag	 76
+hoa	 75
+_hag	 75
+len	 75
+_N	 75
+'hoa	 74
+_E	 74
+ir	 74
+hag_	 74
+_hag_	 74
+mañ	 74
+as_	 73
+eze	 73
+ont_	 73
+_.	 73
+iñ	 73
+r,	 72
+pr	 72
+ed_	 72
+n._	 72
+re_	 72
+in_	 72
+r,_	 72
+_H	 71
+'he	 70
+t.	 70
+gou	 70
+em_	 70
+_br	 70
+rae	 70
+rez	 69
+t._	 69
+bet_	 69
+net	 69
+dr	 68
+_eo_	 68
+ll_	 68
+mo	 67
+po	 67
+oul	 67
+rou	 67
+c'hoa	 67
+a-	 67
+vel	 67
+oc'h_	 67
+nna	 66
+_B	 66
+met	 65
+ec'	 65
+ec'h	 65
+R	 64
+den	 64
Index: /trunk/gsdl/perllib/textcat/Other/bulgarian-iso8859_5.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/bulgarian-iso8859_5.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/bulgarian-iso8859_5.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 11056
+Ð	 3428
+Ø	 3007
+Õ	 2501
+Þ	 2490
+Ý	 2179
+â	 2166
+à	 1596
+á	 1492
+Ò	 1159
+Ð_	 1144
+Ú	 1093
+Û	 918
+Ô	 803
+Ø_	 803
+ÝÐ	 724
+ß	 720
+×	 702
+Õ_	 642
+Ü	 613
+_Ý	 577
+_á	 569
+Þ_	 556
+.	 537
+ÝØ	 534
+âÕ	 473
+._	 467
+ï	 462
+áâ	 455
+_ß	 452
+_ÝÐ	 446
+,_	 440
+,	 440
+Ó	 439
+Ñ	 432
+ÝÐ_	 422
+ê	 405
+ã	 382
+âÞ	 376
+ÕÝ	 360
+àÐ	 360
+ç	 355
+_Ø	 353
+Ðâ	 334
+âÐ	 330
+â_	 324
+Øâ	 322
+_ÝÐ_	 316
+ÐÝ	 310
+àÕ	 308
+àØ	 305
+ÒÐ	 303
+ÝÞ	 301
+Þâ	 281
+_Ò	 278
+_Þ	 275
+ØâÕ	 262
+ÚÞ	 262
+ßà	 262
+_Ú	 250
+âÞ_	 248
+ÚÐ	 242
+àÞ	 236
+ßÞ	 235
+Ðà	 230
+_Ô	 226
+ÝÕ	 222
+Þá	 216
+æ	 214
+Øï	 210
+âÕ_	 203
+âØ	 198
+_Ø_	 196
+Õâ	 196
+_ßà	 195
+áÚ	 189
+ÕÔ	 189
+ØâÕ_	 189
+Ò_	 186
+ÐÒ	 185
+ÔÐ	 185
+_Õ	 184
+×Ø	 178
+ÞÒ	 177
+ä	 175
+ÛØ	 175
+âÐ_	 172
+ØÚ	 171
+ÐÚ	 170
+_à	 169
+_ßÞ	 169
+_Ñ	 165
+ï_	 163
+×Ð	 162
+Ö	 161
+Õà	 160
+ÝØ_	 159
+ÛÕ	 156
+áÕ	 156
+ÒÕ	 155
+ÕÛ	 154
+_Ò_	 152
+_×	 152
+Ø×	 151
+ÚØ	 151
+_Ü	 150
+ÛÐ	 149
+é	 148
+_Þâ	 146
+ØÝ	 145
+æØ	 143
+ÜØ	 141
+_â	 138
+Ð×	 137
+ÓÐ	 135
+Þà	 134
+Õ×	 133
+_×Ð	 133
+ÞÔ	 131
+ÞÑ	 129
+Ù	 128
+ÐÛ	 127
+_Ó	 126
+ÐâÐ	 124
+Þáâ	 123
+ÔØ	 123
+Øï_	 123
+Øá	 122
+Õá	 121
+_áÕ	 120
+ÕÝØ	 119
+ÞÛ	 118
+ÒØ	 116
+ÒÐ_	 115
+âÝ	 113
+ÝÞ_	 112
+¿	 112
+-	 111
+Þâ_	 111
+ÜÕ	 110
+ÐâÐ_	 109
+Ýâ	 108
+_Þâ_	 108
+Úâ	 108
+ÐÝØ	 107
+ÔÕ	 107
+ÒÞ	 107
+_ÚÞ	 106
+áÕ_	 105
+çÕ	 103
+_¿	 103
+_áÕ_	 101
+Øà	 101
+âÒ	 100
+_ÔÐ	 99
+"	 99
+ØÕ	 99
+ØÜ	 99
+ÜÐ	 98
+áÚØ	 97
+ÕâÞ	 97
+ÐÝÕ	 97
+_Õ_	 97
+ßàÞ	 96
+ÐÚâ	 96
+è	 93
+ÔÐ_	 93
+ÓÞ	 92
+áØ	 92
+ÐàØ	 92
+ÔÞ	 92
+áÛ	 91
+Øæ	 90
+ÛÝ	 90
+Øç	 89
+Õ×Ø	 89
+×Ð_	 89
+ÞÓ	 88
+ÕâÞ_	 88
+_ã	 88
+ÐÜ	 88
+Ø,	 87
+âÕà	 87
+Ðá	 87
+Ø,_	 87
+_ÔÐ_	 85
+_×Ð_	 83
+êÛ	 83
+áâÒ	 83
+Ðâ_	 83
+å	 82
+ØÛ	 81
+Ú_	 81
+_Ø×	 81
+_Ð	 80
+ßàÕ	 80
+ÝØâ	 79
+ÞÝ	 78
+ïâ	 78
+ÝØâÕ	 78
+âà	 78
+Á	 77
+ÕàØ	 77
+ÝÕ_	 77
+ÑØ	 77
+ÚØ_	 76
+_ÝÕ	 76
+ÓÐà	 75
+Øáâ	 75
+ÛÓ	 75
+ØÒ	 75
+ÝÞá	 74
+ÛÞ	 73
+_àÕ	 73
+ÜÞ	 73
+á_	 73
+àÕÔ	 73
+_ßàÞ	 72
+ÑÐ	 72
+ãç	 72
+ÛÓÐà	 72
+ÛÓÐ	 72
+êÛÓ	 71
+Ðä	 71
+Ð,_	 71
+êÛÓÐà	 71
+ÝØâÕ_	 71
+ÒÐÝ	 71
+êÛÓÐ	 71
+Ý_	 71
+Ð,	 71
+êà	 70
+áê	 70
+àÕ×	 70
+ÐÔ	 70
+àÐÝ	 70
+ÕÚ	 70
+_àÐ	 70
+Û_	 69
+çÝ	 68
+ØàÐ	 68
+Óà	 67
+Ýá	 67
+ØæØ	 66
+ÝØï	 66
+ÝÞáâ	 66
+Ü_	 66
+áÐ	 66
+ÕÜ	 65
+àÐ×	 65
+ÚÐâ	 64
+ÞâÞ	 64
+Ñê	 64
+ÝØÕ	 64
+_ç	 64
+âÕàØ	 63
+ÐÒÐ	 63
+_ÚÐ	 63
+_Á	 62
+_±	 62
+ÚÐ_	 62
+±	 62
+ØÚ_	 62
+_.	 62
+çÐ	 61
+ÞÙ	 61
+Òê	 61
+çØ	 61
+ÞÜ	 61
+_áê	 61
+Õáâ	 60
+ÕÝâ	 60
+(	 60
+)	 60
+áâÕ	 59
+ßÕ	 59
+Þß	 59
+âÝÞ	 59
+äÐ	 59
+Ø.	 58
+À	 58
+áâÐ	 58
+_(	 58
+_ßàÕ	 58
+ÔÝ	 58
+àá	 58
+_Û	 57
+ÞâÞ_	 57
+ÓàÐ	 57
+ßàØ	 57
+ØÝÐ	 56
+Ø._	 56
+Úê	 56
+ÝÐâ	 56
+âÕÝ	 56
+_àÐ×	 55
+×Ò	 55
+áâØ	 55
+ÚâÕ	 55
+_á_	 55
+áà	 55
+_,_	 55
+_ÔÞ	 55
+ÑêÛÓÐ	 55
+ÑêÛ	 55
+ÑêÛÓ	 55
+_,	 55
+ØÕ_	 54
+ÐÚâÕà	 54
+È	 54
+ÐÚâÕ	 54
+_-	 54
+ÚâÕà	 54
+-_	 53
+áÚÐ	 53
+ãá	 53
+áâ_	 53
+ÚâÕàØ	 53
+áâÞ	 53
+_áà	 53
+ÕÒ	 53
+_Ñê	 52
+âÕÛ	 52
+ÛÝØ	 52
+_-_	 52
+ØÞ	 51
+_È	 51
+Ðß	 51
+Þ×	 51
+Ô_	 50
+_À	 50
+äÐà	 50
+ÒÐâ	 50
+ØØ	 50
+ž	 50
+_ßàØ	 50
+_áÛ	 50
+_"	 50
+ÞÚ	 49
+_ÑÐ	 49
+áß	 49
+áâÕÝ	 49
+ØÐ	 48
+ÛÕÔ	 48
+áÚØ_	 48
+àØÚ	 48
+ÑÐÚâÕ	 48
+_áÐ	 48
+ÈÐ	 48
+_._	 48
+ÑÐÚ	 48
+àã	 48
+ÑÐÚâ	 48
+Òï	 48
+ØáâÕ	 48
+ÛÐÒ	 47
+Úà	 47
+œ	 47
+äÐàØÚ	 47
+_ÈÐ	 47
+äÐàØ	 47
+ÐäÐ	 47
+ÐäÐàØ	 47
+Ðàá	 47
+ÐäÐà	 47
+ÐàØÚ	 47
+ÈÐä	 47
+àáÚ	 47
+âÝØ	 46
+ÈÐäÐ	 46
+_ÈÐä	 46
+ÐÝÕ_	 46
+ÞÒÕ	 46
+ÈÐäÐà	 46
+_ÈÐäÐ	 45
+ÐâÞ	 45
+Øïâ	 45
+ÞØ	 45
+ïÝ	 45
+ÕÝØÕ	 45
+_áâ	 45
+éÐ	 45
+ÕÝ_	 45
+ÑÞ	 45
+×Øá	 45
+×ØÚ	 45
+âÕÝâ	 44
+ØáâÕÝ	 44
+_ÑêÛ	 44
+áâÕÝâ	 44
+_ÑêÛÓ	 44
+ÚÞ_	 44
+ÝØï_	 44
+ÝáÚ	 44
+àØ_	 44
+ÝÐâÐ	 44
+Â	 43
+×Øáâ	 43
+Ðáâ	 43
+×ØáâÕ	 43
Index: /trunk/gsdl/perllib/textcat/Other/catalan.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/catalan.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/catalan.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 16604
+e	 5091
+a	 4937
+s	 3120
+r	 3037
+i	 2987
+l	 2747
+n	 2641
+t	 2466
+o	 2274
+d	 1775
+c	 1740
+u	 1515
+a_	 1460
+s_	 1416
+_d	 1116
+e_	 1067
+p	 1014
+m	 995
+es	 985
+de	 972
+_de	 842
+en	 700
+_l	 691
+re	 652
+_e	 637
+de_	 611
+el	 602
+_de_	 601
+_a	 600
+,	 599
+,_	 599
+er	 598
+la	 584
+ar	 583
+_p	 550
+l_	 547
+ci	 522
+n_	 518
+es_	 515
+an	 515
+ra	 499
+nt	 495
+ta	 495
+b	 476
+_c	 452
+al	 450
+v	 440
+g	 428
+.	 420
+on	 420
+or	 404
+t_	 402
+at	 396
+._	 377
+r_	 372
+i_	 371
+la_	 368
+_i	 364
+_la	 351
+_la_	 325
+f	 325
+le	 322
+te	 312
+'	 311
+_s	 308
+st	 308
+se	 305
+ó	 302
+ue	 302
+na	 301
+os	 301
+qu	 300
+q	 300
+el_	 299
+it	 292
+co	 290
+ri	 277
+ca	 277
+ti	 273
+ac	 272
+in	 268
+ll	 264
+ic	 264
+me	 259
+un	 257
+que	 248
+C	 248
+tr	 244
+ns	 242
+ió	 238
+_i_	 236
+ad	 233
+ent	 232
+_el	 227
+ne	 226
+_t	 223
+_co	 221
+_m	 221
+_C	 217
+en_	 217
+li	 217
+ia	 212
+à	 212
+pe	 207
+_a_	 207
+pr	 206
+ció	 203
+ó_	 203
+pa	 203
+ro	 202
+o_	 198
+E	 198
+di	 197
+io	 197
+ls	 196
+h	 192
+_q	 192
+_qu	 192
+_en	 187
+aci	 186
+am	 186
+ec	 183
+to	 183
+as	 180
+om	 180
+ni	 180
+da	 179
+ió_	 179
+si	 178
+ls_	 176
+L	 175
+ma	 172
+res	 172
+ur	 171
+_el_	 162
+rt	 162
+ue_	 160
+A	 160
+os_	 159
+_que	 159
+que_	 158
+_r	 158
+po	 157
+_es	 155
+er_	 155
+_que_	 155
+M	 155
+_se	 153
+va	 153
+del	 153
+ció_	 151
+_pr	 151
+is	 150
+_en_	 149
+P	 147
+_pe	 146
+_del	 145
+ts	 145
+lo	 145
+_M	 144
+ct	 144
+_u	 144
+ol	 143
+ve	 141
+_L	 140
+x	 140
+y	 140
+a,_	 139
+a,	 139
+nc	 138
+men	 137
+al_	 137
+_f	 137
+_re	 137
+_P	 136
+ació	 136
+les	 136
+rs	 134
+est	 133
+tu	 131
+_E	 130
+et	 130
+s,_	 129
+_un	 129
+na_	 129
+_v	 129
+s,	 129
+ion	 127
+per	 126
+so	 125
+em	 125
+at_	 124
+no	 124
+j	 124
+br	 123
+nt_	 122
+ar_	 122
+sa	 121
+_n	 119
+les_	 118
+é	 118
+ce	 117
+il	 117
+ell	 116
+_per	 114
+í	 114
+ob	 113
+re_	 113
+ir	 113
+_A	 112
+ons	 112
+do	 112
+ua	 112
+con	 112
+ment	 111
+gu	 111
+ts_	 110
+ss	 110
+ns_	 109
+ant	 109
+ra_	 109
+Co	 109
+par	 108
+l'	 107
+d'	 107
+_l'	 107
+els	 107
+tat	 107
+sc	 106
+_d'	 106
+an_	 105
+_Co	 105
+vi	 104
+els_	 104
+ica	 104
+ran	 103
+ul	 102
+iv	 102
+S	 102
+_del_	 102
+del_	 102
+mb	 101
+mi	 101
+ita	 101
+nta	 100
+_pa	 99
+_o	 99
+_con	 98
+ació_	 97
+rn	 96
+_in	 96
+ia_	 96
+z	 96
+im	 95
+rr	 95
+art	 94
+ta_	 93
+com	 93
+tre	 92
+_h	 92
+s.	 91
+mp	 90
+ie	 90
+J	 90
+s._	 89
+cio	 89
+_le	 89
+bre	 88
+_ca	 88
+_al	 88
+sta	 88
+_com	 88
+cu	 88
+à_	 87
+pre	 87
+fe	 86
+ba	 86
+tra	 86
+ge	 85
+pro	 85
+_les	 84
+des	 84
+ter	 84
+_po	 84
+_les_	 84
+T	 84
+_J	 84
+nd	 84
+cion	 84
+_S	 84
+ura	 83
+nci	 82
+va_	 81
+ha	 81
+ona	 81
+ent_	 80
+ues	 80
+oc	 80
+ea	 80
+nte	 80
+és	 80
+_di	 79
+ui	 79
+as_	 78
+ut	 78
+ici	 78
+res_	 78
+us	 77
+ot	 77
+ara	 77
+ip	 75
+rm	 75
+ab	 75
+eg	 75
+_per_	 75
+ng	 75
+'a	 75
+I	 75
+per_	 75
+rec	 74
+du	 74
+_tr	 74
+è	 73
+cia	 73
+_no	 73
+b_	 73
+_par	 72
+ep	 72
+id	 72
+lle	 71
+rc	 71
+_pro	 70
+D	 69
+G	 69
+ga	 69
+fo	 69
+una	 68
+El	 68
+lit	 68
+un_	 68
+ques	 68
+amb	 67
+ix	 67
+és_	 67
+_G	 67
+era	 67
+cr	 67
+)	 66
+da_	 66
+-	 66
+sp	 66
+y_	 66
+ada	 66
+tor	 66
+(	 66
+_(	 66
+_T	 65
+ment_	 65
+B	 65
+_es_	 65
+Ma	 65
+V	 65
+uc	 65
+ect	 65
+ame	 64
+iu	 64
+_Ma	 64
+orn	 64
+_B	 64
+_D	 64
+Ca	 64
+sti	 64
+_g	 63
+esc	 63
+rd	 63
+una_	 63
+là	 62
+"	 62
+ed	 62
+amen	 61
+mo	 61
+ions	 61
+_El	 61
+_Ca	 61
+Jo	 61
+eu	 61
+ari	 61
+lt	 61
+F	 61
+u_	 61
+ament	 60
+_V	 60
+m_	 60
+fi	 60
+au	 60
+ev	 60
+La	 60
+itat	 59
+_ha	 59
Index: /trunk/gsdl/perllib/textcat/Other/croatian-ascii.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/croatian-ascii.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/croatian-ascii.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 36598
+a	 9456
+o	 9050
+i	 8526
+e	 7955
+n	 5513
+j	 5379
+s	 4971
+t	 4125
+r	 3889
+u	 3423
+je	 3281
+l	 3231
+e_	 3177
+d	 3128
+k	 2992
+v	 2891
+a_	 2835
+o_	 2679
+m	 2645
+p	 2316
+_s	 2212
+i_	 2205
+y	 2174
+c	 1894
+z	 1867
+je_	 1613
+_n	 1593
+g	 1581
+_p	 1490
+b	 1386
+u_	 1382
+,	 1208
+,_	 1208
+st	 1203
+_j	 1202
+na	 1159
+_je	 1118
+_d	 1105
+_i	 1104
+.	 1069
+._	 1058
+ra	 1017
+ko	 981
+ni	 980
+_je_	 918
+ij	 914
+ti	 911
+no	 891
+da	 884
+to	 879
+_k	 863
+_o	 856
+cy	 839
+li	 838
+ne	 790
+sy	 786
+-	 785
+pr	 760
+_u	 748
+po	 734
+ta	 711
+_b	 705
+_t	 704
+la	 699
+ja	 699
+an	 691
+m_	 680
+ov	 674
+ije	 673
+_z	 669
+ka	 662
+ri	 652
+lo	 651
+vo	 643
+re	 641
+is	 626
+in	 623
+se	 623
+va	 622
+_m	 617
+oj	 614
+_po	 594
+_pr	 592
+bi	 588
+en	 582
+il	 578
+os	 576
+vi	 572
+nj	 569
+ak	 564
+_na	 558
+im	 558
+da_	 553
+od	 550
+ao	 550
+al	 549
+om	 545
+na_	 533
+_se	 524
+_i_	 523
+h	 517
+_g	 511
+ma	 508
+at	 502
+cj	 501
+og	 497
+--	 493
+ro	 493
+on	 485
+av	 480
+_da	 474
+_ne	 474
+ed	 472
+zy	 471
+se_	 466
+_se_	 458
+_bi	 457
+ao_	 452
+ad	 452
+lj	 445
+es	 444
+ji	 441
+_v	 433
+_c	 430
+za	 421
+go	 418
+_r	 413
+_u_	 411
+yi	 410
+ek	 406
+di	 403
+sa	 396
+et	 393
+ic	 391
+io	 390
+_da_	 389
+to_	 389
+as	 386
+_ko	 383
+ye	 378
+ar	 378
+mo	 373
+le	 367
+or	 364
+ju	 363
+el	 354
+tr	 354
+io_	 352
+ve	 345
+lo_	 344
+su	 344
+ol	 344
+am	 344
+iz	 343
+li_	 338
+ti_	 336
+sto	 323
+n_	 321
+it	 319
+_za	 319
+sta	 317
+_ni	 316
+te	 312
+nu	 312
+a,	 309
+a,_	 309
+ya	 309
+do	 304
+om_	 303
+la_	 300
+no_	 299
+_na_	 299
+d_	 297
+ko_	 296
+aj	 294
+ik	 292
+ru	 291
+ga	 291
+em	 288
+nje	 283
+dj	 281
+ne_	 281
+k_	 277
+_st	 276
+koj	 276
+ec	 274
+_ka	 272
+_su	 270
+ob	 265
+-_	 263
+az	 261
+sv	 260
+_koj	 260
+im_	 260
+ije_	 259
+pa	 258
+ot	 257
+yt	 256
+ok	 255
+su_	 255
+ih	 254
+me	 253
+dn	 253
+_cy	 253
+iv	 251
+syt	 248
+g_	 247
+--_	 246
+_-	 246
+kr	 246
+---	 246
+a.	 245
+e,_	 245
+---_	 245
+e,	 245
+er	 245
+a._	 244
+_iz	 244
+mi	 243
+_---_	 242
+cyi	 242
+_--	 242
+_---	 242
+jed	 240
+h_	 239
+_a	 239
+_sa	 237
+j_	 236
+_l	 231
+_sv	 229
+_to	 229
+sk	 228
+ih_	 224
+ja_	 223
+pro	 223
+yn	 222
+t_	 222
+ost	 221
+_do	 221
+oc	 219
+gl	 218
+_su_	 216
+og_	 216
+uc	 214
+s_	 214
+bil	 213
+oz	 213
+ki	 212
+ni_	 212
+nij	 209
+ako	 208
+eg	 208
+ut	 205
+pre	 205
+ci	 204
+ji_	 203
+_od	 203
+ilo	 202
+ati	 202
+ac	 201
+ns	 200
+_mo	 197
+rij	 196
+bo	 195
+ovo	 195
+ku	 195
+dje	 194
+ma_	 192
+_bil	 191
+cje	 186
+sti	 186
+_go	 186
+de	 185
+sl	 183
+_pro	 182
+ju_	 182
+nije	 181
+tv	 180
+lje	 179
+isy	 179
+pri	 178
+_pre	 177
+dr	 177
+e._	 177
+e.	 177
+op	 176
+ima	 176
+anj	 175
+jen	 175
+us	 172
+ilo_	 172
+_ra	 170
+S	 167
+ecj	 166
+iti	 166
+sp	 163
+_S	 161
+vr	 161
+i.	 161
+i._	 161
+zn	 161
+ali	 161
+i,_	 160
+i,	 160
+ap	 157
+nije_	 157
+nst	 156
+pi	 156
+ga_	 156
+_sy	 155
+_nj	 155
+jes	 155
+ran	 155
+vo_	 155
+yto	 154
+ev	 153
+_to_	 152
+_pri	 151
+est	 150
+N	 150
+ins	 150
+ist	 149
+ir	 149
+o,	 148
+vj	 148
+vje	 148
+o,_	 148
+B	 148
+zi	 147
+jec	 147
+gov	 147
+yto_	 147
+syto	 146
+ton	 146
+od_	 145
+O	 144
+rije	 144
+lik	 143
+on_	 142
+ocy	 142
+W	 142
+ba	 142
+_W	 141
+kao	 141
+Wi	 141
+_N	 141
+inst	 141
+_nij	 141
+_nije	 140
+_Wi	 140
+syto_	 140
+lic	 139
+P	 139
+ovi	 138
+_tr	 138
+rs	 137
+ez	 137
+edn	 136
+_P	 136
+si	 136
+ili	 136
+du	 136
+Winst	 135
+cye	 135
+nston	 135
+ston	 135
+ud	 135
+kao_	 135
+Wins	 135
+insto	 135
+oji	 135
+nsto	 135
+Win	 135
+raz	 135
+zye	 135
+_Win	 134
+ova	 134
+_Wins	 134
+_on	 133
+ako_	 133
+odi	 133
+cya	 133
+ila	 133
+icy	 133
+oj_	 133
+ke	 133
+va_	 132
+ija	 132
+_is	 132
+jel	 132
+oje	 130
+pu	 130
+cje_	 130
+bi_	 129
+rat	 128
+ce	 128
+tu	 128
+mu	 128
+ve_	 127
Index: /trunk/gsdl/perllib/textcat/Other/czech-iso8859_2.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/czech-iso8859_2.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/czech-iso8859_2.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 26378
+o	 5870
+e	 5354
+a	 4740
+n	 4462
+t	 3745
+s	 3438
+i	 3187
+v	 3118
+l	 2891
+r	 2754
+k	 2566
+d	 2508
+m	 2198
+u	 2197
+p	 2032
+í	 1924
+c	 1678
+h	 1572
+z	 1544
+á	 1522
+_p	 1299
+e_	 1266
+y	 1231
+a_	 1219
+j	 1219
+_s	 1156
+b	 1079
+o_	 1065
+ì	 1043
+_v	 1038
+,	 952
+,_	 946
+st	 945
+_n	 911
+é	 878
+.	 870
+í_	 848
+ø	 822
+._	 803
+ní	 782
+ov	 757
+_z	 723
+i_	 716
+u_	 684
+ro	 674
+en	 656
+ý	 647
+Ÿ	 639
+po	 630
+ch	 629
+è	 625
+na	 599
+_a	 598
+sk	 592
+¹	 563
+ho	 552
+_d	 551
+ra	 545
+m_	 539
+y_	 530
+_t	 512
+ko	 504
+_k	 503
+le	 502
+_j	 501
+_o	 486
+to	 479
+pr	 471
+ne	 468
+ní_	 462
+je	 458
+é_	 456
+ti	 455
+od	 433
+li	 432
+va	 432
+_po	 429
+_m	 428
+al	 424
+te	 424
+ou	 423
+ed	 418
+se	 415
+la	 410
+no	 397
+os	 382
+lo	 377
+an	 376
+_pr	 375
+ù	 375
+v_	 372
+øe	 370
+_a_	 364
+em	 363
+at	 360
+ta	 359
+do	 357
+t_	 357
+_b	 355
+or	 349
+h_	 345
+_v_	 338
+ch_	 327
+S	 325
+ce	 323
+av	 323
+pø	 322
+ni	 319
+ké	 316
+er	 315
+nì	 315
+_na	 313
+na_	 312
+_ne	 311
+de	 308
+ic	 307
+in	 306
+_se	 306
+l_	 304
+dn	 302
+za	 298
+_pø	 293
+ì_	 291
+ol	 290
+_je	 281
+ob	 280
+is	 277
+ve	 274
+ho_	 272
+es	 270
+ot	 268
+ak	 265
+vo	 263
+ná	 260
+il	 257
+se_	 257
+it	 256
+et	 253
+ad	 250
+by	 249
+P	 242
+_r	 242
+k_	 242
+ost	 241
+_se_	 241
+tr	 238
+me	 237
+pro	 234
+Ÿe	 234
+ka	 230
+_za	 227
+om	 224
+el	 223
+_P	 223
+on	 218
+_pro	 216
+ou_	 216
+tu	 215
+O	 212
+mi	 212
+ku	 211
+_u	 210
+_do	 208
+_l	 207
+_na_	 206
+N	 205
+ské	 205
+ím	 205
+íc	 205
+ý_	 203
+mì	 203
+_S	 200
+oz	 200
+V	 200
+ze	 198
+da	 194
+sl	 192
+á_	 191
+ova	 190
+mo	 190
+re	 189
+so	 187
+vy	 186
+ej	 185
+rá	 184
+ar	 184
+s_	 183
+vì	 183
+A	 181
+ru	 180
+_st	 178
+f	 178
+éh	 177
+ého	 176
+kt	 176
+tn	 175
+g	 174
+bo	 174
+ez	 173
+ci	 172
+ký	 172
+né	 170
+M	 170
+án	 169
+as	 168
+vi	 167
+øi	 167
+ac	 166
+Ÿe_	 165
+ýc	 165
+Ÿ_	 165
+ck	 164
+K	 164
+B	 164
+ých	 164
+vá	 162
+_c	 162
+ého_	 162
+ení	 161
+lá	 160
+_Ÿ	 160
+øí	 160
+pøe	 159
+ec	 158
+ù_	 157
+J	 156
+vn	 156
+_h	 155
+ké_	 155
+ok	 154
+sta	 154
+to_	 152
+vý	 152
+nt	 151
+ých_	 149
+lo_	 149
+_by	 149
+dy	 149
+_pøe	 148
+ce_	 147
+R	 146
+n_	 146
+ád	 146
+pa	 145
+vé	 145
+am	 145
+mu	 145
+ný	 145
+ud	 144
+_è	 144
+_B	 142
+ter	 141
+nì_	 141
+èe	 140
+¹e	 140
+_V	 140
+_ko	 140
+li_	 139
+dì	 137
+hl	 137
+je_	 137
+ji	 137
+ist	 135
+jí	 135
+-	 134
+ik	 133
+si	 133
+ál	 132
+em_	 132
+_to	 132
+_vy	 131
+sp	 130
+ut	 130
+_J	 130
+_Ÿe	 130
+_M	 129
+di	 129
+kon	 128
+la_	 128
+tí	 128
+_ro	 127
+ns	 127
+ek	 126
+ick	 126
+T	 126
+yl	 125
+èn	 125
+rn	 125
+_Ÿe_	 124
+op	 124
+sti	 124
+kte	 124
+øed	 124
+edn	 123
+us	 121
+ím_	 120
+"	 119
+z_	 119
+str	 118
+ti_	 118
+ém	 118
+vat	 118
+d_	 118
+_ve	 118
+áv	 118
+ení_	 117
+iv	 117
+oj	 117
+_kt	 117
+ìl	 117
+val	 116
+eb	 116
+_K	 115
+tø	 115
+_kte	 115
+át	 115
+_i	 114
+_N	 114
+D	 114
+kl	 114
+ny	 114
+byl	 113
+ev	 113
+ri	 113
+ú	 113
+ky	 111
+sm	 111
+oh	 111
+E	 110
+ma	 110
+ìt	 110
+ský	 110
+kter	 109
+nu	 109
+le_	 108
+ja	 107
+zá	 107
+tì	 106
+tá	 106
+zn	 106
+let	 105
+aj	 105
+sto	 105
+¹í	 105
+me_	 105
+-_	 105
+u,	 105
+sv	 104
+_le	 104
+pol	 104
+L	 104
+_-	 104
+ln	 104
+pod	 104
+H	 103
+zi	 103
+kéh	 103
+kého	 103
+_ná	 103
+ent	 102
+u,_	 102
+_od	 102
+né_	 101
+_-_	 101
+al_	 101
+_kter	 101
+do_	 100
+nos	 100
+cí	 100
+rav	 99
+ran	 99
+_sv	 99
+ká	 98
+eè	 98
+ním	 98
+bu	 97
+_z_	 97
+ích	 97
+_byl	 97
+ání	 96
+rov	 96
+kr	 96
+dá	 95
+ové	 95
+dl	 95
+uj	 95
+nost	 95
+ém_	 95
+ech	 94
+ly	 94
+oc	 94
+vé_	 93
+_o_	 93
+dy_	 93
+ak_	 93
+nsk	 93
+_so	 93
+_ob	 92
+nc	 92
Index: /trunk/gsdl/perllib/textcat/Other/estonian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/estonian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/estonian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 20738
+a	 7004
+e	 5699
+i	 5321
+s	 4731
+t	 3769
+l	 3448
+u	 3446
+n	 2902
+k	 2584
+d	 2202
+m	 2043
+a_	 1758
+o	 1684
+r	 1429
+g	 1174
+v	 1151
+e_	 1139
+i_	 1136
+_k	 1136
+s_	 1077
+h	 1009
+,	 995
+,_	 995
+_t	 953
+p	 953
+j	 940
+ä	 900
+is	 896
+st	 851
+se	 841
+_s	 822
+.	 821
+as	 801
+d_	 801
+le	 800
+ta	 794
+in	 793
+_m	 790
+ô	 754
+._	 753
+t_	 746
+ma	 710
+_p	 680
+si	 677
+_v	 660
+es	 636
+al	 626
+us	 619
+el	 602
+_o	 596
+_e	 586
+ja	 580
+_j	 563
+te	 562
+ü	 549
+li	 532
+va	 515
+id	 501
+ol	 498
+tu	 497
+da	 490
+_n	 480
+ku	 478
+ud	 459
+nu	 455
+na	 438
+ei	 432
+ks	 418
+mi	 411
+ee	 411
+u_	 407
+ka	 400
+n_	 394
+b	 394
+ga	 386
+_l	 384
+_a	 380
+an	 366
+ja_	 365
+et	 358
+me	 358
+l_	 350
+at	 348
+la	 341
+ad	 340
+st_	 339
+ne	 336
+ll	 333
+_ta	 332
+ra	 330
+_ja	 328
+ik	 323
+en	 318
+ni	 308
+ul	 305
+sa	 302
+_ol	 302
+nd	 299
+_ja_	 299
+nud	 296
+ii	 291
+ko	 286
+_se	 285
+le_	 283
+aa	 281
+is_	 281
+gi	 270
+_te	 269
+ag	 269
+_va	 268
+_ku	 267
+ed	 262
+em	 255
+_mi	 255
+ma_	 247
+ti	 246
+ri	 245
+_h	 242
+gu	 239
+id_	 238
+ast	 237
+it	 236
+ga_	 236
+un	 232
+de	 230
+ud_	 230
+ha	 230
+ak	 228
+ah	 228
+uu	 228
+il	 227
+ôi	 226
+as_	 223
+ke	 222
+ar	 220
+a,	 220
+am	 220
+_ko	 220
+a,_	 220
+_ka	 220
+ai	 220
+eg	 216
+sin	 214
+est	 214
+ui	 214
+he	 214
+ks_	 213
+ö	 213
+oo	 213
+ju	 207
+är	 205
+ut	 203
+in_	 203
+oli	 201
+ki	 199
+su	 199
+es_	 199
+lt	 198
+ist	 188
+li_	 186
+ea	 186
+vi	 184
+im	 181
+mu	 181
+se_	 180
+ts	 180
+on	 178
+ise	 178
+ta_	 177
+ek	 176
+_oli	 176
+sel	 173
+nud_	 173
+_ü	 172
+a.	 171
+nn	 170
+ema	 169
+ng	 168
+lu	 168
+ge	 167
+_si	 166
+_ei	 165
+_i	 165
+_ei_	 164
+ei_	 164
+_r	 163
+ole	 161
+pa	 160
+lle	 160
+a._	 160
+ust	 159
+du	 156
+er	 156
+vô	 153
+da_	 153
+min	 152
+et_	 151
+d,_	 149
+_M	 149
+ht	 149
+d,	 149
+M	 149
+kui	 148
+_et	 147
+K	 147
+_K	 146
+pe	 145
+gi_	 145
+_vô	 145
+or	 144
+_tu	 142
+lt_	 141
+_ma	 141
+asi	 140
+ve	 139
+us_	 138
+ig	 136
+sin_	 136
+ur	 135
+_ta_	 134
+di	 134
+_et_	 134
+s,_	 132
+tas	 132
+s,	 132
+_kui	 131
+sk	 131
+re	 130
+po	 129
+oli_	 129
+om	 129
+äi	 128
+inu	 128
+_na	 128
+_oli_	 128
+_sa	 128
+aj	 128
+mis	 127
+ui_	 127
+_me	 127
+_pa	 126
+tus	 125
+pi	 125
+te_	 124
+ül	 123
+-	 123
+est_	 122
+_on	 121
+kk	 121
+tt	 120
+aga	 119
+na_	 119
+_T	 119
+T	 119
+b_	 118
+al_	 118
+sta	 118
+_mu	 116
+_ju	 116
+ida	 116
+aks	 116
+gu_	 116
+_ni	 116
+s.	 116
+ad_	 116
+_pe	 114
+eks	 114
+ev	 114
+end	 113
+s._	 113
+use	 111
+ära	 111
+_po	 111
+_min	 110
+S	 110
+aja	 110
+_la	 110
+ele	 109
+el_	 108
+on_	 108
+ab	 108
+_S	 108
+av	 107
+ing	 107
+kui_	 106
+_on_	 106
+au	 104
+ne_	 104
+ti_	 104
+ell	 103
+ae	 101
+kô	 101
+ed_	 100
+_ke	 99
+ata	 99
+iis	 99
+!	 98
+!_	 98
+sid	 98
+nda	 98
+eh	 98
+lle_	 97
+pu	 97
+ää	 97
+vôi	 97
+ine	 96
+t,	 96
+e,_	 96
+ale	 96
+_vôi	 96
+t,_	 96
+e,	 96
+eda	 96
+uk	 95
+ast_	 95
+ld	 95
+?	 94
+_kui_	 94
+_sel	 93
+_kô	 93
+tul	 93
+ega	 93
+lg	 92
+sii	 92
+val	 92
+e.	 92
+_su	 92
+ug	 92
+oh	 92
+kü	 92
+d.	 91
+ee_	 91
+see	 91
+e._	 91
+öö	 91
+oma	 91
+_ole	 90
+ses	 90
+stu	 90
+ôt	 90
+üü	 90
+_om	 89
+me_	 89
+ot	 89
+d._	 89
+_sii	 88
+to	 88
+_en	 87
+atu	 87
+?_	 87
+A	 86
+J	 86
+pea	 86
+jä	 85
+_A	 85
+_see	 85
+ime	 84
+_pi	 84
+_ha	 84
+mô	 84
+nä	 84
+_J	 84
+les	 84
+ste	 84
+kas	 84
+_ä	 84
+vä	 83
+E	 83
+pä	 83
+_ve	 83
+_E	 83
+eis	 82
+_jä	 81
+_pea	 81
+_mô	 80
+um	 80
+_kü	 80
+iku	 80
+üd	 80
+all	 79
+eid	 79
+ba	 79
+_vä	 79
+ina	 78
+lj	 78
+sid_	 78
+hu	 78
+tun	 78
+lä	 78
+_oma	 77
+i,_	 77
+i,	 77
+agu	 77
+uh	 77
+lm	 76
+ras	 76
+ss	 76
+kä	 76
+ees	 76
Index: /trunk/gsdl/perllib/textcat/Other/frisian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/frisian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/frisian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 46446
+e	 15767
+n	 9616
+i	 7837
+a	 7830
+t	 7562
+r	 7297
+s	 6307
+o	 4784
+n_	 4595
+d	 4564
+e_	 4213
+l	 4032
+k	 3951
+t_	 3079
+en	 2863
+m	 2605
+er	 2492
+y	 2462
+f	 2371
+_d	 2253
+de	 2124
+h	 1943
+in	 1899
+w	 1898
+en_	 1857
+_i	 1815
+u	 1769
+g	 1738
+an	 1690
+j	 1678
+p	 1651
+r_	 1619
+_f	 1602
+.	 1601
+ar	 1561
+te	 1545
+b	 1488
+s_	 1476
+._	 1435
+_s	 1370
+de_	 1235
+_de	 1224
+_w	 1181
+it	 1172
+ie	 1140
+,	 1078
+_o	 1056
+,_	 1056
+oa	 1045
+_e	 1040
+st	 1038
+an_	 1010
+_b	 972
+_de_	 965
+ke	 949
+_m	 947
+_t	 933
+ne	 920
+er_	 895
+at	 863
+sk	 856
+c	 850
+it_	 848
+_h	 838
+ei	 832
+k_	 817
+yn	 790
+ch	 784
+le	 772
+is	 769
+je	 765
+el	 761
+me	 758
+ea	 754
+_k	 740
+fa	 736
+in_	 735
+'	 733
+_it	 733
+_it_	 727
+ge	 727
+re	 725
+al	 724
+_fa	 684
+yn_	 640
+aa	 628
+fan	 626
+_y	 618
+ar_	 617
+et	 616
+ri	 615
+_fan	 613
+_n	 612
+li	 611
+_yn	 610
+_en	 598
+fan_	 594
+oe	 589
+_fan_	 584
+_en_	 583
+at_	 581
+_in	 570
+oar	 565
+_in_	 560
+y_	 555
+F	 549
+es	 540
+_a	 536
+ng	 523
+be	 514
+sj	 512
+nt	 510
+l_	 510
+_F	 506
+ns	 506
+D	 499
+te_	 499
+der	 497
+_yn_	 497
+ti	 493
+ek	 490
+ro	 476
+rs	 474
+rd	 473
+se	 470
+fo	 470
+ys	 462
+op	 461
+û	 461
+we	 456
+ry	 451
+da	 445
+d_	 443
+is_	 442
+_D	 440
+ur	 433
+i_	 432
+ha	 426
+_me	 425
+ear	 422
+_l	 417
+ed	 410
+as	 409
+om	 407
+ei_	 406
+Fr	 405
+nd	 404
+_fo	 394
+_p	 393
+oc	 390
+rys	 389
+ol	 386
+_Fr	 386
+och	 383
+fe	 381
+ik	 379
+ma	 379
+ra	 377
+nn	 374
+_g	 368
+_da	 367
+di	 363
+ts	 362
+ta	 361
+a_	 360
+ko	 359
+et_	 358
+ysk	 356
+Fry	 354
+Frys	 354
+z	 354
+ll	 350
+_be	 349
+ke_	 348
+I	 347
+ing	 346
+_'	 345
+m_	 343
+h_	 340
+ske	 339
+_ha	 338
+sje	 336
+_Fry	 336
+_Frys	 336
+wi	 335
+_op	 334
+p_	 334
+_is	 333
+ch_	 333
+tr	 330
+ten	 328
+ers	 327
+wa	 325
+ter	 322
+ji	 322
+rysk	 319
+_ne	 319
+je_	 312
+foa	 311
+ê	 309
+jo	 307
+_is_	 307
+ste	 307
+_te	 306
+â	 301
+n.	 301
+nne	 300
+rt	 300
+foar	 299
+S	 299
+mei	 299
+_r	 298
+_oa	 297
+wu	 293
+ak	 291
+si	 290
+wur	 290
+ni	 290
+pe	 288
+Frysk	 287
+oan	 286
+n._	 285
+_mei	 284
+der_	 281
+_foar	 281
+_foa	 281
+ht	 278
+cht	 277
+-	 275
+ú	 275
+_j	 274
+ne_	 273
+ken	 273
+fer	 271
+ûn	 270
+am	 270
+on	 268
+nde	 264
+_S	 264
+B	 262
+ki	 261
+id	 261
+le_	 261
+dat	 260
+v	 259
+_I	 256
+oar_	 255
+op_	 254
+lle	 252
+la	 244
+tt	 243
+dat_	 242
+_fe	 242
+mm	 240
+inn	 239
+_wi	 239
+_dat	 237
+g_	 236
+mei_	 236
+al_	 235
+_B	 234
+e.	 234
+ld	 231
+_al	 230
+_wur	 230
+urd	 230
+_wu	 230
+_op_	 230
+De	 229
+inne	 228
+ng_	 227
+_mei_	 227
+'t	 226
+ks	 226
+'t_	 224
+_dat_	 224
+_ko	 223
+_st	 220
+ân	 219
+rk	 219
+sa	 219
+e._	 219
+tte	 218
+en.	 218
+n,	 217
+ier	 216
+ten_	 216
+_fer	 215
+mi	 215
+hi	 215
+ien	 214
+_wa	 213
+n,_	 213
+no	 213
+_te_	 212
+ig	 212
+_De	 212
+ske_	 212
+_der	 212
+W	 211
+H	 211
+_oan	 210
+ee	 209
+dy	 208
+ek_	 207
+en._	 207
+ic	 207
+mme	 206
+yk	 204
+pr	 204
+net	 203
+foar_	 203
+he	 203
+wurd	 201
+_der_	 199
+jen	 199
+_dy	 199
+kr	 198
+ka	 197
+im	 196
+_H	 196
+il	 196
+ze	 196
+_ma	 195
+by	 194
+oer	 194
+kt	 193
+us	 193
+M	 193
+sk_	 192
+wo	 192
+_hi	 191
+or	 190
+ing_	 190
+_W	 190
+ich	 189
+De_	 187
+rr	 186
+int	 185
+_ú	 184
+:	 184
+ij	 184
+_ek	 183
+eg	 182
+:_	 180
+gen	 180
+as_	 180
+_se	 179
+e,	 178
+_net	 177
+e,_	 177
+ins	 177
+N	 177
+ls	 176
+st_	 176
+_wurd	 176
+ie_	 175
+E	 175
+nne_	 175
+_De_	 175
+sy	 175
+wer	 174
+gr	 174
+f_	 173
+nk	 172
+och_	 172
+net_	 169
+ad	 169
+_we	 169
+rde	 168
+sl	 168
+bi	 168
+of	 168
+so	 168
+_no	 167
+_ta	 167
+re_	 167
+to	 167
+den	 167
+J	 167
+t.	 166
+It	 165
+út	 165
+inne_	 165
+ysk_	 165
+lik	 164
+sp	 163
+_ek_	 162
+ou	 162
+tsj	 162
+It_	 161
+_sa	 160
+A	 160
+wol	 160
+lâ	 159
+_wo	 159
+ge_	 159
+lân	 159
+ige	 158
Index: /trunk/gsdl/perllib/textcat/Other/georgian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/georgian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/georgian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 14926
+À	 7221
+È	 5780
+Ä	 4137
+Ð	 2966
+Ñ	 2908
+Ë	 2607
+Ê	 2372
+Í	 2260
+Å	 2080
+Ã	 2078
+Ì	 2005
+Ç	 1598
+Á	 1383
+Ó	 1363
+È_	 1248
+À_	 1149
+Â	 1145
+ÊÈ	 1009
+Þ	 974
+_Ë	 965
+Ñ_	 964
+ÃÀ	 912
+ÈÑ	 901
+ÀÐ	 897
+Ø	 820
+.	 813
+ÄÁ	 767
+"	 762
+._	 735
+,	 720
+,_	 718
+ÑÀ	 684
+_À	 669
+Ú	 653
+ËÀ	 631
+ÀÌ	 622
+ÄÊ	 575
+ÐÈ	 570
+ÅÄ	 567
+Õ	 551
+_Ã	 550
+Ò	 542
+_Ñ	 526
+É	 518
+ÀË	 517
+ÅÀ	 485
+ÅÈ	 479
+ÂÀ	 478
+_Â	 474
+ÓÊ	 468
+_È	 436
+ÐÀ	 435
+ÀÅ	 420
+ËÈ	 419
+ÌÈ	 418
+ÄÐ	 416
+ÄÌ	 412
+ÈÑ_	 407
+_ÃÀ	 404
+ÃÀ_	 393
+ÀÊ	 384
+ËÍ	 382
+Ü	 376
+_"	 374
+ÊÈ_	 371
+×	 369
+ÐÍ	 364
+ÀÑ	 360
+ÈÇ	 358
+ÀÃ	 353
+ÌÀ	 349
+Ô	 349
+ÁÀ	 342
+Æ	 341
+ËÄ	 335
+ÈÀ	 334
+ÈÊ	 332
+ÐÇ	 326
+_Ð	 322
+ÁÈ	 321
+ØÈ	 319
+_Ä	 319
+_Ø	 319
+ÃÄ	 317
+_ÂÀ	 316
+ÇÀ	 316
+ÄÑ	 306
+Ä_	 299
+_Ç	 288
+ÐÄ	 279
+ÓÊÈ	 273
+ÊÍ	 271
+Ö	 270
+Ì_	 267
+ÌÄ	 267
+_ÑÀ	 266
+ÍÁ	 263
+ÓÐ	 260
+Ç_	 256
+ÄÊÈ	 255
+ÃÈ	 238
+ÊÄ	 238
+ÑÈ	 234
+ÊÀ	 233
+ÍÐ	 230
+ÈÌ	 229
+_Þ	 227
+"_	 225
+ÄÁÈ	 224
+:	 224
+:_	 223
+È.	 221
+_ÃÀ_	 217
+Û	 215
+ÞÄ	 213
+È,	 213
+È,_	 212
+_Ó	 211
+Í_	 209
+_ËÀ	 208
+ÈÑÀ	 208
+ÍË	 206
+_ÀÐ	 204
+ÇÅ	 203
+ÀÐÇ	 203
+ØÄ	 203
+È._	 201
+À.	 200
+-	 193
+ÀÞ	 192
+ÅÄÊ	 192
+Ú_	 189
+ÈÃ	 188
+Ù	 188
+ÕÀ	 187
+Ã_	 185
+ÈÊÈ	 183
+ÄÃ	 179
+À._	 177
+Ð_	 177
+ÍÃ	 174
+ÞÀ	 174
+ÈÐ	 173
+ÌÃ	 172
+_ÐÍ	 172
+ÍÑ	 172
+ÄÁÀ	 171
+_ËÍ	 170
+ÐÈ_	 170
+_ËÈ	 170
+_Ü	 169
+ÇÈ	 166
+ÁÄ	 166
+_Õ	 165
+ØÈ_	 165
+ÄÑ_	 163
+ÀÈ	 162
+_ØÄ	 160
+ÄÅ	 158
+_É	 155
+ÀÚ	 154
+ÊÈÑ	 153
+Î	 151
+Ë_	 149
+ÕÀÐ	 148
+À,_	 147
+À,	 147
+ÀÇ	 147
+ÀÂ	 145
+ÕÀÐÇ	 145
+ÈÂ	 143
+ËÀÐ	 143
+ÍÊ	 143
+ÀÊÈ	 142
+ÂÈ	 142
+ÌÄÁ	 141
+ÄË	 140
+ÀØ	 139
+ÓÊÈ_	 139
+ÄÇ	 139
+ÇÓ	 138
+_Ì	 136
+ÈÇ_	 135
+ÀÐÈ	 133
+ÀÌ_	 132
+ÊÄÁ	 131
+×Í	 130
+ÑÄ	 130
+ÈË	 130
+ÐÄÁ	 128
+ÀÕ	 125
+ÆÄ	 125
+ÔÄ	 125
+Ê_	 124
+ÀÅÈ	 124
+ÀÃ_	 124
+ÅÈÑ	 123
+_ËÄ	 123
+ÀËÈ	 122
+_ÕÀ	 121
+ÉÈ	 121
+_Å	 120
+×Å	 120
+ÍÅ	 116
+_Á	 114
+ÀÌÈ	 113
+ÀËÍ	 113
+ÂÀÌ	 113
+ÍÌ	 112
+ÉÀ	 112
+ÈÚ	 112
+ØÀ	 112
+ÀÐÀ	 111
+ÁÓ	 111
+ÞÅ	 109
+ÀÖ	 109
+ÂÍ	 107
+ÁÀ_	 107
+ÌÈ_	 107
+ÅÀÐ	 107
+ÄÊÈ_	 106
+ÐÃ	 106
+ÀÐ_	 106
+_ÀË	 105
+ß	 104
+ÄÐÇ	 104
+_ÄÐ	 104
+ÅÄÌ	 103
+_ÄÑ	 103
+ÐÍË	 103
+ÄÌÈ	 103
+_Ú	 103
+ÁÍ	 102
+_Ù	 102
+ËÈÑ	 102
+ÐÈÑ	 102
+ÞÍ	 102
+_ÐÍË	 101
+_ÕÀÐ	 101
+ÈÅ	 100
+_ÕÀÐÇ	 100
+ÓÐÈ	 99
+ÒÈ	 99
+ÂÄ	 99
+ÈÒ	 99
+ÀÀ	 97
+ÀÒ	 97
+ÁÓÊ	 96
+ÕÅ	 94
+ÈÄ	 94
+_ÇÀ	 94
+Ñ,_	 93
+ÐÑ	 93
+ÅÊ	 93
+_ØÀ	 93
+Ñ,	 93
+_ÑÈ	 93
+ÀÉ	 93
+ÀÆ	 92
+ÍÁÀ	 92
+ÀÑ_	 92
+ÌÍ	 91
+ÄÁÓ	 91
+ÇÕ	 91
+ËÓ	 90
+ÄÌ_	 90
+ÇÀÅ	 89
+ÄÁÓÊ	 89
+ÊÑ	 89
+ÀØÈ	 89
+ÃÄÁ	 89
+ÀÁ	 89
+È"	 89
+Ñ.	 88
+ÚÞ	 88
+ÂÀË	 88
+ÍÑ_	 87
+_ÄÐÇ	 87
+È×	 87
+ÁÈÑ	 87
+ÌÃÀ	 87
+ØÅ	 87
+ÞÄÊ	 87
+ÁÈÇ	 85
+ÑÀ_	 85
+ÇÅÄ	 85
+ÓÌ	 85
+ÒÀ	 85
+_Î	 84
+ÊÈ.	 84
+_ÐÀ	 83
+Ñ._	 83
+_Ô	 83
+_ÂÀË	 83
+ÊÈÀ	 83
+ÊÈ._	 82
+ÄÐÈ	 82
+ÈÀ_	 82
+ÈÀÌ	 82
+ÜÈ	 81
+ÀÚ_	 81
+"Ë	 81
+ÈÓ	 80
+_"Ë	 80
+ÐÇÅ	 80
+_ÄÑ_	 79
+_ÈÂ	 79
+ÀÓ	 79
+ÈÕ	 79
+ÀÐÇÅ	 79
+ÇÈ_	 79
+ÑÀÞ	 79
+ÐÇÓ	 78
+ÊÈ,	 78
+ÚÈ	 78
+ÞÈ	 78
+ÐÇÓÊ	 78
+ÇÓÊ	 78
+ÊÈ,_	 78
+ÀÃÀ	 78
+ÁÑ	 78
+_ÀÐ_	 77
+ÞÊ	 77
+ÐÓ	 77
+ÀÐÇÓÊ	 77
+_ÌÀ	 77
+ÅÈÇ	 77
+ÈÂÈ	 77
+ÀÐÇÓ	 77
+ÜÀ	 76
+ÅÀ_	 75
+_ÞÀ	 75
+ÉÅ	 75
+ÒÄ	 75
+ÐÀ_	 75
+ÅÀÊ	 75
+ÇÅÄÊ	 74
+ÐÇÅÄ	 74
+ÀÐÇÅÄ	 74
+ÄÁÀ_	 74
+ÐË	 73
+ÑÞ	 73
+ÑÒ	 73
+ÅÑ	 73
+ÑÓ	 73
+ÐÇÅÄÊ	 73
+ËÞ	 73
+ÍÊÍ	 72
+ÐÚ	 72
+_×	 72
+ÂÐ	 71
+ÅÄ_	 71
+ÒÍ	 71
+ÇÄ	 71
+ÍÂ	 71
+ÅÄÁ	 71
+ÕÀÐÇÓ	 71
+ÐÀÃ	 70
+ÀË_	 70
+ÅÃ	 69
+ËÀ_	 69
+ÍÄ	 69
+_ÀÐÀ	 67
+à	 67
+ÄÃÀ	 67
+ÇÀÌ	 67
+È×Í	 67
+ÕÀÐÇÅ	 67
+Ò×	 67
+ÂÀËÍ	 66
+_ÂÀËÍ	 66
+ÄÒ	 66
+ÍÃÀ	 66
+ÅÄÊÈ	 66
+ÀÌÀ	 66
+ÄÁÈÇ	 66
+_ÈÂÈ	 66
+ÄÊÍ	 65
+ÄÂ	 65
+ËÈÊ	 65
+ÊË	 65
+ÈÊÈ_	 65
+ÍÁÈ	 65
+ÅÐ	 65
+_ÈÑ	 64
+Ó_	 63
+ËÃ	 63
+",	 63
+ÃÍ	 63
+ÊÍÁ	 63
+ÂÅ	 63
+ÃÂ	 63
+ÄÍ	 62
+À"	 62
+ÀÅÀ	 62
+?	 62
+",_	 62
+!	 62
+_È×	 62
Index: /trunk/gsdl/perllib/textcat/Other/greek-iso8859-7.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/greek-iso8859-7.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/greek-iso8859-7.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 89284
+á	 19666
+ô	 16086
+ï	 15826
+å	 14848
+é	 12766
+í	 12189
+ð	 8776
+ó	 8653
+ñ	 8399
+ê	 7761
+ì	 7529
+õ	 6850
+Ü	 6284
+_ô	 5918
+ë	 5802
+ò	 5371
+á_	 5272
+ç	 5236
+Ý	 4739
+ß	 4609
+ü	 4489
+ôï	 4461
+ò_	 4111
+ïõ	 4075
+é_	 4033
+å_	 4019
+.	 3916
+_ê	 3897
+ï_	 3836
+._	 3810
+í_	 3661
+_ð	 3414
+_ó	 3333
+"	 3247
+_ì	 3242
+_ôï	 3118
+,	 3106
+,_	 3068
+ã	 3058
+_á	 2912
+ù	 2689
+íá	 2593
+ä	 2455
+ôá	 2420
+÷	 2411
+êá	 2406
+óô	 2406
+_å	 2353
+-	 2335
+-_	 2192
+ý	 2171
+áí	 2162
+ôç	 2151
+Þ	 2141
+õ_	 2133
+áé	 2100
+è	 2053
+ö	 1989
+ïõ_	 1974
+åé	 1889
+_êá	 1882
+åß	 1864
+ôï_	 1802
+ðï	 1771
+áé_	 1727
+óå	 1709
+_í	 1647
+_"	 1619
+ç_	 1609
+éá	 1602
+íá_	 1518
+ôé	 1501
+ïí	 1501
+ôïõ	 1495
+ìå	 1460
+_ôïõ	 1407
+_Ý	 1405
+_óô	 1396
+þ	 1364
+ðå	 1359
+ôå	 1300
+ìá	 1298
+â	 1274
+ñé	 1252
+ü_	 1241
+_ä	 1231
+î	 1223
+íô	 1220
+_ôï_	 1196
+áð	 1187
+ñï	 1184
+_ã	 1183
+_ôç	 1177
+æ	 1158
+_åß	 1150
+Ü_	 1150
+_íá	 1124
+Ýí	 1115
+êáé	 1110
+_êáé	 1093
+áí_	 1082
+ñá	 1078
+êáé_	 1061
+_íá_	 1060
+_êáé_	 1053
+ìð	 1049
+íï	 1048
+áô	 1036
+éï	 1024
+éá_	 1018
+åñ	 1003
+ïý	 993
+_áð	 984
+óå_	 974
+éê	 973
+_ï	 967
+åí	 947
+ïò	 936
+åé_	 935
+ðü	 901
+ëï	 892
+_ìå	 890
+íå	 884
+ôïõ_	 871
+ïí_	 869
+áò	 865
+_ôïõ_	 854
+áó	 841
+ìå_	 840
+óá	 834
+êï	 833
+áñ	 832
+ðñ	 824
+ßí	 820
+êÜ	 808
+_ðï	 804
+ðé	 796
+Ê	 796
+ìÝ	 783
+ìï	 777
+Ýñ	 772
+áë	 766
+çí	 762
+Ì	 759
+éó	 745
+êå	 742
+ôá_	 740
+óôï	 738
+ù_	 730
+çí_	 728
+Ï	 717
+Ô	 714
+_ö	 711
+åô	 705
+äå	 704
+ðá	 697
+áò_	 688
+ôÜ	 684
+ïò_	 683
+_ü	 680
+_Ê	 675
+ïé	 671
+_÷	 670
+ôçí	 663
+ôçí_	 658
+_óôï	 647
+Þ_	 645
+ðü_	 638
+_è	 633
+_ï_	 631
+",	 630
+_ðñ	 626
+_Ì	 624
+ßð	 624
+Üí	 623
+",_	 623
+áðü	 620
+ðïõ	 619
+üô	 618
+ëá	 617
+ôïí	 617
+_áðü	 616
+ìé	 612
+Ï_	 611
+ñå	 607
+õô	 604
+ëå	 595
+_ë	 594
+ñü	 590
+_ìå_	 586
+éÜ	 580
+ôïí_	 577
+ãé	 577
+_Ï	 575
+áðü_	 572
+Üñ	 570
+ðÜ	 570
+_áðü_	 569
+ñÜ	 562
+ôáí	 554
+Ýíá	 553
+õí	 552
+ðïõ_	 551
+äé	 547
+ôñ	 547
+ôü	 544
+_â	 540
+÷å	 536
+åí_	 534
+çó	 528
+_Ï_	 525
+çò	 520
+".	 519
+_ðïõ	 516
+_Ô	 515
+"._	 513
+ôç_	 512
+ò.	 510
+åßð	 508
+ôáí_	 504
+_åßð	 503
+ò._	 501
+_ôá	 500
+îå	 497
+óôï_	 496
+ëë	 493
+áê	 492
+Á	 491
+_ðïõ_	 490
+Üë	 489
+ßðå	 489
+åßðå	 485
+_åßðå	 483
+_ôçí	 483
+ôé_	 482
+_ôçí_	 481
+Üô	 480
+ëé	 480
+_äå	 479
+Üì	 477
+_óôï_	 475
+óï	 473
+_Ü	 468
+"_	 463
+ìÝí	 463
+éí	 461
+éò	 452
+_áí	 452
+êü	 451
+áõ	 451
+_ôïí	 450
+_ãé	 449
+èá	 447
+åò	 446
+óç	 446
+_ìé	 445
+_ôïí_	 443
+å.	 441
+å._	 441
+ïõò	 439
+ëÜ	 439
+õò	 439
+ïë	 438
+ðéï	 437
+ïñ	 432
+_ðá	 428
+_êÜ	 427
+ôå_	 427
+áì	 423
+;	 423
+_ìï	 422
+óê	 421
+ôçò	 421
+_î	 418
+óôç	 415
+ÊÜ	 411
+íç	 408
+ãéá	 405
+á.	 403
+êñ	 402
+êé	 402
+ò,	 402
+ò,_	 401
+á._	 398
+çê	 397
+_ÊÜ	 397
+åë	 396
+_Ýí	 395
+_Þ	 393
+_ìá	 392
+ßá	 391
+ùò	 391
+ëç	 390
+ßíá	 389
+ðß	 389
+ìïõ	 388
+ìÜ	 388
+_áõ	 387
+çò_	 386
+óõ	 384
+íáé	 384
+Ð	 383
+áõô	 382
+ß_	 376
+ìðé	 375
+ßó	 372
+_ôçò	 370
+_ôá_	 367
+_ãéá	 365
+_Ýíá	 362
+_ìð	 361
+èå	 361
+éïí	 359
+éò_	 358
+ôÞ	 358
+_èá	 354
+_áõô	 354
+Üìð	 352
+ê.	 352
+ê._	 351
+åßí	 351
+ïì	 350
+ßíáé	 348
+íôá	 348
+íáé_	 348
+ùò_	 347
+÷á	 346
+Å	 346
+õ.	 346
+ãéá_	 346
+õ._	 345
+äåí	 345
+Ýíá_	 345
+á,	 344
+á,_	 344
+äåí_	 344
+ýñ	 343
+üí	 343
+á-	 342
+ýó	 341
+_ê.	 340
+óôå	 339
+ÊÜì	 339
+_ê._	 339
+ôÝ	 339
+á-_	 338
+åõ	 338
+éë	 338
+ñß	 338
+ÊÜìð	 338
+_ìïõ	 338
+_ÊÜì	 338
+_ÊÜìð	 337
+õì	 336
+óåé	 336
+ðéïí	 336
+ìðéïí	 336
+ìðéï	 336
+_êï	 334
+ÊÜìðé	 334
+_ç	 334
+Üìðé	 334
+èá_	 333
+íé	 332
+ôçò_	 331
+ø	 331
+üì	 330
+çóå	 330
+_óá	 329
+ìá_	 328
+üò	 328
+Ó	 326
+_äåí	 325
+_äåí_	 325
+óì	 324
+åò_	 324
+ðåñ	 324
+ß÷	 323
+ßíáé_	 323
+ôéê	 322
+_ñ	 321
+Üìðéï	 321
+õò_	 321
+ïõò_	 321
+_ðå	 321
+óù	 320
+_ãéá_	 320
+ðñï	 320
+ãå	 318
+;"	 316
+;"_	 316
+Ä	 315
+ôõ	 314
+ñá_	 313
+_óõ	 312
+ñù	 312
+_èá_	 310
+üó	 309
+ïõ.	 309
Index: /trunk/gsdl/perllib/textcat/Other/hawaian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/hawaian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/hawaian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 35416
+a	 12973
+i	 6074
+o	 5151
+a_	 5093
+k	 5083
+e	 4551
+l	 3544
+u	 3442
+n	 3100
+_k	 2908
+e_	 2600
+i_	 2556
+h	 2489
+o_	 2245
+m	 2060
+ka	 1994
+'	 1943
+_i	 1899
+_a	 1620
+,	 1539
+,_	 1516
+_m	 1372
+_ka	 1339
+ma	 1338
+na	 1325
+p	 1235
+ä	 1233
+Ô	 1192
+ÿ	 1189
+ka_	 1085
+la	 1070
+ua	 1065
+ak	 997
+_i_	 995
+ai	 989
+ke	 977
+_h	 968
+K	 941
+_'	 938
+_l	 933
+u_	 920
+_K	 912
+_n	 894
+_ka_	 891
+.	 890
+an	 847
+_ma	 836
+ia	 812
+le	 804
+ke_	 753
+._	 749
+na_	 748
+au	 736
+ho	 700
+a,	 674
+ah	 670
+a,_	 666
+_ÿ	 662
+ku	 660
+lo	 654
+hi	 619
+_ke	 617
+_o	 616
+_p	 613
+ia_	 605
+'o	 589
+Ka	 586
+_Ka	 581
+el	 570
+ana	 569
+_a_	 566
+ä_	 564
+la_	 561
+w	 555
+al	 549
+_Ô	 539
+ko	 528
+_ke_	 518
+ik	 515
+_o_	 502
+'a	 495
+a'	 484
+ol	 465
+ha	 462
+ua_	 462
+	 459
+pu	 454
+no	 454
+_'o	 445
+ne	 438
+aku	 432
+le_	 427
+_ia	 422
+am	 420
+ÿo	 419
+wa	 415
+he	 414
+ahi	 412
+li	 410
+_ak	 394
+ai_	 393
+ele	 388
+Ôo	 388
+ki	 382
+H	 382
+on	 381
+'o_	 369
+_ho	 367
+au_	 366
+_aku	 364
+_e	 358
+pua	 357
+_H	 355
+me	 355
+_'o_	 352
+il	 352
+ama	 351
+pa	 348
+in	 346
+mai	 345
+_e_	 345
+O	 342
+_mai	 336
+A	 333
+_ia_	 332
+a.	 331
+oh	 319
+Kam	 317
+_Kam	 316
+P	 310
+aka	 308
+ul	 307
+_me	 307
+ap	 306
+"	 304
+aÔ	 302
+Kama	 299
+_Kama	 298
+ana_	 296
+_P	 294
+a._	 292
+_ko	 291
+i,	 289
+a'a	 288
+i,_	 288
+'i	 285
+Ôa	 278
+_w	 273
+_ÿo	 270
+ei	 269
+ele_	 261
+M	 260
+oa	 259
+ÿo_	 259
+_la	 257
+un	 255
+_Ôo	 253
+lu	 250
+nä	 249
+lä	 248
+apu	 245
+_M	 243
+ea	 243
+Ôi	 243
+ö	 242
+ua'	 241
+ÿa	 240
+Ôo_	 239
+ih	 239
+iki	 238
+_he	 235
+apua	 233
+ua'a	 229
+hi_	 228
+mapu	 226
+Kamap	 226
+amapu	 226
+mapua	 226
+amap	 226
+pua'	 226
+map	 226
+pua'a	 226
+ma_	 222
+_ÿo_	 221
+_wa	 218
+_no	 214
+e,	 214
+ila	 214
+ona	 213
+no_	 213
+he_	 210
+I	 209
+e,_	 209
+ok	 208
+ail	 206
+ula	 206
+lo_	 205
+nä_	 205
+ë	 204
+mak	 204
+me_	 204
+oe	 202
+aila	 201
+nu	 201
+_Ôo_	 200
+_me_	 200
+_lä	 200
+O_	 199
+ÿi	 197
+_iä	 195
+_iä_	 195
+iä_	 195
+_	 195
+iä	 195
+una	 191
+ake	 191
+kä	 189
+_u	 187
+ou	 185
+_nä	 185
+ni	 185
+apua'	 184
+nei	 183
+_ma_	 182
+i.	 181
+kau	 180
+Ma	 180
+iho	 179
+_pa	 176
+ahi_	 176
+mo	 176
+_Ma	 174
+ona_	 174
+oÔ	 173
+"_	 171
+ki_	 171
+_lo	 170
+kah	 168
+ho_	 167
+hu	 167
+'a_	 166
+kua	 165
+_I	 165
+_nä_	 164
+kul	 162
+ne_	 162
+ü	 162
+mai_	 162
+N	 161
+än	 160
+alo	 159
+iki_	 159
+kai	 159
+ila_	 158
+_mai_	 158
+i._	 155
+a'a_	 155
+_mak	 153
+_kä	 153
+aila_	 152
+He	 151
+li_	 151
+akul	 150
+kula	 149
+_pu	 149
+ao	 149
+_akul	 149
+akula	 149
+kon	 148
+na,	 147
+kona	 147
+na,_	 147
+ole	 147
+L	 147
+_ne	 146
+i'	 146
+E	 145
+hik	 144
+_kona	 144
+aÔa	 144
+_kon	 144
+ula_	 144
+loa	 142
+o'	 141
+_nei	 141
+_'a	 141
+_an	 139
+_He	 139
+_ha	 139
+kona_	 138
+_kau	 137
+_N	 137
+oe_	 137
+nak	 137
+_ih	 137
+_A	 136
+hiki	 136
+_ana	 135
+aÿ	 133
+_"	 133
+aka_	 133
+ku_	 132
+ala	 132
+mail	 132
+	 132
+aua	 132
+'i_	 132
+maila	 131
+_mail	 131
+aw	 131
+ha_	 130
+kahi	 129
+Ôi_	 129
+hel	 128
+ea_	 128
+ui	 127
+_L	 127
+_iho	 126
+op	 126
+_al	 126
+I_	 125
+Pe	 125
+wah	 125
+aha	 125
+uk	 124
+lel	 124
+oÿ	 124
+hin	 123
+_Pe	 123
+ali	 123
+hol	 123
+_ai	 123
+po	 122
+akua	 122
+hele	 122
+kula_	 121
+_ÿa	 121
+ola	 121
+ua'a_	 120
+aik	 120
+ou_	 120
+'O	 119
+_wah	 119
+eh	 119
+una_	 119
+u,	 118
+ake_	 118
+kou	 117
+_I_	 117
+Pel	 116
+_he_	 116
+Pele	 116
+'e	 116
+_Pele	 116
+_Pel	 116
+hine	 115
+la,	 115
+ani	 115
+kan	 115
+ine	 115
+aku_	 114
+naka	 114
+A_	 114
+la,_	 114
+ÿe	 113
+_'O	 113
+u,_	 112
+ahin	 112
+_ku	 111
+'O_	 111
+wahi	 111
+ole_	 110
+ahine	 110
+hoÔ	 110
+."	 110
+ono	 110
+_pua	 109
+wai	 109
+i'i	 109
+'u	 109
+_hoÔ	 108
+make	 108
+_O	 108
+_hi	 108
+_'O_	 108
+ek	 107
+oa_	 107
+."_	 107
+_wahi	 107
+	 107
+ola_	 106
+ö_	 106
+ko_	 106
+kë	 106
+ika	 105
+olo	 104
+_no_	 104
+_ua	 104
+_aku_	 104
Index: /trunk/gsdl/perllib/textcat/Other/hebrew-iso8859_8.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/hebrew-iso8859_8.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/hebrew-iso8859_8.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 81560
+é	 23072
+å	 19215
+ä	 15606
+ì	 12612
+ø	 11293
+ú	 11070
+î	 10090
+á	 9648
+à	 9601
+ù	 9081
+ä_	 7811
+ð	 6685
+ò	 6326
+_ú	 5878
+í	 5542
+ã	 5019
+ç	 4669
+_í	 4570
+á_	 4267
+ë	 3984
+_ä	 3812
+÷	 3769
+ô	 3699
+ì_	 3693
+íé	 3535
+î_	 3489
+ñ	 3374
+à_	 3362
+úå	 3130
+,	 3067
+_ì	 3037
+_,	 3035
+_é	 2936
+ù_	 2886
+_íé	 2840
+â	 2768
+è	 2626
+ï	 2424
+_ø	 2395
+_úå	 2291
+.	 2256
+ö	 2215
+_.	 2205
+éð	 2144
+ò_	 2003
+_ï	 1959
+_å	 1913
+"	 1815
+éá	 1797
+ìù	 1742
+éì	 1687
+éø	 1665
+é_	 1647
+åé	 1620
+å_	 1578
+åø	 1525
+úà	 1475
+ë_	 1469
+øå	 1411
+æ	 1383
+åð	 1353
+îä	 1351
+úé	 1343
+éé	 1343
+ìå	 1315
+éã	 1285
+øé	 1236
+îä_	 1211
+äì	 1206
+åî	 1192
+ðé	 1163
+øù	 1155
+éà	 1146
+àø	 1138
+_úà	 1137
+ùé	 1134
+éù	 1087
+ð_	 1080
+ìà	 1074
+åç	 1067
+_à	 1062
+ùî	 1059
+éî	 1052
+äé	 1047
+-	 1024
+ìù_	 1008
+åä	 973
+øá	 967
+åà	 954
+úà_	 951
+åì	 948
+_ã	 941
+éä	 896
+ðå	 888
+åò	 883
+éë	 873
+åù	 871
+ìò	 867
+àì	 850
+òå	 843
+_-	 830
+ç_	 830
+ãå	 824
+ïå	 820
+ø_	 806
+åá	 805
+_ìù	 799
+éè	 784
+àä	 773
+_ìù_	 748
+éò	 746
+ãé	 743
+_ù	 726
+_úà_	 723
+ê	 720
+_úé	 719
+-_	 716
+_-_	 713
+áé	 709
+áå	 706
+åú	 699
+àä_	 690
+øî	 686
+ùä	 683
+åã	 678
+éç	 675
+ô_	 672
+äð	 669
+_á	 668
+_ò	 659
+_ê	 655
+éñ	 652
+ïé	 649
+_ìò	 640
+éå	 635
+àî	 635
+éá_	 632
+ú_	 631
+îà	 628
+ùå	 627
+_ïå	 624
+ìé	 624
+ìò_	 621
+úä	 619
+éú	 600
+äì_	 599
+åë	 599
+éô	 596
+ôä	 595
+å÷	 586
+äù	 578
+òé	 575
+_ïé	 569
+îå	 564
+_ìò_	 561
+÷é	 560
+éâ	 557
+éä_	 557
+øùé	 554
+íå	 548
+àì_	 548
+úåé	 548
+ìàø	 546
+øà	 542
+äø	 540
+"_	 540
+îá	 539
+ùä_	 538
+åô	 538
+àøù	 535
+øò	 534
+çä	 533
+åâ	 532
+àøùé	 530
+ìàøùé	 530
+ìàøù	 530
+àå	 527
+îé	 525
+_éë	 518
+äî	 518
+ôä_	 511
+éë_	 510
+_éð	 509
+ìë	 506
+úî	 502
+îá_	 500
+ñå	 498
+çà	 497
+é÷	 497
+åå	 494
+_÷	 485
+â_	 481
+íéì	 477
+_äé	 477
+ãî	 472
+áä	 470
+,ä	 470
+_,ä	 470
+÷_	 469
+òá	 468
+_íå	 467
+äá	 467
+çä_	 466
+_éë_	 463
+àá	 462
+øç	 462
+_àì	 461
+õ	 455
+îì	 454
+éðé	 454
+ùà	 453
+øä	 453
+éö	 452
+íéø	 451
+_äð	 447
+èé	 443
+ã_	 441
+îò	 440
+íéé	 439
+åä_	 439
+'	 435
+àî_	 430
+.í	 429
+úð	 429
+_.í	 428
+ø÷	 427
+úø	 423
+åñ	 417
+ðù	 417
+_äì	 414
+ñì	 413
+ðú	 408
+ñ_	 405
+ñä	 400
+ìô	 400
+áù	 399
+,í	 399
+_,í	 399
+îî	 397
+ùé_	 396
+ðá	 396
+òä	 394
+úä_	 393
+úåð	 393
+íéð	 389
+_øå	 385
+øîà	 384
+éà_	 384
+ìá	 384
+úá	 381
+áø	 378
+áä_	 377
+èñ	 374
+_õ	 374
+òî	 374
+çé	 373
+øô	 373
+äå	 371
+çå	 370
+áì	 370
+_ìà	 370
+÷å	 367
+_äø	 366
+_íéø	 364
+çî	 363
+æ_	 362
+_ç	 360
+ðë	 360
+_ìå	 360
+ëå	 359
+,ú	 358
+_,ú	 357
+îú	 356
+éðå	 353
+åøé	 353
+åà_	 349
+øã	 348
+úåø	 348
+àé	 345
+ó	 345
+ìùî	 344
+ëé	 340
+_íéì	 340
+åö	 338
+úì	 338
+_íéé	 336
+øçà	 335
+_úåé	 335
+îà_	 332
+ìç	 331
+_úø	 329
+_úåð	 325
+âé	 325
+òä_	 325
+:	 324
+ôì	 324
+àá_	 324
+ùø	 322
+øè	 321
+úù	 320
+ö_	 320
+îò_	 319
+åé_	 319
+_:	 319
+öî	 316
+ùîî	 315
+_ñ	 315
+úéð	 315
+ñî	 315
+äã	 313
+øä_	 312
+åè	 312
+_ó	 310
+ùàø	 309
+øùé_	 305
+àøùé_	 305
+.íé	 305
+_.íé	 304
+äú	 303
+éèñ	 303
+_'	 303
+âä	 302
+ùî_	 302
+_íéð	 301
+ìä	 298
+øâ	 294
+çè	 293
+ãò	 293
+íéã	 292
+àù	 292
+ìùîî	 292
+íò	 292
+éãé	 290
+ùì	 289
+ôå	 289
+ãá	 289
+öå	 287
+_íò	 286
+,íé	 285
+_,íé	 285
+ðî	 284
+ñé	 282
+ùá	 282
+_øù	 281
+ãø	 281
+_úåø	 281
+÷ä	 280
+úåù	 278
+äù_	 276
+îì_	 276
+_àì_	 275
+åäé	 274
+_ìàø	 274
+ôé	 274
+òá_	 271
+ìà_	 271
+áà	 270
+çà_	 269
+çì	 268
+òô	 267
+áò	 267
+.ä	 266
+_øé	 266
+_ìàøù	 266
+åðé	 266
+_.ä	 265
+éèñì	 265
+èñì	 265
+éìà	 265
+úò	 264
+ðä	 263
+÷ì	 262
+ðéè	 260
+_.ú	 260
+.ú	 260
+ôì_	 260
+äå_	 259
+ñìô	 258
+èñìô	 258
+éèñìô	 258
+ðéèñì	 257
+ðéèñ	 257
+åî_	 256
+ñä_	 256
+îù	 255
+éøå	 255
+ðù_	 254
+åîú	 254
+ää	 252
+á÷	 251
+éù_	 251
+_åð	 251
+éøá	 251
+_øá	 249
+_éã	 249
+_íéã	 249
+ëä	 248
+âð	 247
+_ãå	 247
Index: /trunk/gsdl/perllib/textcat/Other/hungarian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/hungarian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/hungarian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 19186
+e	 5753
+a	 4627
+t	 4522
+s	 3480
+l	 3437
+n	 3137
+k	 3036
+i	 2527
+r	 2437
+z	 2399
+o	 2303
+á	 2039
+é	 1995
+g	 1978
+m	 1695
+y	 1338
+_a	 1256
+b	 1186
+d	 1148
+a_	 1108
+v	 1057
+t_	 901
+sz	 889
+el	 832
+,	 819
+,_	 818
+h	 792
+k_	 769
+.	 767
+et	 743
+gy	 711
+s_	 705
+_m	 702
+_a_	 695
+en	 671
+ö	 662
+n_	 646
+_k	 645
+j	 623
+._	 613
+i_	 606
+eg	 601
+p	 586
+_e	 580
+u	 579
+le	 576
+ó	 542
+er	 495
+f	 485
+ek	 477
+te	 477
+és	 473
+_s	 471
+al	 464
+ta	 458
+í	 453
+_h	 444
+_t	 442
+an	 426
+ze	 425
+me	 406
+at	 405
+l_	 401
+es	 395
+õ	 387
+y_	 381
+z_	 375
+tt	 374
+ke	 372
+_v	 369
+ás	 368
+ak	 367
+_é	 365
+ny	 363
+tá	 359
+c	 358
+re	 350
+to	 347
+A	 343
+e_	 340
+ü	 332
+ne	 330
+os	 326
+ál	 320
+_f	 320
+az	 317
+zt	 317
+ár	 317
+_n	 315
+ko	 312
+_A	 303
+_sz	 302
+is	 301
+ve	 299
+gy_	 297
+ít	 293
+_b	 293
+ra	 291
+or	 289
+ol	 284
+_i	 281
+em	 279
+_l	 274
+la	 264
+ez	 262
+be	 260
+lt	 260
+ok	 260
+ye	 256
+_me	 252
+on	 251
+en_	 247
+ar	 245
+_az	 245
+in	 243
+án	 242
+se	 242
+ég	 238
+egy	 237
+ha	 237
+r_	 237
+té	 237
+ér	 235
+sze	 233
+én	 226
+ly	 224
+g_	 221
+"	 221
+ll	 219
+iz	 214
+de	 214
+ek_	 213
+mi	 212
+rt	 211
+ba	 209
+ho	 209
+A_	 209
+és_	 209
+az_	 205
+va	 204
+ag	 203
+ka	 202
+na	 202
+og	 201
+ik	 201
+nt	 200
+_A_	 199
+ô	 199
+-	 198
+tt_	 198
+_az_	 197
+ni	 195
+cs	 194
+ki	 190
+kö	 187
+át	 187
+_eg	 187
+nd	 186
+fe	 185
+_és	 185
+lá	 182
+bi	 181
+nk	 180
+_le	 179
+an_	 179
+_és_	 177
+tás	 175
+ké	 174
+meg	 173
+_egy	 172
+ma	 171
+as	 170
+sa	 170
+sí	 169
+ge	 167
+ot	 167
+za	 167
+E	 166
+m_	 165
+_meg	 165
+_el	 165
+bb	 164
+ro	 164
+zá	 163
+he	 162
+má	 161
+sé	 160
+_r	 160
+sít	 160
+tos	 159
+ti	 159
+st	 158
+_j	 158
+él	 157
+it	 156
+_ho	 156
+ül	 156
+_ha	 155
+vé	 154
+am	 152
+oz	 152
+ele	 151
+ya	 151
+zto	 150
+ú	 149
+biz	 147
+so	 147
+et_	 145
+izto	 144
+izt	 144
+ap	 141
+"_	 141
+ed	 141
+ss	 140
+bizt	 140
+ék	 140
+bizto	 140
+iztos	 139
+ét	 139
+ztos	 139
+osít	 138
+zet	 138
+osí	 138
+mé	 137
+_is	 137
+t,	 136
+tosít	 136
+tosí	 136
+t,_	 136
+ó_	 135
+agy	 135
+ztosí	 135
+li	 134
+om	 134
+_fe	 134
+ere	 133
+ág	 133
+t.	 132
+nek	 131
+vi	 129
+_d	 129
+zo	 128
+k,_	 128
+k,	 128
+_kö	 127
+_p	 127
+M	 126
+let	 126
+ak_	 125
+já	 125
+ett	 125
+û	 124
+si	 124
+ész	 123
+_E	 123
+ép	 123
+vá	 123
+rá	 123
+t._	 123
+is_	 123
+S	 123
+ítás	 122
+ítá	 122
+kor	 121
+ai	 121
+fel	 120
+da	 120
+_mi	 120
+pe	 119
+ogy	 118
+ban	 118
+ad	 117
+ga	 116
+_va	 116
+ott	 114
+_ne	 114
+_ki	 113
+ör	 113
+zé	 112
+ben	 112
+_te	 111
+zi	 111
+sá	 110
+ség	 109
+do	 109
+tó	 108
+em_	 108
+_"	 108
+_ta	 108
+_M	 107
+ogy_	 107
+_á	 107
+k.	 106
+ól	 105
+_ke	 105
+_g	 104
+:	 103
+gye	 102
+ák	 102
+hog	 102
+ri	 102
+mo	 101
+ok_	 101
+:_	 101
+hogy	 101
+il	 101
+el_	 100
+zer	 100
+ete	 99
+nn	 99
+nak	 98
+je	 98
+sítá	 98
+szá	 98
+yo	 98
+osítá	 98
+sítás	 98
+_ké	 98
+_hog	 98
+lé	 97
+_S	 97
+_hogy	 97
+ig	 97
+_-	 96
+hogy_	 96
+ban_	 96
+ese	 95
+_bi	 94
+fo	 94
+ja	 94
+ul	 94
+õ_	 94
+k._	 94
+_c	 93
+ká	 91
+es_	 91
+ná	 91
+ény	 91
+gé	 91
+ás_	 91
+egy_	 90
+áb	 90
+rd	 89
+I	 89
+ány	 89
+_biz	 89
+_fel	 88
+öv	 88
+ala	 88
+szer	 88
+po	 88
+_ma	 88
+leg	 88
+tö	 88
+ket	 87
+un	 87
+di	 87
+ai_	 87
+nek_	 87
+rm	 86
+tal	 86
+év	 85
+_is_	 85
+nem	 85
+ti_	 84
+öz	 84
+szt	 84
+ut	 83
+ter	 83
+dé	 83
+kk	 83
+or_	 83
+b_	 82
+né	 82
+os_	 82
+re_	 82
+rs	 82
+_bizt	 82
+min	 82
+ben_	 81
+ra_	 81
+ik_	 81
+go	 80
+len	 80
+lm	 80
+öt	 80
+ely	 80
+aj	 80
+öl	 80
+_sze	 80
+_be	 79
+ev	 79
+ré	 79
+ssz	 79
+nt_	 79
+gya	 79
+K	 79
+si_	 79
+sza	 78
Index: /trunk/gsdl/perllib/textcat/Other/icelandic.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/icelandic.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/icelandic.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 26104
+a	 6496
+r	 6044
+n	 5160
+i	 5123
+s	 3987
+e	 3891
+u	 3582
+t	 3300
+ð	 3126
+l	 3071
+g	 2726
+m	 2459
+k	 2256
+f	 2230
+r_	 1967
+v	 1641
+ar	 1472
+ð_	 1420
+_s	 1332
+á	 1248
+o	 1221
+í	 1197
+a_	 1155
+in	 1150
+i_	 1114
+h	 1023
+j	 975
+d	 974
+st	 929
+að	 925
+.	 922
+n_	 875
+._	 875
+_v	 874
+m_	 854
+nn	 842
+_f	 840
+ur	 824
+_a	 806
+ó	 785
+_h	 782
+æ	 779
+ið	 771
+er	 765
+um	 727
+g_	 716
+y	 711
+_e	 709
+þ	 672
+b	 672
+ir	 671
+ri	 670
+an	 667
+ö	 650
+_á	 648
+að_	 645
+u_	 633
+na	 631
+í_	 625
+ar_	 622
+_þ	 608
+á_	 606
+_í	 595
+ta	 567
+ei	 566
+la	 558
+_m	 549
+_í_	 549
+um_	 547
+t_	 535
+ti	 529
+_o	 524
+ur_	 523
+_að	 519
+ið_	 512
+ði	 496
+ve	 494
+og	 494
+ú	 482
+og_	 479
+_og	 478
+_og_	 478
+nd	 469
+p	 464
+ra	 455
+un	 454
+ir_	 452
+_að_	 451
+ni	 439
+en	 439
+ðu	 439
+_á_	 436
+ng	 434
+il	 404
+ga	 395
+_t	 395
+nu	 393
+ki	 392
+ja	 383
+inn	 379
+_b	 375
+sk	 352
+s_	 350
+vi	 349
+rð	 347
+ða	 345
+ef	 339
+ag	 336
+_u	 330
+se	 324
+lu	 324
+af	 321
+_ve	 320
+tu	 318
+em	 307
+eg	 304
+nn_	 303
+_l	 303
+va	 301
+_k	 296
+,	 295
+ns	 292
+re	 292
+tt	 291
+,_	 291
+l_	 286
+am	 286
+es	 285
+yr	 285
+al	 281
+da	 277
+S	 275
+gu	 273
+_se	 271
+ver	 268
+_g	 266
+ing	 266
+_n	 262
+is	 258
+_er	 257
+sa	 256
+ður	 255
+le	 255
+_st	 255
+_S	 254
+sem	 254
+ll	 254
+me	 253
+ha	 251
+li	 249
+kk	 249
+rs	 247
+_vi	 247
+rn	 246
+sl	 244
+gi	 243
+ss	 242
+rf	 241
+fy	 240
+ði_	 240
+mi	 238
+ka	 237
+ma	 231
+ld	 230
+é	 229
+rir	 227
+sta	 227
+fyr	 227
+ví	 227
+di	 226
+ru	 224
+var	 224
+_fy	 222
+ku	 221
+em_	 221
+nar	 220
+_sem_	 220
+_sem	 220
+sem_	 220
+he	 219
+yri	 217
+_fyr	 216
+si	 216
+yrir	 215
+au	 212
+er_	 212
+ek	 211
+_ha	 210
+þe	 209
+fyri	 207
+fyrir	 207
+_þe	 205
+fi	 204
+fr	 203
+ge	 201
+or	 200
+ne	 200
+ann	 198
+jó	 198
+_va	 196
+_fyri	 196
+_ver	 194
+fl	 192
+_er_	 191
+_um	 189
+ík	 188
+til	 187
+_he	 186
+fa	 186
+il_	 182
+_ti	 178
+_til	 177
+gar	 176
+_var	 176
+na_	 176
+ý	 175
+eð	 171
+fu	 170
+nni	 169
+_me	 168
+ki_	 167
+við	 166
+ey	 165
+fn	 165
+arf	 164
+til_	 163
+st_	 162
+_til_	 162
+þa	 161
+num	 161
+_þa	 161
+as	 160
+_við	 160
+rt	 159
+el	 158
+uð	 156
+inn_	 155
+_um_	 154
+ra_	 153
+bæ	 153
+tar	 151
+ta_	 151
+erð	 151
+ór	 148
+and	 148
+_sa	 146
+ig	 146
+_en	 146
+nga	 145
+rir_	 145
+us	 144
+jar	 143
+et	 143
+ár	 142
+_sk	 140
+ndi	 140
+æð	 139
+var_	 139
+_r	 138
+av	 138
+æk	 137
+nna	 137
+ður_	 136
+ál	 136
+ko	 135
+nin	 135
+við_	 135
+ól	 135
+ins	 134
+ik	 133
+E	 133
+K	 133
+yrir_	 133
+ns_	 133
+on	 133
+ein	 132
+_við_	 132
+ög	 132
+já	 132
+Þ	 132
+öl	 132
+ðs	 132
+_mi	 131
+f_	 131
+sí	 131
+sj	 131
+stu	 131
+nda	 130
+_var_	 130
+gr	 129
+ús	 128
+tæ	 127
+ri_	 126
+haf	 126
+_sí	 125
+vík	 124
+rin	 124
+te	 124
+r.	 124
+r._	 123
+H	 123
+nes	 123
+ót	 123
+ru_	 123
+kr	 122
+F	 122
+ær	 121
+num_	 121
+k_	 121
+a.	 121
+_H	 121
+_fr	 120
+_ge	 120
+rá	 120
+_E	 120
+_Þ	 120
+ug	 120
+ngu	 119
+an_	 119
+inga	 118
+_K	 118
+_haf	 118
+enn	 117
+ars	 117
+rið	 117
+en_	 117
+sin	 116
+kur	 116
+it	 116
+ða_	 116
+ti_	 115
+rði	 114
+tj	 114
+ni_	 114
+at	 114
+tarf	 114
+br	 113
+slu	 113
+kki	 113
+rg	 113
+má	 113
+kv	 113
+_en_	 113
+a._	 112
+gar_	 112
+du	 112
+ju	 110
+eið	 110
+und	 110
+lag	 110
+tur	 110
+ega	 109
+hú	 109
+íð	 109
+gn	 109
+hef	 109
+kj	 109
+_hef	 109
+_sta	 108
+B	 108
+V	 108
+sam	 107
+_ei	 106
+_B	 106
+ft	 106
+ga_	 106
+G	 106
+_G	 105
+lö	 105
+kki_	 105
+star	 104
+in_	 104
+R	 104
+með	 104
+_ár	 103
+_með	 103
+ekk	 103
+inu	 103
+tö	 103
+_V	 103
+m.	 103
+aði	 103
+jö	 102
+æj	 102
+_bæ	 102
+ess	 102
+hús	 101
+ut	 101
+gs	 101
+aví	 101
+mu	 101
+_R	 101
+_ú	 101
+rst	 100
+æjar	 100
+leg	 100
+æja	 100
+ja_	 99
+avík	 99
Index: /trunk/gsdl/perllib/textcat/Other/indonesian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/indonesian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/indonesian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 19406
+a	 10666
+n	 5455
+e	 4535
+i	 4387
+r	 2936
+t	 2902
+an	 2853
+u	 2841
+k	 2761
+s	 2311
+m	 2178
+d	 2134
+g	 2105
+l	 1780
+a_	 1506
+n_	 1476
+ng	 1449
+p	 1397
+b	 1275
+an_	 1270
+o	 1246
+h	 1130
+i_	 1108
+er	 1038
+ka	 1032
+_d	 1006
+y	 997
+,	 951
+en	 941
+ar	 914
+,_	 900
+_m	 880
+ya	 842
+ta	 838
+ang	 797
+di	 787
+da	 773
+.	 754
+la	 742
+._	 738
+me	 732
+ak	 728
+_s	 718
+at	 690
+ra	 688
+ga	 683
+_k	 671
+_me	 650
+in	 628
+ah	 601
+_t	 583
+_p	 570
+g_	 551
+_b	 551
+_di	 548
+ng_	 544
+ma	 536
+se	 526
+tu	 511
+na	 506
+al	 500
+ri	 490
+as	 483
+k_	 482
+j	 480
+si	 470
+ny	 467
+h_	 457
+sa	 452
+ang_	 439
+it	 424
+kan	 423
+ti	 418
+_se	 417
+pe	 412
+S	 409
+ba	 407
+ke	 407
+em	 405
+men	 405
+be	 403
+un	 401
+te	 401
+am	 396
+pa	 395
+nya	 390
+_men	 374
+el	 374
+t_	 371
+_a	 360
+_i	 356
+u_	 355
+kan_	 345
+_ke	 339
+is	 335
+ah_	 324
+_S	 324
+eng	 321
+nga	 320
+ia	 318
+_pe	 316
+ha	 313
+ap	 311
+r_	 308
+w	 305
+li	 301
+_da	 300
+s_	 299
+P	 296
+nd	 290
+_be	 287
+ik	 283
+ja	 281
+yan	 281
+ad	 275
+ek	 273
+uk	 272
+di_	 270
+bu	 269
+ya_	 268
+yang	 268
+ak_	 266
+ber	 265
+_y	 265
+_ya	 264
+_P	 263
+ru	 260
+K	 259
+yang_	 256
+_yang	 256
+_yan	 256
+nt	 255
+de	 253
+_te	 250
+wa	 249
+et	 247
+at_	 246
+ara	 245
+gan	 243
+A	 237
+ari	 235
+ala	 230
+itu	 229
+c	 225
+ol	 225
+ni	 225
+us	 225
+dan	 224
+_K	 224
+M	 224
+B	 223
+ata	 222
+ai	 221
+ur	 219
+nya_	 217
+ua	 215
+_ka	 214
+_ber	 210
+eb	 209
+ran	 206
+D	 206
+ela	 206
+_di_	 205
+_l	 204
+ngan	 204
+ter	 203
+re	 201
+-	 199
+aka	 198
+l_	 194
+_A	 191
+era	 191
+a,	 191
+e_	 190
+ir	 187
+I	 186
+tan	 185
+_B	 184
+ut	 184
+ku	 183
+a,_	 183
+il	 182
+J	 181
+um	 180
+_it	 180
+_itu	 180
+_ta	 179
+su	 179
+dan_	 177
+es	 177
+on	 177
+or	 177
+_dan	 176
+lu	 174
+_M	 172
+tu_	 172
+_dan_	 172
+enga	 171
+mb	 169
+R	 169
+si_	 168
+per	 168
+gan_	 168
+ngan_	 165
+"	 162
+_ter	 162
+a.	 161
+man	 161
+gk	 160
+a._	 160
+asi	 160
+ngk	 160
+ep	 160
+ag	 159
+ul	 158
+da_	 157
+m_	 155
+du	 155
+ada	 153
+ki	 153
+rt	 150
+mp	 150
+T	 150
+ama	 148
+ing	 148
+na_	 147
+_J	 147
+_D	 145
+ung	 145
+ana	 145
+n,	 144
+ju	 144
+ud	 144
+rin	 143
+gi	 143
+aw	 141
+lah	 138
+lan	 138
+_sa	 136
+ri_	 136
+meng	 136
+_meng	 135
+_ma	 134
+n,_	 134
+awa	 134
+st	 134
+eka	 133
+mi	 133
+mu	 132
+_T	 132
+po	 131
+ge	 131
+ar_	 130
+id	 129
+ko	 129
+le	 128
+_h	 128
+ena	 127
+_j	 126
+emb	 126
+ina	 125
+_r	 124
+itu_	 124
+ay	 123
+ngg	 123
+gg	 123
+rang	 123
+pi	 120
+nan	 120
+_ba	 119
+_la	 119
+apa	 119
+_I	 118
+p_	 118
+bi	 117
+ai_	 117
+ta_	 116
+san	 116
+Ke	 116
+ro	 115
+eri	 114
+kar	 113
+lah_	 113
+_itu_	 112
+aya	 111
+i,	 110
+an,	 110
+ra_	 110
+_per	 110
+im	 110
+ika	 109
+isi	 109
+mem	 109
+tah	 108
+_Ke	 108
+ian	 108
+_mem	 108
+akan	 108
+Se	 108
+to	 107
+ab	 107
+ngka	 106
+rs	 106
+gka	 106
+uk_	 105
+seb	 104
+_de	 104
+pu	 104
+i,_	 104
+ita	 104
+nda	 103
+_ti	 103
+ni_	 103
+ca	 103
+_Se	 103
+ers	 103
+pen	 103
+ini	 102
+an,_	 102
+angk	 101
+uh	 101
+han	 101
+nta	 100
+_in	 99
+f	 99
+nj	 99
+ok	 99
+aga	 99
+_R	 98
+as_	 98
+tr	 98
+mer	 97
+lam	 97
+and	 97
+end	 96
+anga	 96
+ne	 96
+Sa	 96
+ka_	 96
+arin	 95
+gu	 95
+_ha	 94
+Z	 94
+al_	 94
+ga_	 94
+_Z	 93
+_pen	 93
+dar	 93
+Ad	 93
+i._	 93
+ada_	 93
+atan	 93
+tak	 93
+i.	 93
+ia_	 92
+asa	 92
+ap_	 92
+ari_	 92
+kat	 92
+_seb	 92
+_Za	 91
+Za	 91
+den	 91
+n.	 90
+_u	 90
+_Ad	 90
+engan	 89
+ib	 89
+any	 89
+n._	 89
+o_	 89
+Zar	 88
+Zari	 88
+rina	 88
+_Zar	 88
+_Zari	 88
+Zarin	 88
+arina	 88
+ks	 88
+angka	 87
+oli	 87
+eg	 87
+kt	 86
+_Sa	 86
+hu	 85
+ih	 85
+us_	 85
+adi	 85
+om	 85
+eba	 85
+anya	 85
+_bu	 84
+denga	 83
+L	 83
+ed	 83
+dak	 83
+deng	 83
+ma_	 82
+asi_	 82
Index: /trunk/gsdl/perllib/textcat/Other/irish.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/irish.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/irish.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 8010
+a	 2622
+i	 1573
+h	 1334
+n	 1247
+r	 968
+_a	 847
+e	 830
+s	 817
+t	 747
+l	 639
+c	 636
+g	 598
+o	 590
+d	 554
+n_	 501
+a_	 487
+m	 432
+an	 415
+u	 413
+b	 379
+h_	 352
+ai	 350
+ch	 350
+ea	 346
+r_	 346
+í	 334
+é	 321
+_s	 309
+á	 306
+in	 281
+ar	 277
+.	 269
+_d	 266
+s_	 254
+ir	 253
+_b	 250
+f	 250
+an_	 246
+,	 241
+,_	 226
+ag	 225
+_an	 221
+bh	 218
+_c	 216
+._	 212
+ac	 210
+ha	 208
+_a_	 201
+"	 199
+_m	 199
+th	 198
+_t	 190
+ach	 182
+_ag	 180
+_an_	 179
+í_	 176
+_l	 168
+na	 168
+nn	 160
+e_	 159
+ar_	 158
+_g	 157
+ú	 156
+_i	 152
+il	 150
+le	 150
+is	 143
+ó	 142
+_bh	 138
+ei	 138
+g_	 135
+_f	 135
+dh	 135
+l_	 126
+t_	 125
+ig	 123
+é_	 122
+_n	 120
+gu	 120
+á_	 120
+mh	 118
+id	 117
+ch_	 117
+ad	 116
+he	 114
+ir_	 114
+ra	 109
+o_	 109
+ach_	 107
+ia	 105
+_ar	 105
+us	 104
+ui	 104
+_"	 101
+us_	 100
+T	 99
+am	 99
+ta	 98
+gus	 98
+gus_	 98
+_le	 97
+gh	 97
+_ch	 97
+agus	 94
+agus_	 94
+agu	 94
+éa	 93
+_agus	 93
+_agu	 93
+ean	 93
+na_	 92
+d_	 92
+ái	 91
+p	 89
+it	 89
+A	 89
+_ar_	 88
+rt	 86
+al	 85
+oi	 84
+sa	 84
+"_	 82
+hai	 81
+_r	 79
+nn_	 79
+hu	 79
+as	 79
+éi	 78
+_T	 78
+ma	 77
+air	 77
+at	 77
+ann	 76
+B	 76
+sé	 76
+hí	 75
+igh	 74
+st	 74
+ga	 73
+go	 71
+ua	 71
+ne	 71
+la	 71
+-	 71
+de	 71
+te	 71
+re	 70
+inn	 70
+ith	 69
+eac	 69
+_sé	 69
+in_	 68
+_go	 68
+hi	 68
+each	 68
+dh_	 68
+si	 67
+ag_	 67
+_go_	 66
+hea	 66
+go_	 66
+tha	 64
+om	 64
+_sé_	 63
+sé_	 63
+hí_	 63
+on	 62
+se	 61
+úi	 60
+nt	 60
+C	 60
+D	 59
+i_	 58
+_ag_	 58
+is_	 58
+ío	 58
+_de	 57
+_B	 56
+il_	 56
+or	 56
+_th	 54
+ca	 53
+fa	 53
+amh	 53
+_A	 53
+le_	 52
+?	 52
+S	 51
+io	 51
+_in	 51
+sí	 51
+li	 51
+rai	 50
+hf	 50
+ht	 50
+eo	 50
+sc	 50
+ri	 49
+:	 49
+igh_	 49
+gh_	 49
+_sí	 49
+:_	 49
+há	 49
+_D	 49
+be	 49
+aig	 49
+hé	 48
+oc	 48
+idh	 48
+rt_	 48
+ho	 47
+os	 47
+ann_	 47
+_C	 46
+!	 46
+Bh	 46
+bhf	 45
+_si	 45
+lt	 45
+_bhf	 45
+irt	 45
+ear	 44
+_na	 44
+ta_	 44
+air_	 44
+_p	 44
+im	 44
+aga	 44
+_ma	 44
+_S	 44
+aigh	 43
+án	 43
+_dh	 43
+uai	 43
+ao	 43
+cht	 43
+ain	 42
+bhe	 42
+ait	 42
+fh	 42
+sa_	 41
+m_	 41
+adh	 41
+ile	 41
+_é	 41
+ail	 41
+eir	 41
+ói	 41
+_Bh	 40
+as_	 40
+cha	 40
+idh_	 40
+hái	 39
+_i_	 39
+bh_	 39
+th_	 39
+ad_	 39
+och	 39
+mh_	 39
+tr	 39
+rea	 38
+_se	 38
+ro	 38
+rí	 38
+hair	 38
+_is	 38
+uil	 37
+iú	 37
+áin	 37
+I	 37
+ll	 37
+mé	 37
+_be	 36
+ba	 36
+eann	 36
+tá	 36
+_o	 36
+M	 36
+aid	 36
+aith	 36
+ib	 36
+'	 36
+tea	 36
+_mé	 35
+chu	 35
+ibh	 35
+each_	 35
+ean_	 34
+irt_	 34
+_na_	 34
+N	 34
+ist	 34
+fu	 34
+mha	 34
+bea	 34
+h.	 34
+_bhe	 34
+lá	 34
+ic	 34
+_sí_	 33
+eis	 33
+bhí	 33
+ni	 33
+héa	 33
+_sa	 33
+ith_	 33
+sí_	 33
+har	 33
+_bhí	 33
+ig_	 32
+ur	 32
+aí	 32
+hr	 32
+_am	 32
+_bhí_	 31
+da	 31
+úir	 31
+hfu	 31
+_chu	 31
+ol	 31
+ne_	 31
+_fa	 31
+An	 31
+Bhí_	 31
+Bhí	 31
+n,	 31
+_ac	 31
+bhí_	 31
+_bhfu	 30
+_ó	 30
+ana	 30
+_M	 30
+mé_	 30
+_fh	 30
+aigh_	 30
+bhfu	 30
+_mé_	 30
+tú	 29
+_le_	 29
+tá_	 29
+hean	 29
+háin	 29
+sin	 29
+eir_	 29
+nne	 29
+cé	 29
+_aga	 29
+h._	 29
+Tá	 29
+ibh_	 29
+iste	 28
+An_	 28
+do	 28
+hui	 28
+fui	 28
+ní	 28
+ste	 28
+acht	 28
+n,_	 28
+co	 28
+dea	 28
+ng	 28
+nach	 28
+id_	 28
+hfui	 28
+..	 28
+lei	 28
+nac	 28
+ce	 27
+a.	 27
+c_	 27
+lea	 27
+hfuil	 27
+_Bhí_	 27
+_bea	 27
+adh_	 27
+di	 27
+fuil	 27
+."	 27
+Tá_	 27
+ha_	 27
+ú_	 27
+uil_	 27
+."_	 27
+bhfui	 27
+_Bhí	 27
+éan	 27
+_do	 27
+lta	 27
+aoi	 27
+_lei	 27
+_mh	 26
+dú	 26
+fuil_	 26
+eat	 26
+-_	 26
+teac	 26
+ath	 26
Index: /trunk/gsdl/perllib/textcat/Other/japanese-shift_jis.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/japanese-shift_jis.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/japanese-shift_jis.lm	(revision 1382)
@@ -0,0 +1,400 @@
+	 9970
+	 2204
+_	 1555
+	 1214
+	 891
+A	 885
+	 846
+Ì	 836
+A	 831
+	 818
+	 815
+Ì	 790
+	 739
+	 729
+	 618
+	 607
+	 589
+	 568
+ð	 566
+	 555
+É	 552
+	 528
+É	 527
+ð	 500
+	 489
+	 481
+µ	 461
+¢	 460
+œ	 453
+	 449
+µ	 449
+Æ	 445
+Í	 440
+B	 419
+Å	 411
+B	 405
+ª	 404
+œ	 404
+¢	 401
+Ä	 396
+È	 389
+Æ	 387
+é	 368
+·	 366
+µ	 363
+Å	 361
+µ	 357
+é	 352
+Í	 352
+Ä	 349
+È	 345
+è	 330
+ª	 321
+	 320
+¢	 320
+¢	 306
+·	 305
+Ü	 292
+©	 284
+@	 282
+_	 281
+Ü	 275
+Ü	 268
+v	 263
+Ü	 258
+È	 256
+ê	 251
+È	 240
+è	 239
+­	 238
+Ä	 234
+à	 232
+Æ	 231
+Å	 226
+@	 220
+œ	 217
+Æ	 214
+Å	 211
+_	 210
+Ä	 205
+©	 204
+©	 203
+œ	 199
+³	 198
+Ì	 195
+ç	 194
+¯	 194
+©	 182
+Á	 182
+è	 181
+ß	 180
+É	 180
+A	 176
+€	 176
+±	 173
+É	 172
+Ì	 172
+v	 169
+»	 169
+·	 167
+ñ	 167
+B_	 166
+N	 166
+B_	 166
+O	 165
+«	 165
+A	 165
+·	 164
+P	 163
+ê	 163
+Á	 159
+æ	 159
+_@	 157
+ê	 156
+·	 155
+[	 153
+ç	 153
+X	 153
+é	 148
+i	 148
+é	 148
+Á	 147
+·B	 146
+±	 146
+·B	 145
+j	 142
+Á	 142
+P	 141
+µÄ	 141
+µÄ	 141
+Í	 141
+à	 141
+·	 137
+V	 137
+ß	 135
+ê	 135
+ú	 134
+u	 133
+[	 132
+€	 131
+l	 129
+å	 129
+s	 128
+Ÿ	 128
+ 	 125
+±	 125
+S	 125
+g	 124
+ª	 123
+³	 123
+ü	 123
+±	 122
+	 122
+Ç	 120
+³	 120
+è	 120
+Š	 120
+\	 119
+Í	 119
+u	 119
+v	 119
+œ	 119
+ß	 118
+W	 118
+Í	 117
+Ü·	 117
+R	 117
+œ	 117
+Ü·	 117
+æ	 114
+â	 114
+ã	 113
+	 113
+{	 113
+N	 112
+ 	 111
+í	 111
+³	 111
+o	 108
+Ü·	 107
+Ü·	 107
+Q	 106
+	 106
+«	 105
+Ü·B	 104
+à	 103
+«	 103
+ç	 103
+	 103
+ì	 102
+»	 102
+ 	 100
+ú	 100
+ 	 100
+ß	 99
+µœ	 98
+µœ	 98
+Ê	 97
+¯	 96
+¶	 96
+ð	 96
+I	 95
+[	 95
+[	 95
+ÍA	 94
+å	 94
+ÍA	 94
+€	 93
+Ä¢	 92
+Â	 92
+Ä¢	 92
+­	 92
+E	 92
+Q	 91
+š	 90
+w	 90
+Ä¢	 89
+Ä¢	 89
+Î	 89
+Œ	 88
+ç	 87
+x	 87
+­	 86
+P	 86
+§	 86
+ª	 86
+n	 86
+	 85
+·é	 85
+·é	 85
+€	 84
+ñ	 84
+¿	 84
+Í	 84
+À	 84
+Ÿ	 83
+œB	 83
+œB	 83
+	 83
+¯	 83
+ï	 82
+²	 82
+v	 80
+Ÿ	 80
+P	 80
+©ç	 79
+¡	 79
+A	 77
+Ý	 77
+¬	 77
+Ç	 77
+µÄ	 77
+µÄ	 77
+ñ	 76
+B	 75
+X	 75
+©ç	 75
+«	 74
+c	 74
+Ù	 74
+O	 73
+Š	 73
+š	 72
+i	 72
+ð	 71
+Š	 71
+B	 71
+æ	 70
+ï	 70
+Û	 70
+y	 70
+Ç	 69
+T	 69
+p	 69
+è	 68
+	 68
+	 68
+·B_	 67
+l	 67
+Z	 67
+æ	 67
+	 67
+ü	 67
+®	 67
+·B_	 67
+Ï	 67
+X	 66
+Ð	 66
+à	 66
+¹	 66
+Í	 66
+A	 66
+â	 65
+¯	 65
+A	 65
+U	 65
+š	 64
+í	 64
+í	 63
+èÜ	 62
+C	 62
+Áœ	 62
+èÜ	 62
+R	 62
+µ	 62
+ÁÄ	 62
+ÁÄ	 62
+Áœ	 62
+_	 61
+èÜ	 61
+µ	 61
+ü	 61
+^	 61
+	 61
+èÜ	 61
+é	 61
+l	 61
+é	 61
+»	 60
+üv	 60
+è	 60
+ü	 60
+v	 60
+üv	 60
+Ô	 60
+í	 60
+±Æ	 60
+	 60
+A	 60
+û	 59
+	 59
+ÈÇ	 59
+ÈÇ	 59
+Â	 59
+¯	 59
+W	 59
+ð	 58
+i	 58
+±Æ	 58
+Q	 58
+j	 58
+­	 58
+N	 58
+{	 57
+»	 57
+ª	 57
+	 57
+ð	 57
+Ì	 56
+É	 56
+µA	 56
+e	 56
+g	 56
+µA	 56
+Ê	 56
+@	 56
+Â	 55
+z	 55
+I	 55
+Y	 55
+Å·	 55
+¿	 55
+èA	 55
+A	 55
+š	 54
+¹	 54
+X	 54
+Ÿ	 54
+t	 54
+Å·	 54
+j	 54
+Š	 53
+É	 53
+±Æ	 53
+ã	 53
+±Æ	 53
+º	 53
+I	 53
+	 53
+ª	 53
+A	 53
+U	 53
+~	 53
+¹	 52
+A	 52
+x	 52
+èA	 52
+Ì	 52
+n	 52
+S	 51
+A	 51
+b	 51
+j	 51
+Ç	 51
+Q	 51
+¢œ	 51
+E	 51
+î	 51
+A	 51
+	 51
Index: /trunk/gsdl/perllib/textcat/Other/latin.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/latin.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/latin.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 20136
+e	 6892
+i	 5604
+a	 5443
+u	 4581
+t	 4552
+s	 4354
+r	 3923
+n	 3375
+m	 3063
+o	 2921
+c	 2224
+l	 1805
+e_	 1625
+s_	 1503
+p	 1424
+d	 1397
+,	 1285
+,_	 1276
+er	 1077
+qu	 1028
+q	 1028
+a_	 1019
+t_	 1018
+is	 942
+_a	 921
+re	 902
+m_	 891
+v	 858
+b	 821
+um	 808
+_s	 773
+us	 772
+en	 766
+nt	 733
+in	 729
+ue	 727
+te	 720
+g	 718
+_i	 710
+_p	 679
+it	 676
+_c	 669
+et	 653
+que	 652
+_e	 643
+at	 643
+ue_	 616
+ra	 614
+que_	 611
+f	 601
+or	 598
+ri	 576
+ti	 572
+ta	 559
+tu	 552
+an	 551
+ae	 527
+_m	 513
+am	 501
+_t	 493
+us_	 488
+is_	 487
+es	 479
+em	 479
+_f	 451
+um_	 443
+_v	 442
+ia	 442
+li	 438
+_d	 436
+.	 432
+i_	 430
+et_	 429
+ni	 412
+ne	 409
+h	 406
+de	 404
+ur	 396
+._	 392
+ar	 388
+os	 388
+mi	 382
+pe	 382
+la	 376
+st	 371
+s,	 368
+di	 367
+_et	 366
+s,_	 365
+_in	 363
+on	 360
+o_	 359
+_n	 351
+_et_	 351
+as	 346
+im	 336
+na	 327
+se	 320
+ma	 315
+cu	 307
+vi	 306
+si	 303
+ro	 303
+r_	 302
+su	 299
+un	 295
+_l	 291
+to	 291
+ec	 290
+ci	 288
+co	 287
+_r	 287
+ere	 286
+ce	 284
+tr	 280
+re_	 278
+ent	 275
+x	 275
+ct	 274
+ve	 271
+ru	 259
+ul	 256
+me	 255
+ui	 255
+c_	 252
+_o	 250
+ic	 249
+ns	 247
+_qu	 242
+_q	 242
+no	 241
+ant	 235
+am_	 235
+_co	 233
+sa	 231
+ca	 230
+t,	 226
+mu	 225
+t,_	 225
+_re	 223
+el	 222
+ib	 222
+id	 218
+om	 212
+_te	 211
+al	 209
+le	 209
+it_	 208
+mo	 208
+ol	 206
+_u	 203
+;	 199
+_h	 199
+ac	 198
+;_	 198
+bu	 197
+nu	 196
+ua	 195
+n_	 195
+ll	 194
+tis	 191
+A	 189
+rt	 188
+ge	 188
+nd	 187
+au	 187
+lu	 186
+iu	 185
+squ	 185
+per	 185
+sq	 185
+ter	 185
+pa	 183
+_A	 183
+em_	 183
+ia_	 180
+ed	 179
+_pe	 178
+m,	 176
+sque	 175
+_su	 175
+ae_	 175
+m,_	 175
+pr	 175
+bi	 175
+bus	 174
+_vi	 174
+os_	 173
+ta_	 172
+mqu	 171
+mq	 171
+ss	 170
+sque_	 169
+ibu	 167
+ad	 166
+ibus	 165
+I	 164
+nte	 163
+ra_	 163
+mque	 162
+_de	 162
+po	 161
+_se	 160
+ere_	 160
+nc	 160
+qua	 159
+T	 159
+lo	 157
+oc	 156
+mque_	 156
+_T	 155
+_pa	 155
+_pr	 155
+tem	 154
+bus_	 152
+nti	 149
+rum	 149
+er_	 149
+ab	 148
+ir	 148
+da	 147
+_ve	 146
+ibus_	 146
+ex	 146
+ut	 145
+pi	 145
+tur	 145
+_ca	 143
+_me	 142
+es_	 142
+gi	 142
+te_	 141
+_I	 141
+vo	 141
+do	 141
+_si	 140
+tus	 139
+il	 137
+_ar	 136
+du	 133
+nt_	 133
+uc	 133
+fa	 132
+as_	 132
+rr	 131
+ba	 130
+_ad	 128
+ne_	 127
+_ma	 127
+ens	 127
+gn	 126
+s.	 126
+y	 126
+min	 125
+ris	 124
+in_	 123
+tum	 123
+P	 123
+_g	 123
+mp	 123
+e,	 122
+io	 122
+_P	 122
+ea	 122
+hi	 122
+e,_	 121
+era	 120
+sc	 120
+_la	 120
+qui	 120
+unt	 120
+fe	 119
+_in_	 118
+_no	 118
+ore	 118
+iam	 118
+va	 117
+tis_	 117
+s._	 117
+at_	 117
+eri	 116
+d_	 116
+con	 115
+fu	 115
+pu	 114
+cum	 114
+ub	 114
+ng	 114
+ine	 113
+_au	 113
+:	 113
+_di	 112
+ag	 111
+_con	 111
+ect	 111
+i,	 111
+equ	 111
+i,_	 111
+be	 111
+eq	 111
+_po	 110
+so	 110
+:_	 110
+nis	 109
+ha	 109
+uo	 109
+_fa	 108
+na_	 107
+ip	 107
+is,	 107
+_cu	 106
+cr	 106
+ate	 105
+is,_	 105
+ig	 105
+tor	 105
+rat	 104
+_qua	 103
+eg	 103
+a,	 103
+a,_	 102
+tra	 102
+_mo	 101
+sp	 101
+mis	 100
+itu	 100
+D	 99
+ali	 99
+eb	 99
+eni	 99
+_sa	 98
+ie	 98
+imu	 98
+_ex	 97
+_D	 96
+res	 95
+est	 94
+tri	 94
+ene	 94
+_mi	 94
+str	 94
+enti	 93
+t.	 92
+av	 92
+_per	 91
+ur_	 91
+ora	 91
+lt	 91
+umqu	 90
+_vo	 90
+umq	 90
+up	 89
+t._	 88
+quo	 88
+_ne	 88
+gen	 88
+rum_	 87
+tqu	 87
+tq	 87
+_fu	 86
+ep	 86
+ma_	 86
+umque	 86
+it,_	 85
+ine_	 85
+it,	 85
+men	 85
+mus	 84
+ort	 83
+ven	 83
+ina	 83
+us,_	 83
+us,	 83
+tque	 82
+_ge	 82
+per_	 82
+mor	 82
+inc	 82
+are	 81
+tus_	 81
+_an	 81
+rim	 81
+tque_	 81
+ot	 81
+ani	 80
+H	 80
+_tu	 80
+ho	 80
+tem_	 80
+u_	 80
+ser	 79
+um,_	 79
+um,	 79
+S	 79
+ten	 79
+ver	 79
+sti	 79
+ntu	 78
+fer	 78
Index: /trunk/gsdl/perllib/textcat/Other/latvian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/latvian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/latvian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 24504
+a	 8735
+i	 7353
+s	 6064
+t	 5176
+e	 4390
+r	 4339
+u	 4200
+n	 3422
+â	 3055
+m	 2817
+p	 2755
+k	 2703
+o	 2643
+s_	 2595
+d	 2131
+l	 2035
+j	 1972
+î	 1958
+ie	 1887
+v	 1822
+as	 1530
+u_	 1396
+_p	 1380
+b	 1357
+z	 1311
+ç	 1267
+a_	 1261
+as_	 1217
+.	 1065
+,	 1048
+,_	 1033
+g	 1010
+ar	 970
+ð	 965
+ti	 962
+c	 922
+_a	 876
+ja	 838
+st	 828
+_i	 822
+_v	 805
+pa	 792
+_t	 775
+._	 774
+um	 760
+_k	 749
+â_	 734
+_n	 728
+es	 712
+i_	 706
+at	 703
+is	 695
+_s	 680
+ai	 649
+ta	 635
+an	 631
+ka	 621
+r_	 615
+îb	 586
+ij	 585
+_u	 568
+_pa	 548
+un	 541
+no	 539
+va	 537
+ma	 525
+ra	 522
+ri	 515
+iz	 512
+in	 509
+vi	 508
+pr	 506
+sa	 487
+ju	 486
+tâ	 483
+ik	 473
+n_	 472
+am	 454
+en	 452
+tie	 440
+na	 432
+ða	 430
+tu	 420
+ija	 420
+ir	 419
+o_	 415
+m_	 414
+li	 411
+ci	 409
+ku	 404
+mi	 401
+_no	 398
+ek	 398
+_un	 397
+t_	 395
+_l	 394
+un_	 393
+_d	 393
+ot	 392
+_un_	 392
+ies	 391
+ar_	 388
+nâ	 387
+da	 387
+ei	 385
+em	 382
+_ti	 382
+pi	 380
+al	 368
+ba	 356
+ts	 355
+_iz	 353
+ap	 350
+jas	 349
+ko	 346
+au	 345
+ðan	 339
+re	 339
+ni	 337
+kâ	 328
+ro	 327
+et	 326
+rî	 325
+ga	 323
+mu	 322
+jas_	 321
+tr	 317
+_va	 312
+te	 310
+_pr	 307
+sp	 298
+sk	 297
+ne	 295
+îba	 293
+âs	 289
+ijas	 287
+_ar	 283
+la	 283
+to	 282
+ad	 280
+dz	 278
+îg	 277
+tî	 277
+çj	 277
+_sa	 277
+jâ	 274
+_m	 273
+ties	 273
+lî	 272
+ijas_	 269
+_at	 269
+ed	 267
+_pi	 267
+ò	 267
+s,	 265
+s,_	 265
+çr	 261
+gu	 258
+f	 258
+si	 257
+mâ	 256
+nt	 254
+tu_	 254
+_r	 253
+ru	 252
+âj	 251
+jum	 251
+âs_	 250
+ât	 249
+iem	 248
+_b	 248
+_vi	 245
+par	 244
+pie	 244
+rt	 243
+vç	 242
+_ne	 240
+âr	 240
+ai_	 239
+_.	 239
+_j	 237
+us	 237
+_ka	 236
+er	 232
+bas	 232
+_tie	 232
+_par	 230
+di	 229
+û	 228
+ms	 228
+âd	 226
+îbas	 224
+om	 220
+bu	 219
+umu	 217
+iek	 216
+kt	 216
+it	 216
+râ	 215
+_ko	 214
+ana	 211
+âk	 211
+or	 210
+de	 210
+inâ	 207
+dî	 204
+ur	 203
+pri	 203
+_c	 202
+ta_	 202
+bas_	 201
+es_	 201
+_pie	 200
+il	 200
+os	 199
+ðana	 199
+id	 198
+L	 198
+_ie	 197
+bi	 194
+ak	 194
+ja_	 194
+îbas_	 193
+çt	 192
+îbu	 192
+_g	 191
+ï	 189
+ma_	 189
+ien	 188
+kum	 187
+	 187
+_ir	 186
+on	 186
+_ties	 185
+zî	 185
+ce	 185
+ied	 184
+ist	 183
+ts_	 183
+_	 183
+_	 182
+âm	 181
+vie	 180
+__	 180
+cij	 180
+ka_	 179
+_ap	 175
+sî	 174
+ir_	 174
+zi	 174
+uma	 173
+âl	 172
+_ir_	 172
+oð	 171
+_da	 169
+î_	 168
+arî	 168
+)	 167
+do	 166
+ve	 166
+(	 165
+ls	 165
+bu_	 164
+val	 164
+mu_	 164
+isk	 163
+uz	 161
+av	 160
+par_	 160
+_vç	 159
+_par_	 158
+vçr	 158
+_ar_	 157
+rie	 157
+_uz	 157
+aj	 156
+îbu_	 156
+oj	 155
+kâ_	 155
+ld	 154
+iet	 154
+iku	 154
+ks	 153
+du	 153
+ep	 153
+ms_	 152
+ec	 152
+V	 151
+ais	 150
+str	 150
+nie	 149
+am_	 149
+ums	 148
+_(	 147
+ju_	 146
+z_	 142
+ru_	 142
+îj	 142
+gum	 142
+u,_	 141
+u,	 141
+iò	 141
+uma_	 141
+çrt	 141
+îgu	 141
+me	 140
+dâ	 140
+ît	 140
+ent	 139
+ikum	 138
+pâ	 138
+em_	 138
+_L	 138
+lie	 136
+sta	 136
+rî_	 136
+lst	 136
+eik	 135
+se	 135
+s.	 134
+pro	 134
+rs	 134
+s._	 134
+tik	 134
+lç	 134
+ska	 133
+pap	 133
+kas	 133
+rm	 133
+âju	 133
+pî	 132
+nu	 132
+T	 132
+pç	 131
+tei	 131
+nas	 131
+_V	 131
+jo	 131
+lîg	 131
+ut	 131
+iem_	 130
+ras	 129
+pu	 129
+_li	 129
+_ga	 128
+dar	 128
+_kâ	 128
+umu_	 127
+îv	 126
+îgum	 126
+kas_	 126
+tîb	 125
+vai	 125
+lîgu	 125
+P	 125
+arî_	 125
+ev	 124
+lai	 124
+îr	 124
+lîgum	 124
+tv	 123
+að	 123
+_arî_	 122
+_arî	 122
+_vie	 121
+S	 121
+_T	 120
+îju	 120
+teik	 120
+cija	 119
+rb	 119
+_ð	 119
+jâ_	 119
+nas_	 118
+tâj	 118
+vçrt	 118
+iec	 118
+_la	 117
+îd	 116
+_vai	 116
+îjum	 116
+vien	 116
+als	 116
+_lî	 116
+apîr	 115
+rts	 115
+isi	 115
+pîr	 115
+papî	 115
+papîr	 115
+apî	 115
+tsp	 115
+mç	 114
+im	 114
+be	 114
+is_	 114
+alst	 114
+_ja	 114
+rtspa	 113
Index: /trunk/gsdl/perllib/textcat/Other/lithuanian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/lithuanian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/lithuanian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 23070
+i	 8196
+a	 7763
+s	 5179
+e	 3458
+o	 3425
+u	 3371
+t	 3344
+r	 3240
+n	 3070
+k	 3019
+l	 2060
+p	 1889
+s_	 1756
+m	 1680
+d	 1640
+v	 1590
+,	 1501
+,_	 1497
+ó	 1400
+g	 1302
+j	 1200
+o_	 1138
+.	 1128
+ai	 1113
+÷	 1075
+_p	 1047
+_k	 1035
+i_	 990
+._	 984
+as	 975
+b	 937
+au	 903
+is	 863
+_n	 815
+ka	 811
+si	 804
+_s	 799
+ia	 796
+ý	 759
+ta	 735
+ie	 731
+ti	 728
+y	 721
+_t	 711
+in	 697
+_i	 686
+us	 675
+pa	 658
+ir	 640
+ar	 633
+ù	 620
+_a	 617
+r_	 609
+ne	 583
+a_	 578
+ri	 569
+_v	 558
+_pa	 541
+al	 540
+ra	 531
+li	 522
+Ý	 509
+u_	 493
+vi	 490
+_ka	 489
+da	 487
+_ne	 482
+_j	 481
+en	 478
+ù_	 445
+os	 444
+ki	 442
+õ	 441
+an	 440
+ik	 434
+ma	 433
+as_	 430
+st	 420
+_d	 420
+ai_	 417
+s,_	 396
+am	 396
+is_	 396
+s,	 396
+_ir	 390
+jo	 387
+ir_	 385
+at	 384
+_ir_	 383
+i÷	 381
+ni	 377
+ga	 376
+_b	 367
+na	 366
+e_	 365
+to	 352
+pr	 337
+_g	 332
+_m	 332
+û	 328
+ß	 326
+io	 323
+ei	 323
+Ý_	 321
+su	 320
+ßi	 320
+uo	 319
+la	 317
+er	 303
+va	 299
+vo	 298
+ýi	 293
+es	 291
+-	 290
+ó_	 286
+-_	 285
+_vi	 284
+_-	 283
+ko	 283
+_-_	 283
+iau	 281
+sa	 278
+s.	 278
+iu	 276
+et	 274
+nu	 265
+ja	 262
+õ_	 262
+_ta	 262
+s._	 259
+el	 258
+ój	 258
+os_	 256
+im	 255
+it	 254
+_pr	 253
+no	 252
+av	 251
+ur	 251
+_÷	 248
+mi	 246
+ve	 245
+ak	 245
+ku	 243
+ek	 241
+tu	 241
+_ý	 241
+ad	 241
+ñ	 238
+_l	 238
+_i÷	 236
+us_	 236
+_su	 232
+oj	 231
+au_	 231
+ba	 224
+nt	 218
+me	 214
+te	 210
+jo_	 208
+ro	 205
+ós	 204
+iù	 203
+tai	 203
+_õ	 201
+ló	 201
+pas	 200
+ip	 198
+iai	 197
+di	 195
+usi	 194
+vo_	 193
+kai	 190
+i,	 189
+i,_	 189
+sk	 187
+_r	 186
+aus	 184
+ap	 183
+gi	 182
+mo	 182
+uk	 181
+t_	 180
+_da	 177
+be	 176
+ien	 176
+o,	 174
+il	 174
+o,_	 173
+ti_	 173
+re	 172
+_nu	 171
+ßia	 171
+_pas	 169
+pri	 169
+÷_	 169
+ok	 168
+dó	 166
+ól	 162
+bu	 161
+÷i	 160
+on	 160
+asi	 159
+id	 158
+ul	 157
+ji	 157
+aip	 156
+ia_	 155
+_sa	 154
+ot	 154
+gal	 153
+nk	 153
+om	 152
+p_	 151
+_pri	 151
+od	 151
+vis	 150
+_at	 150
+vie	 150
+uv	 150
+ab	 150
+iù_	 149
+ama	 149
+nó	 149
+A	 149
+sta	 148
+kr	 148
+_A	 145
+ais	 144
+rt	 143
+J	 142
+_J	 142
+ójo	 142
+_õ_	 141
+K	 140
+_K	 139
+pi	 139
+avo	 139
+ng	 139
+mas	 138
+du	 138
+ug	 137
+_ga	 137
+ol	 136
+tik	 135
+ali	 135
+..	 135
+_vis	 135
+iek	 134
+ini	 133
+kad	 133
+a,	 133
+le	 133
+kó	 133
+T	 133
+tó	 132
+i.	 132
+_T	 131
+dý	 131
+a,_	 131
+go	 131
+ip_	 131
+aip_	 131
+ró	 129
+a÷	 129
+dýi	 129
+ke	 128
+k_	 128
+d_	 127
+ad_	 127
+_ti	 127
+_ma	 126
+_va	 125
+i._	 124
+z	 123
+÷k	 123
+iau_	 121
+m_	 120
+kar	 119
+um	 119
+tù	 119
+_kad	 118
+uý	 117
+tr	 117
+_kai	 117
+as,	 116
+og	 116
+kad_	 116
+as,_	 116
+_ji	 116
+rie	 115
+yt	 114
+_ja	 114
+_ko	 114
+vó	 114
+ys	 114
+jau	 113
+ar_	 113
+pra	 112
+aý	 112
+ant	 112
+kl	 111
+tas	 111
+gu	 111
+_ku	 110
+si_	 110
+pe	 109
+eb	 109
+N	 109
+ójo_	 108
+_kad_	 108
+se	 108
+_ki	 108
+or	 107
+ly	 107
+lo	 107
+iai_	 107
+_la	 106
+ts	 106
+ñs	 106
+ig	 105
+_N	 105
+ut	 105
+_u	 105
+ós_	 105
+avo_	 104
+ie_	 104
+a.	 104
+kt	 104
+em	 103
+do	 103
+je	 102
+ks	 102
+ats	 101
+_be	 101
+ris	 101
+l_	 101
+_vie	 101
+tin	 101
+ag	 100
+dam	 100
+_st	 100
+a._	 99
+_bu	 99
+?	 99
+V	 98
+io_	 98
+kas	 98
+_jo	 98
+vien	 97
+_gal	 97
+ót	 97
+kia	 97
+lia	 96
+c	 96
+uri	 96
+_V	 96
+?_	 96
+uvo	 95
+ru	 95
+ty	 95
+ep	 94
+nd	 94
+lai	 94
+_tai	 94
+ju	 93
+man	 92
+o.	 92
+buv	 92
+tÝ	 92
+_÷i	 91
+i÷_	 91
+_i÷_	 91
+i÷k	 90
+o._	 90
+_to	 90
+bi	 90
+up	 89
+po	 89
+rs	 89
+_prie	 88
+ù,_	 88
+aik	 88
+ui	 88
+_tik	 88
+ij	 88
+ù,	 88
+pat	 88
+prie	 88
+I	 87
+ies	 87
+tai_	 87
+n_	 87
+pasi	 87
+ius	 87
+÷t	 87
+eik	 86
+_me	 86
+ina	 86
Index: /trunk/gsdl/perllib/textcat/Other/malay.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/malay.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/malay.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 87128
+a	 50232
+n	 25424
+e	 18746
+i	 18605
+an	 14419
+u	 12470
+k	 11955
+t	 11875
+r	 11007
+d	 9856
+g	 9545
+m	 9390
+s	 8926
+l	 8631
+n_	 8004
+an_	 7095
+p	 6890
+a_	 6739
+b	 6645
+ng	 6630
+h	 5964
+da	 5153
+_d	 5107
+er	 4625
+ka	 4448
+la	 4339
+y	 4323
+i_	 4295
+en	 4159
+ya	 3800
+ang	 3778
+_m	 3750
+o	 3593
+.	 3539
+._	 3310
+at	 3288
+ah	 3216
+_b	 3199
+_s	 3177
+ta	 3076
+ra	 3036
+_k	 2949
+g_	 2939
+ng_	 2933
+ar	 2915
+_p	 2906
+me	 2884
+ga	 2781
+di	 2778
+ak	 2727
+al	 2705
+_me	 2671
+ang_	 2524
+h_	 2509
+ba	 2508
+pa	 2454
+kan	 2449
+in	 2437
+tu	 2411
+_t	 2376
+sa	 2338
+_da	 2276
+j	 2276
+pe	 2225
+,	 2150
+k_	 2147
+ma	 2143
+se	 2138
+am	 2131
+kan_	 2117
+_di	 2082
+,_	 2079
+ke	 2048
+un	 2004
+be	 1947
+_a	 1925
+na	 1871
+ti	 1868
+ri	 1861
+u_	 1857
+as	 1854
+ny	 1827
+ha	 1789
+te	 1788
+_pe	 1768
+em	 1750
+it	 1737
+_i	 1732
+_ke	 1711
+yan	 1706
+ad	 1698
+ia	 1673
+yang	 1673
+_y	 1668
+_ya	 1655
+yang_	 1653
+_se	 1648
+ah_	 1646
+_yan	 1639
+_yang	 1639
+ala	 1612
+nya	 1587
+el	 1576
+ik	 1571
+t_	 1568
+ai	 1549
+men	 1531
+eng	 1522
+_men	 1464
+nga	 1441
+dan	 1366
+_be	 1365
+si	 1343
+uk	 1328
+ada	 1299
+nt	 1291
+__	 1287
+ap	 1276
+ua	 1265
+___	 1238
+-	 1213
+ja	 1211
+ber	 1204
+gan	 1203
+_ba	 1193
+____	 1189
+ni	 1181
+_te	 1169
+c	 1143
+ran	 1141
+_____	 1140
+m_	 1127
+ara	 1118
+per	 1099
+le	 1084
+_dan	 1083
+dan_	 1079
+ngan	 1060
+_dan_	 1050
+ya_	 1046
+at_	 1044
+da_	 1021
+li	 1016
+aka	 1013
+A	 999
+r_	 999
+w	 997
+eb	 995
+lah	 980
+ata	 980
+ak_	 978
+nd	 974
+_ber	 955
+gi	 936
+is	 933
+il	 931
+tu_	 923
+s_	 920
+gan_	 915
+mb	 913
+wa	 904
+ag	 903
+ngan_	 898
+ter	 887
+nya_	 877
+S	 873
+ek	 853
+ru	 852
+_l	 838
+ela	 828
+itu	 824
+ol	 822
+aha	 822
+ada_	 820
+pu	 812
+di_	 807
+bu	 807
+am_	 804
+ur	 801
+tan	 790
+mp	 790
+_per	 786
+_sa	 784
+M	 782
+ut	 781
+us	 779
+era	 779
+lam	 778
+lah_	 775
+asa	 767
+ki	 761
+ir	 759
+de	 756
+enga	 750
+su	 748
+du	 741
+id	 739
+"	 733
+akan	 732
+apa	 728
+_S	 724
+ul	 721
+lu	 717
+ari	 717
+dal	 704
+et	 698
+es	 698
+pad	 688
+_ma	 688
+_M	 685
+ana	 684
+bi	 679
+pada	 673
+dala	 673
+l_	 671
+ep	 664
+f	 662
+_di_	 658
+B	 655
+ing	 655
+_j	 654
+ika	 653
+ku	 650
+_.	 644
+akan_	 642
+ama	 637
+pen	 636
+alam	 634
+eh	 634
+pada_	 633
+ai_	 632
+_ter	 632
+K	 631
+mu	 628
+ju	 628
+P	 626
+mem	 625
+au	 622
+_mem	 614
+lan	 612
+_._	 611
+ntu	 608
+lam_	 605
+um	 601
+on	 600
+gk	 597
+_in	 597
+ngk	 597
+a.	 584
+meng	 582
+_meng	 578
+alam_	 577
+_A	 576
+aa	 575
+uk_	 572
+_pen	 569
+ban	 569
+or	 569
+st	 566
+ay	 566
+dar	 565
+_pa	 564
+a._	 564
+_h	 562
+bah	 562
+_P	 560
+D	 559
+ri_	 558
+ini	 552
+_de	 551
+rt	 550
+aan	 545
+_it	 542
+_itu	 542
+nda	 540
+eri	 540
+dalam	 537
+_B	 533
+_dal	 532
+ip	 532
+_dala	 532
+ta_	 528
+_u	 527
+ung	 525
+ih	 524
+aw	 520
+_n	 519
+atu	 517
+ila	 513
+mi	 513
+leh	 513
+ian	 512
+tuk	 509
+awa	 508
+gu	 506
+ert	 506
+engan	 505
+ole	 504
+_K	 501
+seb	 497
+ca	 496
+gg	 493
+_ta	 489
+ra_	 488
+ngg	 488
+itu_	 487
+emb	 482
+ni_	 482
+ida	 482
+nj	 482
+_ti	 479
+man	 478
+den	 477
+_D	 474
+_ka	 473
+aj	 470
+oleh	 468
+n.	 468
+n._	 464
+ngka	 464
+gka	 464
+dak	 464
+anga	 461
+ena	 459
+san	 458
+pat	 458
+rk	 458
+(	 455
+ent	 454
+agi	 453
+)	 451
+ia_	 450
+ge	 450
+ab	 449
+im	 447
+_ini	 446
+ntuk	 445
+I	 445
+ar_	 440
+N	 439
+aan_	 436
+_la	 433
+pi	 432
+baha	 431
+deng	 430
+han	 430
+bag	 429
+eh_	 429
+hu	 429
+denga	 428
+_o	 427
+na_	 427
+T	 425
+leh_	 422
+_den	 422
+ka_	 419
+any	 415
+ud	 415
+rang	 414
+anya	 413
+gi_	 412
+angan	 412
+a,	 411
+_deng	 410
+ita	 409
+kat	 408
+re	 408
+_(	 406
+tuk_	 403
+aga	 401
+ne	 400
+and	 399
+aya	 398
+_dar	 397
+a,_	 396
+ro	 396
+ntuk_	 393
+eba	 392
+aran	 390
+_"	 387
+ed	 385
+end	 384
+ko	 383
+sa_	 381
+p_	 381
+ara_	 380
+_seb	 379
+alah	 379
+oleh_	 379
+an.	 378
+dak_	 378
+eg	 378
+hi	 376
+dari	 375
+an._	 375
+au_	 373
+bo	 373
+ti_	 371
+ula	 371
Index: /trunk/gsdl/perllib/textcat/Other/manx.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/manx.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/manx.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 36004
+e	 9455
+a	 8302
+y	 6395
+n	 6395
+h	 5736
+r	 4939
+s	 4799
+o	 4429
+i	 4129
+l	 3462
+y_	 2896
+g	 2731
+n_	 2549
+d	 2232
+t	 2160
+_a	 1836
+m	 1823
+sh	 1774
+e_	 1746
+h_	 1645
+yn	 1550
+c	 1531
+ee	 1515
+gh	 1461
+s_	 1460
+_s	 1388
+ey	 1345
+_e	 1316
+ag	 1312
+a_	 1201
+r_	 1173
+agh	 1165
+in	 1148
+as	 1136
+_d	 1136
+u	 1124
+he	 1060
+yn_	 1025
+oo	 1012
+ey_	 1005
+_m	 1002
+er	 965
+v	 949
+_y	 941
+_v	 895
+_c	 891
+_as	 880
+'	 869
+,	 866
+_n	 832
+ll	 828
+,_	 827
+_sh	 818
+.	 802
+hi	 797
+as_	 770
+ee_	 768
+ne	 767
+_as_	 764
+b	 762
+re	 735
+ay	 730
+._	 730
+an	 726
+ar	 725
+gh_	 722
+ny	 709
+en	 703
+_r	 697
+ch	 688
+agh_	 687
+dy	 686
+t_	 677
+le	 667
+k	 658
+er_	 616
+oi	 612
+ea	 607
+_t	 601
+yr	 596
+_er	 585
+ra	 574
+_dy	 572
+in_	 570
+l_	 564
+f	 557
+_l	 556
+ha	 551
+_g	 548
+_ny	 534
+nn	 530
+"	 528
+_ch	 527
+_y_	 524
+ie	 514
+dy_	 514
+_dy_	 513
+aa	 510
+_f	 509
+j	 504
+sh_	 487
+oa	 480
+is	 478
+_h	 470
+rr	 468
+ny_	 467
+_ny_	 463
+_er_	 454
+ish	 445
+ho	 442
+ai	 441
+d_	 435
+ro	 423
+ht	 418
+ei	 417
+shi	 416
+il	 409
+me	 408
+_ay	 403
+_b	 403
+la	 400
+_j	 400
+my	 394
+va	 391
+ns	 386
+on	 385
+_o	 381
+ys	 380
+_shi	 379
+ia	 377
+ayn	 373
+_va	 371
+hen	 362
+she	 356
+ri	 345
+lle	 342
+ooi	 342
+mee	 340
+ley	 335
+_me	 331
+el	 330
+rt	 328
+ie_	 327
+eh	 324
+w	 316
+_ayn	 313
+al	 311
+g_	 309
+ish_	 308
+lley	 307
+mee_	 305
+_mee	 304
+ill	 301
+es	 299
+na	 299
+je	 298
+yns	 296
+C	 294
+_my	 291
+_she	 290
+ley_	 282
+V	 280
+_yn	 278
+_"	 278
+_mee_	 277
+ta	 272
+_V	 271
+ys_	 268
+-	 268
+lley_	 265
+hin	 264
+_ro	 259
+shin	 256
+_yn_	 255
+_je	 255
+do	 253
+va_	 253
+ne_	 253
+_va_	 252
+ns_	 252
+_shin	 251
+yns_	 250
+ayns	 248
+en_	 247
+che	 246
+_ayns	 246
+eh_	 246
+_do	 242
+ad	 241
+ney	 240
+o_	 240
+ym	 240
+ed	 239
+yr_	 239
+ayns_	 237
+ur	 237
+st	 234
+_C	 234
+rt_	 234
+'n	 232
+m_	 232
+p	 231
+li	 231
+or	 230
+ow	 228
+hin_	 225
+da	 225
+shen	 223
+"_	 223
+'n_	 223
+Va	 221
+ght	 220
+shin_	 219
+tr	 217
+_Va	 217
+ry	 216
+ve	 216
+_shen	 215
+ty	 214
+mo	 206
+_'	 205
+_ve	 205
+ma	 203
+be	 203
+te	 203
+hie	 203
+hey	 203
+nag	 202
+ll_	 201
+yl	 200
+w_	 200
+ss	 200
+aa_	 198
+nagh	 198
+an_	 197
+io	 195
+ow_	 194
+it	 194
+sy	 193
+ayr	 193
+ney_	 192
+E	 192
+sht	 192
+ni	 191
+_k	 190
+ha_	 190
+ain	 189
+u_	 189
+hy	 189
+aght	 188
+oo_	 188
+ree	 188
+lh	 187
+_tr	 186
+esh	 186
+_che	 183
+yrt	 182
+_da	 182
+oar	 182
+doo	 181
+k_	 181
+se	 180
+au	 180
+ille	 179
+ar_	 179
+_lh	 179
+ki	 177
+arr	 176
+ec	 176
+ol	 175
+_doo	 175
+T	 175
+row	 175
+_row	 174
+ge	 173
+so	 172
+oy	 171
+oil	 170
+_re	 170
+_ag	 170
+'e	 169
+rey	 169
+illey	 169
+ck	 168
+ad_	 168
+ann	 168
+n,	 166
+eea	 166
+_ta	 166
+ht_	 165
+ae	 162
+_row_	 162
+!	 162
+row_	 162
+ane	 161
+fe	 161
+dd	 160
+go	 159
+tyn	 159
+oin	 158
+ooa	 158
+n.	 158
+eg	 156
+_ec	 156
+_ma	 156
+_agh	 155
+n,_	 154
+_fe	 154
+Ch	 154
+nyn	 153
+fo	 152
+eay	 152
+nagh_	 152
+n._	 152
+_go	 151
+S	 150
+ke	 150
+hey_	 150
+enn	 150
+cha	 149
+rre	 149
+_fo	 149
+ghe	 149
+raa	 149
+G	 148
+lan	 148
+mm	 147
+ym_	 147
+A	 146
+c_	 146
+oill	 145
+hee	 144
+ooar	 144
+_E	 144
+nne	 143
+tey	 142
+ir	 141
+de	 141
+hyn	 140
+_he	 140
+nyn_	 140
+'s	 139
+_gh	 139
+_cha	 138
+L	 138
+yrt_	 138
+_Ch	 137
+e,	 137
+lla	 136
+Va_	 136
+ooin	 136
+ell	 135
+a'	 135
+os	 135
+_oo	 134
+am	 134
+rish	 133
+th	 133
+_mo	 133
+ris	 133
+iag	 133
+gg	 133
+_Va_	 132
+iagh	 132
+_G	 132
+e,_	 132
+ass	 132
+!_	 132
+my_	 132
+hoo	 131
+_T	 131
+nee	 130
+a'n_	 129
+rag	 129
+a'n	 129
+_'s	 129
+_so	 128
+co	 128
+rey_	 128
+_eh	 126
+_my_	 126
+nni	 126
+ou	 126
+_'sy	 125
+'sy	 125
+_p	 125
+vo	 125
+_S	 125
+H	 125
+_agh_	 125
+tra	 124
+moo	 124
+hu	 123
+ooy	 123
+ragh	 123
+al_	 123
+it_	 123
+hia	 122
+id	 122
Index: /trunk/gsdl/perllib/textcat/Other/marathi.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/marathi.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/marathi.lm	(revision 1382)
@@ -0,0 +1,400 @@
+þ	 17815
+_	 14534
+þþ	 4035
+þ_	 3087
+·	 2180
+ø	 1762
+·þ	 1669
+ú	 1654
+¡	 1534
+¥	 1480
+¡þ	 1433
+Å	 1342
+£	 1289
+	 1237
+	 1163
+­	 1158
+¬	 1153
+þþ_	 1133
+¿	 1099
+š	 1084
+	 1062
+	 1059
+ú_	 1054
+¥þ	 1054
+Å	 1050
+¡þþ	 1039
+þú	 989
+	 983
+þ	 968
+	 965
+¹	 949
+_	 936
+.	 936
+šþ	 915
+þ¿	 859
+þ£	 842
+¬þ	 838
+þ	 836
+þ·	 769
+þ	 764
+µ	 710
+þ¥	 710
+þ	 684
+þ·þ	 681
+._	 670
+þú_	 637
+œ	 609
+þ	 578
+_	 578
+_þ	 569
+_	 543
+þ	 530
+_·	 530
+µþ	 524
+_	 523
+	 511
+	 504
+ø_	 495
+·þ_	 477
+þ¥þ	 476
+þ­	 474
+_¹	 474
+_¬	 457
+_Å	 447
+_þ	 447
+¡þþ_	 446
+þø	 444
+ž	 438
+þ	 423
+¥þþ	 422
+þ	 409
+þš	 388
+Åþ	 387
+þþ	 381
+£_	 366
+Åþ	 359
+é	 339
+þšþ	 334
+_¬þ	 332
+þµ	 331
+þ	 324
+þþ	 320
+_þ	 320
+þþ	 318
+ª	 315
+_­	 315
+þ_	 314
+Û	 313
+þ¹	 306
+þ£_	 303
+þ¬	 301
+þ	 297
+	 297
+þþ	 295
+ªþ	 284
+þ¡	 280
+§	 274
+¿_	 272
+þþ·	 270
+þ¡þ	 268
+¥þþ_	 268
+£þ	 264
+þ	 264
+­ú	 263
+,	 258
+þþ·þ	 256
+þ¥þþ	 256
+þ·þ_	 256
+,_	 255
+þÅ	 255
+Ù	 249
+¬þþ	 247
+þþ¿	 243
+þþ£	 241
+_	 234
+_·þ	 233
+·þþ	 232
+þ	 232
+·¡	 231
+þ¿_	 231
+þþ	 230
+þ¬þ	 228
+Ä	 227
+	 226
+þµþ	 225
+œ_	 223
+·¡þ	 221
+­œ	 220
+_	 220
+¥ø	 219
+µþ_	 218
+šþþ	 217
+þ.	 216
+þ	 215
+_þ	 213
+..	 209
+_þþ	 209
+þþþ	 205
+þþ	 205
+·¡þþ	 204
+	 204
+·þú	 203
+þ¥þþ_	 202
+Å_	 202
+þþ¥	 201
+ê	 198
+_š	 198
+þ	 193
+_¡	 191
+þþ	 190
+þ._	 189
+¡þ	 188
+¡	 188
+¡þþ	 187
+Ï	 186
+ø·	 186
+	 185
+­ú_	 180
+þ_	 180
+_þ	 180
+þ	 179
+Ú	 178
+_Åþ	 176
+_·¡þ	 175
+_·¡þþ	 175
+­þ	 175
+_·¡	 175
+þþ	 174
+þ­ú	 171
+¥¡	 170
+_	 170
+...	 168
+¥¡þ	 167
+þú	 166
+_¥	 164
+þþ	 164
+þ­	 163
+¥¡þþ	 163
+þ	 162
+ø·þ	 162
+_þ­	 162
+¡þþ_	 161
+­ø	 160
+Å_	 159
+þþ¥þ	 159
+þ­œ	 157
+þþ	 154
+þ	 154
+_þ	 154
+_ž	 154
+ø¥	 153
+þþ	 153
+þ	 151
+þ£þ	 151
+_	 151
+þ­œ	 150
+þ§	 150
+·ø	 150
+ø.	 149
+_þ­œ	 149
+¬	 148
+¥þú	 148
+£ú	 147
+Ï	 147
+Å£	 146
+þú_	 146
+_¬	 145
+ø._	 145
+þþš	 144
+þÄ	 143
+	 142
+	 140
+¡þþ	 140
+¹šþ	 139
+¹š	 139
+þþ­	 137
+þþ	 136
+_­ø	 136
+­	 136
+_¡þ	 135
+ú.	 135
+·þø	 135
+'	 135
+Å£	 134
+_¥þ	 132
+þþšþ	 131
+þþ·þ_	 131
+µþþ	 129
+'_	 129
+_þþ	 129
+ú._	 128
+þÛ	 127
+....	 127
+	 127
+¿	 126
+þþ¬	 125
+_šþ	 124
+¡þ_	 123
+þ·þþ	 123
+«	 122
+;	 122
+_Ï	 121
+_¡þþ	 119
+»	 118
+¬þ¿	 115
+¥þ¿	 114
+¥þ_	 114
+þþ	 113
+þ¥¡þ	 113
+þ¥¡	 113
+b	 113
+þ£ú	 112
+_'	 112
+s	 111
+&	 111
+þþ	 111
+¬þ	 111
+þþú	 111
+p	 111
+ê	 111
+_£	 110
+þ¥¡þþ	 110
+bs	 109
+êþ	 109
+n	 109
+º	 109
+_¬þ	 108
+&n	 107
+bsp;	 107
+nbsp;	 107
+sp;	 107
+nb	 107
+bsp	 107
+nbs	 107
+sp	 107
+nbsp	 107
+&nb	 107
+&nbsp	 107
+p;	 107
+&nbs	 107
+þþþ	 106
+_'_	 106
+þ¥ø	 106
+·þ£	 106
+ø¥þ	 106
+þþ_	 105
+šþ£	 104
+þ¿	 104
+þ	 104
+þž	 104
+_þ	 103
+þ¬þþ	 103
+ø	 103
+­ø·	 102
+þþþ	 101
+þþ­ú	 100
+þþþ	 99
+þ,	 99
+_	 98
+þ,_	 98
+_Å£	 98
+þ	 98
+þþú_	 98
+_þþ	 97
+;&	 97
+_þ	 97
+þþ	 97
+_þþ	 96
+þ	 96
+¡þþþ	 96
+¬þ·	 96
+	 96
+;&nb	 95
+p;&nb	 95
+;&n	 95
+p;&	 95
+;&nbs	 95
+bsp;&	 95
+.....	 95
+êþ_	 95
+sp;&n	 95
+sp;&	 95
+p;&n	 95
+°	 94
+_	 94
+	 94
+¥¡þþ_	 94
+þþ¬þ	 93
+þú	 93
+þµþ_	 93
+£ú_	 93
+þµ	 93
+_	 92
+µ¡	 92
+_­ø·	 92
+þ­ú_	 92
+µ¡þ	 92
+·þú_	 91
+¹­	 91
+­œ_	 90
+_¬þþ	 90
+_þþ	 90
+þþ¥þþ	 90
+	 90
+µ¡þþ	 90
+þ	 89
+¹·	 89
+þ¡þ	 89
+þ£ú_	 89
+þÚ	 89
+þ¡	 89
+þÅþ	 89
+¿	 89
+þþ	 89
+_­	 88
+œÅ	 88
+þ¡þþ	 88
+_¹š	 88
+_¹šþ	 88
+­ø·þ	 87
+ø	 87
+œ	 87
+þþ­ú	 87
+_	 87
+­µ	 87
+þþ­	 87
+þµþ	 86
+¥þú_	 86
+_þ¹	 85
+þ¹	 85
+£·	 85
+_	 85
+¹·þ	 85
+_þþ­	 84
+¡ø	 84
+þ¹µþ	 83
+þþµ	 83
+¹µþ	 83
+¹µ	 83
+þ¹µ	 83
+þþ_	 83
+_ª	 82
+_þ¹µ	 82
+þ¹µþ_	 82
+þþ_	 82
+þ¹µþ	 82
+þ¹µ	 82
+þú_	 82
+_þ	 82
+¹µþ_	 82
+þþ£_	 81
+ø	 81
+œ._	 80
+¿þ	 80
+_·þ£	 80
+œ.	 80
+ú	 79
+_þ	 79
+þµþ_	 79
+²	 79
Index: /trunk/gsdl/perllib/textcat/Other/middle_frisian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/middle_frisian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/middle_frisian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 60524
+e	 20138
+n	 10664
+t	 8674
+i	 7833
+a	 7549
+o	 7278
+r	 6963
+n_	 5391
+s	 5087
+d	 4731
+t_	 4327
+l	 4306
+e_	 4271
+en	 4068
+k	 3483
+m	 3346
+g	 2990
+er	 2965
+en_	 2835
+y	 2597
+w	 2481
+h	 2475
+j	 2441
+_d	 2375
+r_	 2250
+u	 2059
+s_	 1921
+ie	 1780
+_h	 1725
+z	 1710
+de	 1666
+_m	 1652
+_w	 1629
+_i	 1611
+et	 1550
+te	 1540
+b	 1538
+.	 1517
+er_	 1481
+in	 1420
+an	 1408
+p	 1392
+f	 1311
+,	 1280
+,_	 1273
+k_	 1266
+._	 1258
+y_	 1238
+_z	 1230
+oe	 1162
+v	 1144
+et_	 1138
+ne	 1131
+ee	 1125
+st	 1120
+_o	 1107
+_s	 1107
+_e	 1076
+_n	 1068
+_b	 989
+_t	 988
+l_	 983
+oo	 981
+ge	 975
+je	 963
+_g	 952
+at	 949
+me	 946
+ij	 943
+is	 913
+he	 899
+'	 892
+aa	 882
+el	 870
+_v	 864
+re	 843
+ar	 837
+_de	 805
+on	 800
+ke	 796
+de_	 788
+ei	 782
+_a	 776
+_'	 770
+le	 744
+at_	 742
+it	 741
+_k	 738
+or	 734
+an_	 729
+in_	 723
+da	 715
+te_	 703
+_he	 680
+_l	 664
+H	 661
+al	 652
+_H	 652
+a_	 650
+_da	 648
+D	 648
+d_	 646
+_D	 643
+es	 617
+g_	 608
+is_	 606
+æ	 596
+_f	 594
+'t	 591
+_'t	 584
+'t_	 583
+_me	 580
+c	 576
+_'t_	 576
+ri	 571
+_en	 564
+yn	 563
+_en_	 559
+ze	 538
+m_	 535
+om	 535
+ik	 522
+_de_	 522
+ed	 521
+be	 517
+wi	 509
+ch	 509
+ol	 498
+ar_	 498
+ha	 496
+_ne	 495
+we	 494
+ou	 486
+nd	 474
+ma	 474
+ik_	 470
+J	 459
+_ik	 456
+_ik_	 451
+_J	 451
+ll	 450
+M	 446
+li	 443
+wa	 442
+_M	 442
+ien	 435
+ro	 432
+di	 421
+nn	 418
+ste	 415
+wo	 415
+yn_	 415
+_r	 413
+_ha	 411
+it_	 409
+tt	 408
+ve	 407
+S	 404
+_j	 399
+_S	 398
+_in	 395
+as	 395
+der	 395
+hi	 389
+_al	 388
+uw	 384
+tte	 384
+ng	 381
+_wi	 381
+nne	 381
+het	 380
+_het	 378
+lle	 376
+nt	 374
+ns	 373
+op	 373
+je_	 367
+E	 366
+ek	 363
+B	 363
+dat	 362
+_B	 362
+_ma	 362
+_in_	 361
+_dat	 359
+_wo	 359
+ier	 358
+og	 357
+_E	 354
+_ge	 352
+dat_	 349
+ne_	 349
+eer	 349
+het_	 348
+_het_	 348
+_is	 348
+_dat_	 348
+ey	 347
+W	 346
+_W	 343
+_te	 339
+eg	 337
+ra	 335
+rs	 335
+!	 332
+zi	 332
+gt	 329
+_He	 327
+He	 327
+_be	 324
+j_	 320
+ij_	 320
+u_	 319
+f_	 317
+_di	 316
+;	 315
+_we	 315
+_is_	 314
+rt	 313
+!_	 313
+;_	 312
+n.	 311
+p_	 310
+la	 310
+_wa	 310
+ea	 308
+_u	 308
+pe	 304
+ta	 304
+il	 301
+my	 300
+ig	 300
+n,	 300
+n,_	 298
+iet	 297
+sc	 297
+ter	 296
+sch	 296
+oor	 295
+no	 294
+_my	 293
+n._	 291
+ti	 290
+_zi	 289
+st_	 288
+el_	 283
+gen	 282
+se	 280
+K	 279
+_oo	 278
+ui	 278
+e,	 275
+ten	 274
+net	 274
+oon	 274
+ho	 274
+jn	 273
+e,_	 273
+ijn	 272
+ien_	 272
+ko	 272
+N	 271
+ni	 271
+_N	 269
+den	 269
+za	 268
+_net	 267
+i_	 266
+wol	 266
+een	 264
+va	 264
+am	 264
+do	 263
+ol_	 262
+le_	 261
+_te_	 260
+rd	 260
+ke_	 259
+ey_	 259
+ers	 258
+_K	 255
+_ie	 255
+ver	 254
+to	 254
+_hi	 253
+nde	 253
+:	 253
+der_	 252
+jo	 251
+net_	 251
+al_	 250
+_wol	 250
+_p	 250
+_no	 250
+aar	 248
+_za	 245
+_net_	 245
+nk	 242
+est	 241
+om_	 241
+_va	 241
+ak	 241
+tj	 239
+ae	 238
+_op	 237
+mo	 236
+tr	 236
+_st	 233
+ier_	 233
+_ve	 233
+mm	 232
+T	 231
+eu	 229
+_ze	 228
+:_	 228
+mi	 228
+ag	 227
+zo	 227
+_ko	 226
+vo	 225
+_T	 225
+nne_	 225
+F	 224
+..	 224
+fo	 224
+_F	 223
+en,	 223
+oe_	 222
+wie	 222
+en,_	 221
+kk	 221
+_ien	 220
+on_	 218
+wol_	 218
+_fo	 218
+I	 217
+_do	 216
+eit	 214
+ei_	 214
+mme	 214
+G	 213
+_I	 213
+as_	 213
+or_	 211
+A	 211
+_G	 210
+_A	 210
+lle_	 209
+Da	 208
+_Da	 207
+_wol_	 207
+ren	 206
+_ee	 206
+e.	 205
+van	 205
+jen	 205
+een_	 205
+_van	 204
+kke	 204
+en.	 204
+O	 204
+_vo	 204
+V	 203
+_O	 203
+_V	 203
+ken	 203
+_mo	 203
+ot	 202
+ie_	 201
+ou_	 201
+ur	 201
+tte_	 200
+em	 200
+_van_	 199
+L	 199
+van_	 199
+_zo	 199
+op_	 199
+_L	 197
+iet_	 196
+of	 194
+ten_	 194
+oer	 193
+_ien_	 193
+e._	 193
+oed	 192
+hie	 192
+zy	 191
+en._	 191
+De	 191
+_ver	 191
+_ho	 189
+_De	 189
+oa	 189
+den_	 188
+_zy	 188
+lo	 187
+dan	 187
+nt_	 186
Index: /trunk/gsdl/perllib/textcat/Other/mingo.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/mingo.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/mingo.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 3156
+'	 991
+a	 829
+t	 788
+k	 788
+n	 752
+e	 640
+h	 602
+ë	 551
+s	 495
+w	 466
+ö	 422
+y	 403
+u	 397
+'_	 368
+_n	 330
+i	 269
+.	 269
+._	 240
+e'	 238
+ô	 219
+a'	 209
+ne	 209
+e_	 194
+_ne	 184
+wa	 172
+_k	 164
+kw	 162
+á	 154
+e'_	 146
+_t	 145
+'t	 141
+"	 141
+ë'	 134
+ê	 132
+_h	 131
+é	 129
+ak	 129
+ne_	 126
+ta	 123
+_ne_	 123
+at	 121
+u'	 121
+hu	 118
+_u	 108
+ka	 107
+í	 106
+nö	 105
+N	 103
+ö'	 100
+hs	 95
+ha	 95
+te	 94
+ya	 93
+_ë	 92
+kh	 90
+'k	 86
+ú	 85
+æ	 84
+ni	 84
+'.	 84
+wë	 83
+ny	 83
+sh	 80
+_N	 80
+'._	 76
+ö_	 76
+kë	 72
+_"	 71
+ën	 70
+th	 69
+yu	 66
+_w	 66
+ëh	 66
+t_	 66
+ô_	 66
+Ne	 65
+Ne'	 65
+'s	 64
+ne'	 64
+"_	 64
+_.	 63
+_._	 61
+Ne'_	 61
+,	 60
+ne'_	 58
+në	 58
+kwa	 57
+_ne'	 57
+öt	 57
+a't	 57
+ek	 56
+s_	 56
+ët	 55
+i'	 55
+_hu	 54
+T	 54
+ë_	 54
+_s	 54
+_Ne	 53
+të	 53
+tö	 53
+_Ne'	 53
+_ne'_	 53
+ht	 53
+-	 53
+ts	 52
+ya'	 52
+ë'_	 51
+_wa	 51
+_Ne'_	 51
+'ö	 50
+íy	 50
+_ka	 50
+as	 50
+ní	 49
+un	 49
+ê_	 49
+ty	 48
+hu_	 48
+ke	 48
+u_	 48
+,_	 47
+yô	 46
+he	 46
+ye	 46
+kê	 45
+si	 45
+nô	 44
+khu	 44
+a'k	 44
+_a	 43
+ák	 43
+wat	 42
+'ë	 42
+nö'	 42
+wá	 42
+aw	 41
+an	 41
+we	 41
+ôt	 41
+i_	 41
+_kh	 41
+tak	 41
+_te	 41
+ik	 41
+_khu	 40
+ës	 40
+yö	 40
+k_	 39
+khu_	 39
+yu'	 38
+hö	 38
+wën	 38
+n-	 38
+ëhs	 38
+_ha	 38
+wa'	 38
+_n-	 37
+sa	 37
+?	 37
+_T	 37
+æ'	 37
+_un	 36
+hô	 36
+wé	 36
+ah	 36
+_khu_	 35
+iy	 35
+ëk	 35
+ut	 35
+ök	 35
+öh	 35
+te'	 35
+u'_	 35
+_kë	 34
+yô_	 34
+ha'	 34
+st	 34
+ti	 34
+ta'	 34
+u't	 33
+ya't	 33
+'t_	 33
+'ö_	 33
+akw	 33
+ôk	 33
+níy	 32
+'ta	 32
+ku	 32
+ui	 32
+_sh	 32
+aa	 31
+én	 31
+ay	 31
+ënö	 31
+â	 30
+se	 30
+tw	 30
+yë	 30
+(_	 29
+_(_	 29
+_)_	 29
+us	 29
+_ëhs	 29
+(	 29
+kö	 29
+_ëh	 29
+ae	 29
+hë	 29
+_)	 29
+)_	 29
+_(	 29
+sy	 29
+)	 29
+ëë	 28
+ôn	 28
+sk	 28
+tá	 28
+té	 28
+tk	 28
+ên	 28
+kê_	 28
+a_	 28
+án	 27
+_huik	 27
+ön	 27
+_hui	 27
+kwé	 27
+huik	 27
+ék	 27
+hui	 27
+uik	 27
+_na	 27
+na	 27
+a'_	 26
+uikê	 26
+_ni	 26
+."	 26
+ææ	 26
+wi	 26
+huikê	 26
+ikê	 26
+nya	 25
+."_	 25
+?"	 25
+të'	 25
+íyu	 25
+awë	 25
+sn	 25
+në_	 24
+ö'_	 24
+ikê_	 24
+ekh	 24
+'ke	 24
+uikê_	 24
+?"_	 24
+tek	 24
+êt	 24
+',	 24
+"N	 23
+_ta	 23
+'a	 23
+hk	 23
+tê	 23
+tsi	 23
+wö	 23
+yu'_	 23
+_"N	 23
+íyu'	 23
+níyu	 23
+a'ta	 23
+é'	 23
+níyu'	 23
+shô	 22
+wëní	 22
+kwa'	 22
+ëní	 22
+kwë	 22
+_u'	 22
+ey	 22
+ëníyu	 22
+K	 22
+ai	 22
+_shô	 22
+úw	 22
+aö	 22
+ëht	 22
+ëníy	 22
+kwe	 22
+wëníy	 22
+_he	 22
+_te'	 21
+ún	 21
+s.	 21
+nöh	 21
+ëö	 21
+_ëk	 21
+'sh	 21
+kë'	 21
+htö	 21
+H	 21
+ata	 21
+U	 20
+'h	 20
+_ha'	 20
+ææ'	 20
+ae_	 20
+a'ke	 20
+ény	 20
+unö	 20
+we'	 20
+wë'	 20
+i'_	 20
+kës	 20
+ya'ta	 19
+es	 19
+awëní	 19
+hô_	 19
+uk	 19
+awën	 19
+hw	 19
+ë'.	 19
+ô'	 19
+tö'	 19
+sé	 19
+ë'ë	 19
+ë'._	 19
+'ëë	 19
+hkw	 19
+-a	 19
+twa	 19
+'kw	 18
+he_	 18
+_K	 18
+nöt	 18
+hsa	 18
+hsi	 18
+ôni	 18
+aya	 18
+is	 18
+ëë'	 18
+kæ	 18
+skw	 18
+uw	 18
+',_	 18
+e't	 18
+kææ	 18
+ka'	 18
+nae	 17
+shô_	 17
+sat	 17
+niy	 17
+ëts	 17
+ath	 17
+ye'	 17
+í_	 17
+'ëë'	 17
+'u	 17
+_ët	 17
+ës_	 17
+_kës	 17
+_y	 17
+kak	 17
+ö'ö	 17
+kat	 17
+_th	 17
+'ë_	 17
+út	 17
+u'k	 17
+_H	 17
+tekh	 17
+s._	 17
+wê	 17
+_nae	 17
+kwá	 17
+_shô_	 17
+yê	 17
+öte	 16
+sha	 16
+ke_	 16
+k.	 16
+si'	 16
+hö'	 16
+yá	 16
+hta	 16
+kn	 16
+_nae_	 16
+hse	 16
+ké	 16
+ë'ë_	 16
+unë	 16
+nya'	 16
+nae_	 16
+nê	 16
+á'	 16
+ás	 16
+tô	 16
+a's	 16
+a'u	 16
Index: /trunk/gsdl/perllib/textcat/Other/nepali.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/nepali.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/nepali.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 7044
+f	 2698
+]	 1196
+g	 933
+s	 815
+l	 781
+/	 698
+;	 662
+k	 645
+d	 635
+]_	 630
+f_	 611
+sf	 549
+f]	 541
+n	 526
+t	 460
+o	 412
+j	 399
+f]_	 374
+L	 365
+_;	 364
+x	 356
+_k	 353
+{	 337
+b	 323
+u	 321
+'	 303
+df	 299
+sf]	 290
+_l	 283
+sf]_	 265
+g]	 245
+G	 232
+e	 231
+|	 227
+a	 222
+/_	 222
+L_	 211
+_g	 210
+c	 207
+df_	 207
+{_	 207
+_c	 201
+g_	 201
+kf	 184
+f/	 177
+_u	 171
+/f	 168
+P	 163
+_/	 162
+k|	 161
+_s	 161
+}	 159
++	 158
+h	 151
+fn	 150
+n]	 145
+of	 141
+tf	 140
+:	 136
+p	 136
+t_	 134
+.	 133
+_k|	 133
+._	 133
+_e	 131
+_d	 131
+_f	 129
+_._	 127
+_.	 127
+n]_	 123
+;f	 119
+lj	 118
+O	 118
+?	 118
+q	 118
+nf	 118
+y	 116
+_a	 113
+m	 111
+Ps	 110
+r	 110
+fg	 106
+w	 105
+sf_	 103
+lg	 102
+g]_	 100
+gf	 94
+_g]	 91
+Psf	 90
+x?	 89
+fd	 88
+fO	 88
+_lj	 85
+]s	 85
+z	 85
+s_	 84
+_p	 82
+_sf	 80
+D	 79
+kl	 78
+_;f	 78
+f/_	 77
+cf	 77
+}_	 76
+Psf]	 76
+jf	 76
+,	 75
+fl	 75
+\	 75
+_x	 74
+kfn	 74
+f{	 74
+_/f	 74
+]k	 73
+of]	 73
+,_	 72
+v	 72
+lt	 72
+_cf	 72
+_b	 71
+O{	 70
+i	 69
+xf	 68
+]kf	 68
+_/_	 68
+Psf]_	 68
+_h	 67
+g]kfn	 67
+g]k	 67
+d_	 67
+g]kf	 67
+O{_	 67
+]kfn	 67
+_g]k	 66
+g'	 66
+_g]kf	 66
+o_	 64
+"	 64
+;b	 63
+Gq	 63
+f+	 63
+n_	 63
+fk	 62
+sf/	 62
+/L	 62
+_kl	 62
+I	 61
+T	 61
+/s	 61
+If	 61
+dG	 60
+_j	 60
+]sf	 60
+;_	 59
+u_	 59
+yf	 59
+dGq	 58
+fO{	 58
+af	 57
+eP	 57
+fs	 57
+fO{_	 57
+fj	 56
+f;	 56
+qL	 56
+l/	 55
+\_	 55
+;D	 54
+dGqL	 54
+GqL	 54
+;+	 53
+g\	 53
+/sf	 52
+nfO	 51
+_kf	 51
+ug	 51
+pg	 51
+:t	 51
+fp	 50
+_ug	 50
+u/	 50
+lg_	 49
+ePs	 49
+fdf	 48
+cl	 48
+nfO{_	 48
+nfO{	 48
+;/	 48
+_cl	 47
+F	 47
+'/	 47
+g\_	 47
+_r	 47
+fo	 47
+_eP	 47
+]{	 46
+Z	 46
+/L_	 46
+_f_	 45
+ePsf	 45
+gd	 45
+_;D	 45
+if	 45
+Gb	 44
+lb	 44
+Q	 44
+_n	 44
+fsf	 44
+]sf]	 43
++;	 43
+nL	 43
+lx	 43
+_t	 43
+_:	 42
++;b	 42
+_o	 42
+fdf_	 42
+bf	 42
+hf	 42
+_lg	 42
+ePsf]	 41
+j_	 41
+ln	 41
+ef	 41
+/]	 41
+_df	 41
+To	 40
+klg_	 40
+_klg_	 40
+]sf]_	 40
+klg	 40
+_klg	 40
+_u/	 40
+f{_	 40
+_ePs	 40
+'g	 40
+Gg	 39
+:y	 39
+_g\	 39
+f}	 39
+kf_	 39
+:tf	 38
+]{_	 38
+fpg	 38
+b'	 38
+hg	 38
+g]{	 38
+jZ	 38
+_;+	 37
+gs	 37
+wf	 37
+o{	 37
+GqL_	 37
+l_	 37
+qL_	 37
+dGqL_	 37
+gf_	 37
+];	 37
+_ePsf	 36
+x'	 36
+?_	 36
+!	 36
+fx	 35
+u|	 34
+;d	 34
+_lb	 34
+fn_	 34
+_P	 34
+fg_	 34
+=	 34
+bn	 34
+Zj	 34
+o;	 34
+g]{_	 34
+_g\_	 34
+kIf	 33
+dl	 33
+kI	 33
+ljZj	 33
+jZj	 33
+rf	 33
++u	 33
+]d	 33
+ljZ	 33
+nL_	 32
+f+;	 32
+fnL	 32
+gL	 32
+;/sf	 32
+tf_	 32
+wfg	 32
+_;/	 32
+Qm	 32
+fb	 32
+f;_	 32
+ld	 32
+;/sf/	 32
+/sf/	 32
+_x'	 32
+;/s	 32
+;f+	 32
+_;f+	 32
+fu	 32
+x?_	 32
+;f+;	 31
+_k|:t	 31
+s'	 31
+_kI	 31
+_k|:	 31
+of]_	 31
+_kIf	 31
+_;f+;	 31
+]l	 31
+k|:	 31
+bg	 31
+_;/s	 31
+|:	 31
+f+;b	 31
+_;/sf	 31
+|:t	 31
+|]	 31
+k|:t	 31
+m_	 31
+;f+;b	 31
+Jo	 30
+k|wf	 30
+|w	 30
+|wf	 30
+k|w	 30
+km	 30
+J	 30
+k|wfg	 30
+|wfg	 30
+]t	 30
+@	 30
+;f]	 30
+b_	 29
+>	 29
+kfn_	 29
+fn]	 29
+gsf	 29
+sf+	 29
+Zjf	 29
+]kfn_	 29
+jif	 29
+ji	 29
+jf;	 29
+_k|w	 29
+fgd	 29
+_k|wf	 29
+Zjf;	 29
+ljZjf	 28
+jZjf;	 28
+]n	 28
+_z	 28
+_s'	 28
+_dG	 28
+|];	 28
+_;d	 28
+jZjf	 28
+u|]	 27
+gdGq	 27
+gdG	 27
+?n	 27
+x'g	 27
+|wfgd	 27
+wfgd	 27
+gdGqL	 27
++u|]	 27
+f+u	 27
+fgdG	 27
+u|];	 27
++u|];	 27
+wfgdG	 27
+dfg	 27
+a}	 27
+_dGq	 27
+f+u|	 27
+fgdGq	 27
+sf+u|	 27
+_sf+u	 27
+f+u|]	 27
++u|	 27
+sf+u	 27
+_sf+	 27
+x?n	 27
+S	 26
+_To	 26
+]kfnL	 26
+_!	 26
+_T	 26
+ul	 26
+/f]	 26
+fsf]	 26
+af_	 26
+;s	 26
+kfnL	 26
+|:tf	 26
+k|:tf	 26
Index: /trunk/gsdl/perllib/textcat/Other/persian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/persian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/persian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 12318
+?	 5938
+€	 2613
+?_	 1815
+¢	 1745
+þ	 1569
+ø	 1546
+õ	 1422
+-	 1333
+÷	 1155
+ù	 991
+š	 841
+_ù	 778
+ö	 761
+î	 693
+ü	 664
+_ö	 663
+ª	 660
+€?	 631
+õ_	 624
+_?	 601
+?€	 598
+¥	 589
+_€	 565
+??	 564
+ý	 513
+¢_	 486
+_ü	 473
+_ý	 469
+þ?	 459
+û	 428
+ø_	 427
+_¢	 398
+î_	 392
+ó	 390
+ê	 384
+ö?	 379
+÷?	 361
+_ø	 337
+_-	 334
+>	 327
+ú	 324
+_ö?	 319
+ù?	 313
+_ø_	 308
+ð	 305
+€¢	 303
+€_	 297
+?õ	 290
+š?	 285
+¢÷	 272
+-_	 271
+S	 266
+_ù?	 265
+ô	 259
+-š	 255
+¡	 255
+??_	 255
+ý?	 254
+¥?	 250
+Y	 246
+€¢_	 245
+ì	 243
+_ý?	 238
+?¢	 234
+_¥	 229
+ò	 229
+_S	 228
+€ø	 216
+ø€	 215
+?þ	 215
+?š	 214
+_€¢	 214
+ñ	 208
+þ?_	 207
+¢€	 203
+?-	 202
+_ô	 199
+ù?_	 199
+öþ	 195
+š_	 190
+š?_	 190
+_??	 189
+õ?	 188
+.	 188
+_€¢_	 185
+_ñ	 183
+?ø	 181
+_öþ	 180
+¢?	 177
+*	 176
+÷_	 176
+_ù?_	 174
+?û	 173
+€þ	 172
+ª_	 170
+þõ	 164
+ä	 161
+¯	 158
+-š?	 156
+û_	 155
+€?_	 155
+_¥?	 152
+üõ	 151
+ý€	 150
+_€?	 146
+¥?_	 144
+þ€	 143
+¢ø	 141
+?€_	 140
+*_	 138
+ü÷	 137
+?÷	 136
+¬	 133
+ùî	 132
+_ý€	 131
+-ª	 131
+ø?	 130
+?ú	 129
+_.	 129
+þó	 129
+¡_	 128
+ù¢	 124
+€õ	 121
+€-	 120
+ùî_	 120
+_ùî	 120
+_??_	 119
+ª?	 119
+-š?_	 119
+ã	 118
+-?	 118
+>_	 116
+öþ?	 114
+ê_	 111
+¢þ	 109
+_¥?_	 109
+_ü÷	 109
+_ùî_	 108
+_öþ?	 107
+ö?€	 107
+©	 106
+_¢÷	 106
+.¢	 104
+?¥	 103
+_?€	 103
+€ê	 103
+ó?	 103
+þ¢	 103
+ñ?	 102
+ªî	 100
+?î	 100
+?€?	 98
+ð_	 98
+ý?û	 96
+€ú	 95
+öþ?_	 95
+_©	 94
+§	 94
+Y_	 94
+_ö?€	 93
+_ý?û	 93
+¥ø	 92
+øª	 91
+_ñ?	 91
+_öþ?_	 91
+?š_	 90
+÷?_	 90
+óþ	 90
+õ?_	 90
+ü-	 90
+øõ	 89
+:	 89
+ªî_	 88
+ü÷?	 88
+öø	 88
+_ù¢	 87
+-ê	 86
+þ÷	 85
+_öø	 83
+,	 82
+þõ_	 82
+þš	 82
+?¢_	 80
+®	 80
+?€þ	 79
+_ü÷?	 79
+¢ª	 77
+???	 77
+øþ	 76
+_-?	 75
+÷î	 75
+?ª	 75
+?ì	 75
+€î	 74
+_€ø	 73
+ä_	 73
+þóþ	 73
+û?	 73
+óþõ	 72
+þóþõ	 71
+ù€	 71
+?>	 71
+ê?	 70
+_?€_	 70
+_.¢	 70
+ø¡	 69
+à	 69
+_§	 68
+¥ø€	 68
+þóþõ_	 67
+_ü-	 67
+€øª	 67
+óþõ_	 67
+õû	 67
+€ê_	 67
+šõ	 67
+€õ_	 66
+?-_	 65
+ù÷	 65
+ý?€	 65
+öøþ	 64
+€þ?	 64
+¬_	 64
+?ð	 63
+?-š	 63
+ø-	 63
+_ý?€	 62
+ø?_	 62
+ø€_	 62
+_-š	 61
+õþ	 61
+øþóþõ	 60
+øþóþ	 60
+øþó	 60
+?ù	 60
+øªî	 60
+_¢ø	 60
+€øªî	 60
+_öøþ	 60
+-ª?	 60
+ì_	 60
+š€	 60
+ý€?	 60
+÷þ	 59
+öøþóþ	 59
+¯?	 59
+_¢?	 59
+öøþó	 59
+¢ª_	 59
+€??	 58
+€?¥	 58
+_üõ	 58
+.-	 58
+?¡	 58
+ø÷	 57
+í	 57
+¢€î	 57
+?€?_	 57
+þ?€	 57
+ù-	 57
+üõ_	 56
+ñ?š	 56
+øõ_	 56
+?€þ?	 56
+ú?	 56
+î€	 56
+€?¢	 56
+õû_	 55
+ô?	 55
+ª?¢	 55
+_öøþó	 55
+-ª?¢	 55
+þ_	 55
+ö?€þ	 55
+€î_	 55
+S€	 55
+üþ	 54
+_S€	 53
+øªî_	 53
+_ù€	 53
+ò¢	 53
+€ò	 53
+€øªî_	 53
+ø¡_	 52
+¢÷?	 52
+û€	 52
+üþ?	 52
+õ>	 52
+-õ	 52
+¢€?	 52
+üð	 52
+ì?	 52
+_í	 52
+î?	 52
+üó	 52
+??€	 52
+ð÷	 51
+€ò¢	 51
+-þ	 51
+_ý€?	 51
+¡?	 50
+_¢€	 50
+¢€î_	 50
+.-š	 50
+ö?õ	 50
+ë	 50
+_ô?	 50
+ø¢	 50
+_ñ?š	 49
+.¢÷	 49
+÷€	 49
+ý?€?	 49
+ú-	 48
+_üð	 48
+_ö?€þ	 48
+€þ?_	 48
+ò¢_	 48
+ûù	 48
+ú?_	 48
+€ò¢_	 47
+ê€	 47
+â	 47
+.-š?	 47
+_¢þ	 47
+>÷	 47
+úª	 47
+÷?õ	 47
+£	 47
+?€þ?_	 47
+?ûù	 47
+€¯	 46
+_.-	 46
+_ý?€?	 46
+õ€	 46
+õó	 46
+-€	 46
+_üþ	 46
+¥þ	 46
+€ð	 45
+ôþ	 45
+_üó	 45
+ö?-	 45
+§þ	 45
+_ë	 45
+f	 45
+õ-	 44
+_ù-	 44
+úõ	 44
+_üþ?	 44
+ü-ª	 44
+-î	 44
+ð¢	 44
+ö?€þ?	 44
+õª	 44
+.-š?_	 44
+šõ_	 44
+€ª	 44
+_-š?	 44
+€?î	 43
+ä?	 43
+é	 43
+?õ_	 43
+_€øªî	 43
+þª	 43
+?ê	 43
+?î_	 43
+_€øª	 43
+¯_	 43
+€š	 43
+þ??	 42
+Y?	 42
+¥_	 42
+÷÷	 42
+÷õ	 42
+_¥ø	 42
+þš?	 42
+¢õ	 42
+/	 42
+_â	 42
+???_	 42
+_¥ø€	 42
+_ù÷	 42
+s	 42
+¢÷÷	 42
+ö?-š	 41
+÷ø	 41
+ù÷?	 41
+?*	 41
+S€ò¢	 41
+_ö?õ	 41
+ñþ	 41
+_.-š	 41
+îþ	 41
+÷¢	 41
+ùõ	 41
+S€ò	 41
+ªø	 41
+ý?€?_	 40
+€úª	 40
Index: /trunk/gsdl/perllib/textcat/Other/quechua.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/quechua.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/quechua.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 5766
+a	 4900
+n	 1941
+i	 1666
+u	 1384
+s	 1032
+t	 995
+y	 939
+h	 929
+k	 915
+q	 909
+p	 882
+a_	 847
+an	 821
+r	 783
+m	 740
+c	 705
+l	 695
+ta	 637
+ch	 613
+ay	 587
+qa	 557
+pa	 490
+ha	 486
+e	 474
+ma	 457
+o	 441
+na	 434
+ku	 411
+j	 409
+un	 367
+w	 358
+in	 353
+,	 345
+,_	 344
+cha	 318
+ar	 317
+n_	 315
+as	 291
+wa	 289
+ta_	 269
+ll	 259
+man	 255
+_k	 248
+._	 243
+.	 243
+nt	 227
+am	 224
+pi	 222
+la	 222
+ka	 217
+ac	 214
+ni	 214
+at	 213
+aq	 213
+i_	 208
+ri	 207
+qa_	 204
+una	 204
+y_	 192
+aj	 192
+_p	 192
+is	 188
+_m	 181
+lla	 175
+ach	 174
+rq	 173
+us	 172
+an_	 171
+_ka	 171
+ata	 169
+rqa	 165
+sq	 163
+hu	 162
+sp	 161
+_w	 157
+nk	 157
+hay	 157
+_s	 156
+sqa	 155
+ki	 153
+kun	 152
+_c	 152
+al	 150
+nta	 149
+ap	 147
+ant	 146
+yk	 146
+ay_	 144
+spa	 141
+hi	 137
+_ch	 136
+_n	 136
+ya	 135
+'	 134
+j_	 133
+uy	 132
+ra	 132
+a,_	 132
+a,	 132
+ti	 130
+_a	 125
+nc	 125
+kuna	 122
+s_	 121
+su	 121
+ak	 121
+_ma	 118
+ana	 118
+ari	 115
+_t	 114
+ama	 114
+chi	 114
+ñ	 113
+a._	 111
+a.	 111
+nch	 111
+iy	 111
+all	 110
+aw	 110
+_r	 110
+anta	 109
+ayk	 109
+na_	 109
+chay	 108
+sa	 104
+_wa	 104
+si	 103
+chu	 102
+pa_	 101
+acha	 101
+_cha	 101
+pi_	 101
+qan	 100
+_pa	 99
+_q	 97
+aj_	 97
+awa	 97
+ank	 95
+nku	 95
+im	 94
+q_	 92
+uk	 92
+C	 92
+mu	 90
+tu	 89
+J	 89
+_ni	 88
+taj	 87
+_J	 87
+nin	 86
+_chay	 86
+u_	 86
+_C	 84
+wan	 83
+nta_	 81
+_j	 81
+mant	 80
+ut	 79
+in_	 79
+ik	 79
+manta	 79
+asq	 79
+yt	 78
+n,	 78
+asqa	 78
+n,_	 78
+pay	 78
+li	 77
+yn	 77
+nq	 76
+yta	 76
+ic	 76
+up	 76
+_Ch	 75
+yku	 75
+Ch	 75
+he	 75
+hay_	 74
+nan	 74
+ina	 74
+ur	 73
+er	 72
+S	 72
+arq	 72
+or	 72
+_l	 71
+_u	 71
+aq_	 70
+os	 70
+yp	 70
+anc	 69
+man_	 69
+mi	 69
+ich	 68
+_i	 68
+st	 67
+_S	 67
+arqa	 66
+it	 66
+anch	 66
+ru	 66
+aku	 65
+pu	 65
+ña	 65
+alla	 64
+mp	 64
+sqa_	 64
+'a	 64
+ayku	 63
+es	 63
+A	 63
+ia	 63
+_man	 63
+_Cha	 61
+Cha	 61
+taj_	 60
+api	 60
+_ll	 60
+wi	 60
+ayp	 60
+aman	 59
+g	 58
+anku	 58
+yki	 57
+ima	 57
+yni	 57
+oj	 57
+mana	 57
+anta_	 57
+_su	 57
+uc	 56
+isp	 56
+ispa	 56
+uch	 56
+M	 56
+ir	 56
+_h	 55
+nqa	 55
+kuy	 55
+ayt	 54
+_M	 54
+b	 54
+_y	 53
+_mana	 53
+:	 53
+uku	 53
+:_	 53
+nm	 53
+au	 52
+ayta	 52
+io	 52
+qo	 51
+an,_	 51
+apa	 51
+spa_	 51
+erq	 51
+_wi	 51
+erqa	 51
+_sa	 51
+an,	 51
+el	 50
+um	 50
+ana_	 50
+han	 50
+il	 50
+on	 49
+chay_	 49
+sta	 49
+_D	 49
+D	 49
+iku	 49
+aqa	 49
+che	 48
+en	 48
+yta_	 48
+Ma	 47
+P	 47
+_lla	 47
+_Je	 47
+yq	 47
+Je	 47
+ita	 47
+rqan	 47
+ypi	 46
+har	 46
+Jes	 46
+_Jes	 46
+ios	 46
+ayq	 46
+Dio	 46
+un_	 46
+kus	 46
+_Dio	 46
+taq	 46
+_Dios	 46
+_Ma	 46
+_Di	 46
+Dios	 46
+Di	 46
+d	 46
+kan	 45
+Chay	 45
+oq	 45
+_Chay	 45
+_pay	 45
+upa	 45
+mun	 45
+ata_	 44
+_tu	 44
+nis	 44
+re	 44
+paq	 44
+yo	 44
+ej	 44
+qay	 43
+ncha	 43
+ha_	 43
+_A	 43
+I	 43
+_kan	 43
+_nis	 43
+_P	 43
+nman	 43
+nma	 43
+ataj	 42
+ara	 42
+ku_	 42
+nata	 42
+nat	 42
+i,	 41
+tin	 41
+qh	 41
+t'	 41
+orq	 41
+nki	 41
+_ru	 41
+_ku	 41
+i,_	 41
+ip	 40
+ham	 40
+usq	 40
+_ya	 40
+qank	 39
+orqa	 39
+ayn	 39
+mana_	 39
+ray	 39
+ym	 39
+uma	 39
+_pu	 39
+par	 39
+kay	 39
+n.	 38
+qa,_	 38
+n._	 38
+sus	 38
+aypi	 38
+usqa	 38
+qanku	 38
+ill	 38
+qa,	 38
+was	 38
+pa,	 38
+pa,_	 38
+asp	 38
+qa._	 37
+_mu	 37
+paj	 37
+amp	 37
+hin	 37
+uti	 37
+rin	 37
+_im	 37
+_ima	 37
+ja	 37
+_ri	 37
+rqa_	 37
+taq_	 37
+qa.	 37
+sh	 36
+spa,_	 36
+cha_	 36
+spa,	 36
+achi	 36
+una_	 36
+rqank	 36
+jt	 36
+K	 36
+amu	 36
+aspa	 35
+_Jesu	 35
+Jesus	 35
+nispa	 35
+ki_	 35
+waw	 35
+ko	 35
+ne	 35
+esus	 35
+int	 35
Index: /trunk/gsdl/perllib/textcat/Other/romanian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/romanian.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/romanian.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 20674
+a	 6376
+e	 5815
+i	 5746
+t	 3396
+r	 3280
+n	 3103
+u	 2835
+s	 2611
+c	 2582
+e_	 2235
+l	 2224
+o	 2149
+a_	 1974
+d	 1629
+m	 1528
+p	 1410
+i_	 1358
+in	 1308
+_c	 1167
+_s	 1118
+_d	 999
+re	 905
+ar	 898
+,	 791
+,_	 786
+_p	 785
+de	 771
+_a	 754
+te	 687
+_i	 667
+at	 654
+ti	 645
+ca	 639
+n_	 630
+ta	 617
+si	 614
+_de	 609
+f	 606
+st	 583
+ri	 581
+u_	 567
+nt	 553
+.	 542
+ra	 540
+_m	 534
+g	 528
+v	 516
+ul	 516
+de_	 513
+_in	 503
+b	 492
+_de_	 474
+._	 472
+le	 459
+l_	 444
+un	 443
+_si	 440
+es	 437
+tr	 426
+ea	 420
+t_	 412
+ce	 412
+ma	 407
+cu	 402
+er	 398
+_ca	 397
+si_	 388
+_f	 387
+_l	 383
+z	 382
+la	 381
+ne	 370
+sa	 364
+as	 360
+_e	 357
+in_	 356
+an	 352
+it	 351
+te_	 346
+or	 345
+el	 345
+ci	 339
+_si_	 333
+_n	 330
+are	 324
+pe	 319
+re_	 317
+al	 310
+_t	 309
+se	 304
+ic	 295
+ie	 290
+_u	 290
+ul_	 290
+ni	 289
+int	 285
+_o	 280
+en	 279
+ta_	 279
+ur	 261
+pa	 256
+co	 255
+_pe	 254
+ia	 252
+mi	 251
+pr	 249
+_ma	 249
+oa	 249
+me	 246
+lu	 246
+li	 241
+im	 238
+_in_	 237
+da	 237
+na	 237
+_sa	 235
+ac	 234
+-	 234
+ii	 232
+est	 231
+r_	 231
+h	 230
+_cu	 230
+le_	 229
+ai	 229
+ca_	 227
+il	 226
+ru	 223
+sc	 223
+_v	 221
+nu	 220
+tu	 220
+_un	 220
+nd	 220
+di	 219
+are_	 216
+to	 215
+am	 214
+on	 213
+o_	 208
+is	 208
+sa_	 203
+la_	 200
+_b	 200
+ste	 195
+et	 194
+ec	 191
+_r	 186
+car	 185
+ui	 180
+un_	 179
+lo	 178
+cu_	 177
+ei	 176
+e,	 175
+e,_	 175
+pe_	 171
+m_	 167
+_la	 166
+a,	 165
+a,_	 164
+_ce	 164
+rt	 163
+_co	 163
+ent	 162
+ro	 162
+ele	 162
+_pe_	 160
+po	 160
+ea_	 159
+"	 158
+ntr	 158
+_cu_	 158
+_pr	 157
+ut	 157
+nc	 156
+ata	 155
+care	 154
+um	 153
+au	 151
+va	 151
+_o_	 150
+_car	 150
+ii_	 145
+ind	 145
+_un_	 144
+os	 144
+ad	 141
+_la_	 140
+I	 140
+este	 138
+ste_	 138
+care_	 138
+ir	 137
+ga	 136
+ap	 136
+ol	 136
+ra_	 136
+_di	 134
+D	 134
+_care	 133
+se_	 133
+om	 133
+ara	 133
+ati	 133
+fi	 133
+_sa_	 131
+zi	 130
+vi	 130
+_ca_	 129
+_se	 128
+_nu	 128
+ai_	 127
+ch	 127
+pi	 124
+ve	 123
+fa	 122
+ot	 121
+_a_	 120
+este_	 120
+du	 119
+ine	 119
+s_	 118
+fo	 118
+_ci	 118
+ui_	 118
+ba	 118
+i,	 117
+i,_	 116
+ne_	 115
+us	 115
+_g	 115
+a.	 115
+fe	 114
+A	 114
+pu	 114
+ce_	 113
+ar_	 113
+_pa	 113
+oc	 112
+sta	 112
+lui	 112
+ns	 112
+em	 112
+'	 112
+oar	 112
+din	 111
+iu	 111
+_int	 111
+ate	 111
+mu	 111
+hi	 110
+ele_	 110
+mp	 109
+_D	 109
+S	 109
+sti	 108
+bi	 108
+ata_	 107
+ti_	 107
+tra	 107
+C	 107
+c_	 106
+tre	 106
+_al	 105
+rea	 105
+mai	 105
+j	 104
+a._	 104
+gi	 104
+e.	 103
+d_	 103
+_fa	 103
+E	 102
+mo	 102
+at_	 101
+_e_	 101
+nte	 101
+lt	 101
+sp	 101
+za	 100
+mai_	 100
+su	 99
+na_	 98
+tat	 97
+sin	 97
+ez	 96
+tru	 96
+e._	 96
+ie_	 96
+ia_	 96
+_re	 96
+tul	 96
+_fo	 96
+ina	 95
+art	 95
+_C	 95
+no	 95
+nu_	 94
+_es	 94
+_po	 94
+cr	 94
+inc	 93
+_da	 92
+_mai	 92
+lui_	 92
+_din	 92
+_est	 92
+pre	 91
+_mai_	 91
+io	 91
+chi	 91
+ge	 90
+pri	 90
+eu	 90
+uri	 90
+az	 90
+_nu_	 89
+_me	 89
+ct	 89
+au_	 88
+esc	 88
+ev	 88
+ei_	 88
+min	 87
+ace	 87
+op	 86
+ng	 86
+ici	 86
+_lu	 85
+ari	 85
+_mi	 84
+ita	 84
+_S	 84
+_tr	 84
+ere	 83
+or_	 83
+ast	 83
+ist	 83
+nt_	 83
+_se_	 82
+ou	 82
+tin	 82
+intr	 82
+con	 82
+do	 81
+_fi	 81
+str	 81
+am_	 80
+rat	 80
+ru_	 80
+ri_	 80
+par	 80
+oi	 80
+uc	 79
+ze	 79
+pl	 79
+res	 78
+_ac	 77
+ulu	 77
+din_	 76
+va_	 76
+ada	 76
+ului	 75
+_con	 75
+id	 75
+inte	 74
+ile	 73
+cit	 73
+_din_	 73
+lor	 73
+_"	 72
+ig	 72
+rin	 72
+da_	 72
+_st	 72
+-_	 71
+_-	 71
+it_	 71
+ani	 71
+nd_	 71
+ci_	 70
+ag	 70
+eri	 70
+i.	 70
+tru_	 70
+_ne	 70
+rm	 70
+P	 69
+_este	 69
+nta	 69
+bu	 69
+une	 69
+ma_	 69
+nti	 69
+imp	 68
+_-_	 68
+iv	 68
+ind_	 68
Index: /trunk/gsdl/perllib/textcat/Other/rumantsch.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/rumantsch.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/rumantsch.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 10888
+a	 3490
+e	 2268
+i	 2196
+s	 2169
+n	 1961
+t	 1555
+r	 1510
+l	 1281
+u	 1249
+a_	 1155
+c	 1060
+d	 954
+o	 815
+s_	 744
+g	 726
+m	 686
+h	 620
+p	 617
+n_	 559
+v	 493
+_s	 480
+er	 476
+ch	 469
+_d	 457
+in	 455
+da	 418
+_c	 404
+r_	 388
+_e	 377
+.	 358
+_p	 340
+as	 333
+l_	 328
+,	 327
+._	 320
+_i	 320
+,_	 315
+la	 313
+en	 312
+sc	 310
+an	 301
+ta	 300
+_da	 285
+f	 282
+_t	 268
+_a	 262
+nt	 259
+_m	 252
+un	 248
+ra	 247
+i_	 247
+na	 245
+ma	 245
+ia	 241
+ar	 234
+sch	 228
+b	 228
+da_	 217
+es	 214
+ai	 213
+st	 212
+'	 209
+e_	 208
+as_	 208
+er_	 200
+t_	 199
+re	 199
+_l	 195
+al	 193
+_n	 193
+el	 192
+tg	 192
+te	 188
+z	 187
+ha	 180
+_f	 180
+sa	 174
+_da_	 172
+ve	 169
+ei	 168
+_v	 165
+at	 165
+ss	 161
+is	 161
+_ch	 161
+on	 160
+la_	 158
+cu	 158
+ad	 158
+he	 156
+in_	 147
+va	 147
+_in	 146
+gl	 145
+ns	 141
+ur	 140
+ü	 140
+u_	 138
+ts	 138
+pe	 136
+li	 134
+gi	 133
+et	 133
+de	 132
+ig	 132
+or	 130
+ti	 129
+il	 127
+d_	 126
+che	 123
+ut	 122
+us	 122
+cha	 121
+di	 120
+ia_	 120
+_b	 118
+_la	 117
+na_	 116
+ain	 115
+per	 115
+to	 115
+_cu	 113
+_sc	 112
+se	 111
+ls	 109
+-	 108
+iu	 108
+ca	 107
+si	 104
+ir	 102
+rt	 102
+ie	 102
+_g	 102
+un_	 102
+nd	 101
+av	 101
+ni	 100
+q	 99
+au	 97
+ls_	 97
+ll	 96
+qu	 96
+_pe	 96
+le	 96
+rs	 95
+pa	 95
+ri	 95
+_ma	 94
+_per	 93
+am	 93
+eg	 92
+_r	 92
+gn	 92
+me	 92
+pi	 91
+an_	 91
+en_	 91
+ga	 91
+ent	 90
+hi	 90
+_e_	 90
+it	 89
+ta_	 88
+ter	 87
+ns_	 86
+iv	 86
+igl	 86
+a.	 85
+em	 85
+I	 85
+chi	 84
+_en	 84
+int	 84
+ue	 83
+su	 82
+tt	 82
+a,	 82
+a,_	 82
+o_	 82
+_ve	 82
+a._	 82
+_q	 81
+_qu	 80
+ge	 80
+"	 80
+_la_	 80
+ar_	 80
+vi	 79
+gl_	 79
+tu	 78
+ng	 78
+ro	 76
+mi	 76
+sta	 75
+ed	 75
+lla	 74
+ei_	 73
+_o	 73
+ic	 73
+el_	 73
+_il	 73
+_in_	 72
+g_	 72
+pr	 71
+nu	 70
+ina	 70
+_h	 69
+scha	 68
+mai	 68
+pl	 68
+il_	 68
+os	 68
+ha_	 68
+be	 67
+uo	 67
+cun	 67
+ra_	 67
+_pa	 65
+ts_	 64
+s.	 64
+co	 64
+_u	 64
+fi	 64
+_I	 63
+sa_	 63
+s._	 63
+_re	 62
+ün	 62
+_nu	 62
+?	 62
+S	 62
+_se	 61
+no	 61
+nt_	 61
+E	 61
+tr	 61
+mp	 60
+igl_	 60
+_su	 60
+_st	 60
+ess	 60
+im	 60
+zi	 59
+?_	 59
+nc	 59
+_E	 58
+_-	 58
+_cun	 58
+_te	 58
+_sa	 58
+ant	 58
+main	 58
+eu	 57
+ssa	 57
+-_	 57
+iun	 57
+_-_	 57
+aint	 56
+op	 56
+al_	 56
+dal	 56
+j	 56
+ama	 55
+_tg	 55
+ua	 55
+M	 55
+per_	 55
+tsc	 54
+nta	 54
+tsch	 54
+um	 54
+fa	 54
+za	 54
+_di	 54
+pia	 54
+_per_	 54
+T	 54
+_M	 53
+ne	 53
+era	 53
+A	 53
+que	 53
+_dal	 53
+cr	 53
+_de	 53
+lla_	 53
+_che	 52
+h'	 52
+_me	 51
+ot	 51
+_pr	 51
+_pl	 51
+_sch	 51
+ch'	 50
+_S	 50
+opi	 50
+ou	 50
+tta	 50
+mo	 50
+ada	 50
+ba	 50
+_an	 49
+top	 49
+id	 49
+è	 49
+he_	 49
+C	 49
+va_	 49
+uto	 49
+ins	 48
+topi	 48
+L	 48
+ir_	 48
+ist	 48
+c_	 48
+_il_	 48
+P	 48
+ss_	 48
+ag	 47
+_no	 47
+res	 47
+las	 47
+_vi	 46
+s,	 46
+schi	 46
+_en_	 46
+tg_	 46
+s,_	 46
+_si	 46
+_que	 45
+_T	 45
+az	 45
+'i	 45
+cun_	 44
+_fa	 44
+_mi	 44
+utop	 44
+utopi	 44
+sche	 44
+_C	 44
+ur_	 44
+tge	 44
+po	 44
+es_	 44
+x	 44
+nz	 44
+_L	 44
+_cun_	 44
+man	 44
+_ch'	 43
+_fi	 43
+pu	 43
+ell	 43
+opia	 43
+_igl	 43
+_ig	 43
+sp	 43
+topia	 43
+ava	 42
+egn	 42
+che_	 42
+on_	 42
+ci	 42
+_P	 42
+ev	 42
+ond	 41
+_"	 41
+à	 41
+us_	 41
+_ha	 41
+D	 40
+_co	 40
+etg	 40
+'e	 40
+las_	 40
+est	 40
+ura	 40
+uel	 39
+ed_	 39
+vo	 39
+gia	 39
+bu	 39
+mu	 39
+nn	 39
+gli	 39
+_A	 39
+lu	 39
+cha_	 39
+ul	 38
+mal	 38
+_ün	 38
+ina_	 38
+_bu	 38
+_ca	 38
+_ü	 38
+uc	 38
+nts	 38
+tra	 38
+_tu	 37
Index: /trunk/gsdl/perllib/textcat/Other/russian-iso8859_5.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/russian-iso8859_5.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/russian-iso8859_5.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 76249
+Þ	 19732
+Õ	 16714
+Ð	 14389
+Ø	 13942
+â	 13160
+Ý	 12444
+á	 9867
+à	 8461
+Ò	 7895
+Û	 7330
+Ú	 6498
+Ü	 5935
+.	 5725
+ã	 5287
+Ô	 5019
+ß	 4877
+ï	 4083
+,	 3899
+,_	 3878
+ë	 3656
+ì	 3376
+Ø_	 3167
+_ß	 3144
+Õ_	 3135
+Þ_	 3098
+-	 3019
+×	 2983
+_Ò	 2952
+._	 2930
+_á	 2919
+ç	 2887
+Ó	 2876
+Ñ	 2797
+áâ	 2672
+_Ý	 2631
+âÞ	 2585
+..	 2407
+_Ø	 2316
+ÝÞ	 2300
+-_	 2294
+Ù	 2281
+Ð_	 2249
+ÝÐ	 2057
+ï_	 2029
+ÞÒ	 1981
+ÝØ	 1950
+_â	 1944
+å	 1874
+ÕÝ	 1856
+_Þ	 1774
+...	 1744
+àÐ	 1709
+ÝÕ	 1685
+ßÞ	 1636
+_-	 1625
+ÚÞ	 1616
+âÕ	 1595
+àÞ	 1584
+_Ú	 1558
+_-_	 1531
+Ù_	 1521
+Õâ	 1518
+Ö	 1509
+_Ø_	 1454
+âÐ	 1433
+ÐÝ	 1419
+Õà	 1396
+Þâ	 1389
+ì_	 1381
+ÓÞ	 1375
+ÐÛ	 1370
+_ßÞ	 1364
+àÕ	 1345
+ÚÐ	 1338
+ßà	 1337
+ÒÐ	 1329
+âØ	 1306
+ÛØ	 1300
+_Ô	 1297
+_Ü	 1290
+Õá	 1284
+ÒÞ	 1271
+çÕ	 1256
+Þà	 1245
+....	 1232
+âì	 1219
+Þá	 1212
+è	 1192
+î	 1187
+Ò_	 1168
+.....	 1167
+ÞÝ	 1147
+ÐÚ	 1144
+æ	 1109
+ÞÓ	 1101
+ÛÞ	 1099
+â_	 1093
+àØ	 1076
+Ü_	 1074
+_ßà	 1063
+ÞÛ	 1062
+Ûì	 1045
+_ÝÕ	 1034
+ÕÛ	 1029
+_Ñ	 1026
+ØÝ	 1000
+ÞÔ	 998
+ÞÜ	 996
+ÜÕ	 993
+ë_	 975
+ÒÕ	 968
+áÚ	 968
+_ÝÐ	 966
+ÔÕ	 946
+Ýë	 943
+_à	 931
+_ç	 923
+Ðâ	 913
+ÕÜ	 910
+ã_	 907
+×Ð	 898
+å_	 898
+ÛÕ	 889
+âÞ_	 881
+Øâ	 878
+ÞÙ	 875
+áÕ	 862
+_Ò_	 833
+_×	 816
+ÚØ	 816
+âà	 807
+"	 786
+âì_	 769
+ÕÔ	 767
+ÝÕ_	 762
+áï	 754
+ÛÐ	 748
+ÞÑ	 747
+ÜÞ	 741
+ÔÐ	 730
+ÓÞ_	 715
+Ú_	 713
+Øá	 711
+_ã	 702
+ÞÙ_	 697
+ØÛ	 694
+ÜÐ	 692
+ÝÝ	 687
+ÔÞ	 662
+Ðá	 660
+ÐÜ	 656
+Øï	 649
+ÖÕ	 646
+Ð×	 638
+áÞ	 629
+ÝÐ_	 619
+_Ó	 615
+ÜØ	 612
+_Ð	 610
+í	 609
+Òá	 608
+.._	 605
+Òë	 604
+ÞÓÞ	 604
+ØÜ	 604
+_ÚÞ	 600
+ÐÒ	 597
+áÛ	 594
+ØÕ	 593
+_ÝÕ_	 589
+_Õ	 587
+_âÕ	 583
+âã	 583
+Øç	 583
+àã	 575
+Þáâ	 571
+é	 571
+Û_	 570
+_í	 569
+_ï	 559
+°	 556
+ÕÝØ	 544
+Ø×	 540
+ÕÚ	 536
+ÞÒÐ	 533
+ä	 525
+:	 519
+²	 513
+ÐÝØ	 511
+_Òá	 510
+ØÙ	 510
+œ	 508
+_ÚÐ	 508
+!	 503
+?	 501
+ÔØ	 498
+ÛØ_	 489
+¿	 488
+ßàÞ	 486
+_àÐ	 485
+áØ	 484
+Øà	 484
+_áâ	 484
+ìÝ	 484
+ÛìÝ	 484
+:_	 484
+áï_	 480
+_×Ð	 477
+ÑÞ	 470
+_Û	 469
+..._	 465
+Ñë	 464
+Øå	 464
+ž	 462
+ÕÓ	 461
+âÒ	 459
+ÝØï	 458
+ïâ	 454
+çâ	 454
+íâ	 445
+çÕá	 442
+_âÞ	 442
+Øï_	 441
+ØÚ	 440
+ÒØ	 437
+ÐÚ_	 436
+áâÐ	 436
+ÞÓÞ_	 435
+_²	 434
+ØçÕ	 433
+æØ	 431
+çâÞ	 431
+ëå	 429
+_íâ	 429
+Á	 425
+_çâ	 424
+_°	 424
+î_	 423
+ßÕ	 422
+Ýï	 422
+_çâÞ	 422
+Ûï	 419
+ÒáÕ	 418
+Ôã	 418
+ÕáÚ	 415
+Ýâ	 413
+ÚÐÚ	 411
+áâÞ	 411
+_Òë	 409
+Ýã	 408
+âá	 406
+Ý_	 406
+_¿	 401
+Œ	 401
+ÝÞ_	 399
+_ßàÞ	 398
+_.	 397
+àÞÒ	 396
+æÕ	 396
+Úâ	 394
+Õáâ	 394
+_"	 393
+èÕ	 393
+á_	 392
+_Þâ	 392
+Ÿ	 391
+_ÝÐ_	 391
+àÕÔ	 391
+çÕáÚ	 390
+Þ-	 390
+ÒÐÝ	 388
+Ð,	 385
+ÐÔ	 384
+Ðï	 384
+_ï_	 383
+Ð,_	 383
+âë	 383
+?_	 383
+_ÞÑ	 380
+_ÒáÕ	 380
+_âÐ	 378
+_ÚÐÚ	 376
+åÞ	 375
+âÐÚ	 375
+ÐÛì	 374
+ÞÖ	 373
+ëå_	 372
+ÞÒÞ	 372
+ØÒ	 371
+_ÒÞ	 369
+Üã	 369
+_œ	 369
+ÕÙ	 368
+ßàÕ	 368
+×Ý	 366
+ØçÕá	 365
+ßØ	 365
+ÕÓÞ	 362
+_áÞ	 360
+ÞÕ	 360
+!_	 360
+Ðâì	 360
+áâØ	 358
+Øå_	 358
+âÝ	 358
+ÜÕÝ	 358
+âáï	 356
+ØÕ_	 356
+ØçÕáÚ	 354
+ÑÕ	 352
+_Ñë	 352
+áâà	 349
+Úã	 349
+_ÜÞ	 348
+Õâ_	 348
+Â	 346
+_ÜÕ	 344
+ÕÒ	 344
+ßàØ	 343
+çØ	 342
+ÜÝ	 341
+ÝØï_	 339
+Ðà	 338
+ÝÝÞ	 337
+ÞÒÐÝ	 334
+Úá	 334
+ãà	 328
+_çÕ	 328
+ÞÛì	 328
+ãâ	 327
+çâÞ_	 324
+ÞÜ_	 323
+Þß	 323
+àÜ	 322
+°_	 322
+_çâÞ_	 322
+íâÞ	 322
+Þç	 321
+Þ,_	 320
+Þ,	 320
+áÚÞ	 319
+ÚÞÝ	 319
+ÛÞÒ	 318
+ëÙ	 318
+ãá	 317
+Þâ_	 316
+ØàÞ	 315
+áâÒ	 314
+Ø,	 314
+ØÙ_	 313
+áá	 313
+Ø,_	 313
+âÞÜ	 312
+ÐÕ	 312
+ÕÝÝ	 311
+Õ×	 311
+ÝÞÙ	 311
+_íâÞ	 310
+º	 309
+áÐ	 309
+àÐ×	 309
+Õß	 309
+_ÔÞ	 308
+ÞÛÞ	 308
+áâì	 308
+ãÔ	 307
+ÔÕÛ	 307
+_ž	 305
+ÐÑ	 305
+áì	 303
+ÐÛìÝ	 302
+ÞÚ	 300
+áÚØ	 300
+Ýëå	 300
+_ßàØ	 298
+çÐ	 297
+_Ö	 297
+Õ,	 297
+Õ,_	 297
+_°_	 296
+_ÝØ	 296
+_._	 295
+âáï_	 295
+ØØ	 294
+×ÝÐ	 293
+ï,	 292
+ï,_	 292
+_ßàÕ	 291
+_Á	 290
+ÝÞÙ_	 290
+Ðï_	 288
+_Ÿ	 288
+ÐÛØ	 286
+ÖÕ_	 285
+áß	 285
+Øáâ	 285
+Ýëå_	 285
+×_	 283
+_Œ	 283
Index: /trunk/gsdl/perllib/textcat/Other/russian-koi8_r.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/russian-koi8_r.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/russian-koi8_r.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 28256
+Ï	 8957
+Å	 7206
+Á	 6230
+É	 5966
+Ô	 5385
+Î	 5338
+Ó	 4464
+Ò	 3984
+×	 3504
+Ì	 3335
+Ë	 2700
+Í	 2441
+Ð	 2324
+Ä	 2230
+Õ	 1840
+Ñ	 1562
+Ù	 1540
+_Ð	 1505
+,	 1492
+,_	 1492
+Ø	 1437
+Ï_	 1423
+Å_	 1335
+ÓÔ	 1286
+Ú	 1283
+Ç	 1233
+Â	 1232
+É_	 1193
+ÔÏ	 1175
+_Ó	 1146
+Þ	 1143
+_×	 1118
+_Î	 1062
+Á_	 1032
+.	 999
+ÎÏ	 996
+ÅÎ	 920
+Ï×	 911
+._	 908
+Ê	 907
+ÎÁ	 893
+ÒÏ	 869
+ÒÁ	 851
+ÎÉ	 844
+Ñ_	 808
+ÐÒ	 786
+ÐÏ	 775
+ËÏ	 768
+Ö	 763
+_Ï	 735
+ÎÅ	 730
+ÏÓ	 723
+_É	 721
+È	 696
+ÒÅ	 667
+_ÐÒ	 629
+_Ë	 626
+×_	 621
+ÔÅ	 620
+Ø_	 616
+×Ï	 599
+Ê_	 597
+_ÐÏ	 592
+ÇÏ	 589
+ÅÒ	 584
+ÌÉ	 579
+ÔÁ	 576
+ÅÔ	 566
+Í_	 562
+ÅÓ	 548
+ÏÒ	 545
+ÅÌ	 545
+ÁÌ	 544
+×Á	 535
+ÔØ	 533
+ÌÅ	 528
+_Ä	 522
+ÏÍ	 520
+ËÁ	 520
+À	 518
+Û	 510
+_Ô	 507
+ÏÔ	 502
+ÏÌ	 500
+ÁÎ	 498
+ÌØ	 486
+ÏÄ	 476
+ÁÔ	 475
+ÔÉ	 471
+ÉÔ	 458
+ÏÎ	 457
+ÏÇ	 450
+Ã	 450
+ÌÏ	 449
+Ô_	 448
+_ÎÁ	 447
+ÎÙ	 443
+ÄÅ	 442
+_Í	 438
+ÌÁ	 431
+_×_	 430
+ÓË	 428
+_ÎÅ	 424
+ÒÉ	 400
+ÅÍ	 396
+_Â	 392
+_Þ	 388
+ÞÅ	 388
+ÁË	 388
+_É_	 385
+_Ò	 382
+ÔÏ_	 381
+ÉÎ	 380
+ÍÅ	 374
+ÄÁ	 362
+Ù_	 361
+×Å	 350
+ÔØ_	 348
+ÐÒÏ	 347
+ÏÊ	 346
+ÚÁ	 338
+È_	 336
+ÁÓ	 335
+ÏÂ	 328
+ÓÑ	 326
+ÉÍ	 323
+ÔÒ	 321
+ÎÁ_	 321
+ÓÏ	 320
+ÅÄ	 320
+ÏÓÔ	 318
+ÉÅ	 318
+ÍÏ	 317
+ÎÎ	 316
+ÓÅ	 314
+-	 314
+Á×	 309
+ÖÅ	 308
+Õ_	 307
+ËÉ	 306
+ÎÅ_	 305
+ÇÏ_	 302
+_Ú	 300
+ÉÌ	 295
+_ÐÒÏ	 291
+Ý	 289
+Ô×	 288
+ÉÓ	 285
+_Õ	 275
+_ËÏ	 274
+ÅÎÉ	 274
+Ü	 273
+ÎÏ_	 272
+ÉÒ	 271
+_Ç	 271
+ÁÚ	 267
+ÁÒ	 266
+ÄÉ	 265
+ÏÊ_	 264
+ÏÇÏ	 263
+ÁÍ	 260
+ÐÅ	 258
+×Ù	 255
+ÍÉ	 254
+ÄÏ	 254
+ÓÔ×	 247
+ÉÚ	 246
+ÃÉ	 246
+î	 244
+Æ	 240
+_Ü	 239
+_Á	 239
+Ë_	 238
+ó	 237
+ÅÓÔ	 237
+_ÎÅ_	 236
+ÂÙ	 234
+ÉÑ	 234
+ÒÕ	 229
+ÅË	 228
+ÓÉ	 226
+ÔÅÌ	 224
+ÉË	 224
+ÌÉ_	 222
+ÅÊ	 222
+ÓÑ_	 222
+ÎÔ	 220
+ØÎ	 218
+ÞÔ	 216
+ÌØÎ	 216
+ÏÅ	 214
+ÍÁ	 213
+_ÚÁ	 211
+Ï×Á	 211
+ÂÏ	 210
+_Ì	 210
+ÞÁ	 209
+_î	 208
+ÓÌ	 205
+ÞÔÏ	 204
+_ÞÔ	 204
+ÅÔ_	 203
+_ÞÔÏ	 203
+ÜÔ	 202
+Ó_	 202
+×É	 201
+ÁÑ	 199
+ÅÎÎ	 199
+ÔÏÒ	 199
+_ÎÁ_	 199
+ÓÔÁ	 198
+ÏÖ	 198
+ÉÅ_	 197
+_ó	 197
+_ÓÏ	 195
+ÐÒÉ	 194
+ËÔ	 193
+Ì_	 193
+×Ó	 191
+ÏÍ_	 190
+ÏÇÏ_	 187
+_Ö	 187
+ÅÇ	 186
+_ÔÏ	 186
+ÁÄ	 186
+_ÒÁ	 185
+_ÜÔ	 184
+_ËÁ	 184
+ÓÔÉ	 183
+_Å	 182
+Å×	 182
+ÔÓ	 181
+_ÓÔ	 180
+ÌÑ	 180
+ÔÎ	 180
+ÓÐ	 173
+ÉÉ	 172
+ÏÞ	 172
+À_	 172
+ÐÒÅ	 172
+ÏË	 172
+ÁÔØ	 171
+ÂÉ	 171
+ÛÅ	 170
+ÁÅ	 169
+á	 169
+ÏÒÏ	 168
+ÙÈ	 167
+Ï×Ï	 166
+ÏÌØ	 166
+ÁÎÉ	 165
+ÞÔÏ_	 164
+_ÞÔÏ_	 163
+÷	 163
+ÁÑ_	 163
+ÉÈ	 162
+Ï,_	 160
+Ï,	 160
+ÓÓ	 160
+ÅÚ	 159
+ÎÉÅ	 158
+ÚÎ	 157
+ÜÔÏ	 157
+ÄÎ	 156
+ÒÏ×	 156
+ð	 155
+Á,	 155
+ÓËÏ	 155
+_×Ï	 155
+Á,_	 155
+_ÂÙ	 154
+ÙÅ	 154
+ÝÅ	 154
+_ÏÂ	 154
+É,_	 153
+É,	 153
+ÎÎÏ	 152
+_ÐÒÉ	 151
+ÔÙ	 150
+ÓÔÏ	 150
+ÉÑ_	 150
+ÍÕ	 150
+É×	 150
+_-	 149
+ÒÅÄ	 148
+ÉÔÅ	 147
+_ÜÔÏ	 146
+ÍÅÎ	 146
+ÏÐ	 146
+_ÐÒÅ	 145
+	 145
+ÉÊ	 145
+ÅÌØ	 145
+_÷	 144
+_Ó_	 144
+ÉÞ	 144
+__	 144
+_	 144
+_	 144
+ÈÏ	 143
+ÅÇÏ	 143
+ÑÔ	 142
+ÔÓÑ	 142
+ÐÅÒ	 142
+ÙÊ	 142
+ÐÁ	 141
+ÏÔÏ	 140
+-_	 140
+ÁÐ	 139
+ÏÚ	 139
+ÓËÉ	 138
+ÙÈ_	 138
+ï	 137
+ÓÁ	 137
+ÙÅ_	 137
+_ð	 136
+Å,	 136
+Å,_	 136
+ÒÙ	 136
+Î_	 135
+_á	 135
+ÇÉ	 134
+_×Ù	 134
+ÓÔØ	 134
+ÁÓÔ	 133
+ÖÅ_	 133
+ÞÉ	 133
+ÎÉÑ	 133
+ÕÔ	 133
+ÁÌÉ	 132
+_-_	 131
+ËÕ	 131
+ÓØ	 131
+_ÄÏ	 129
+ÄÕ	 129
+ÒÁÚ	 129
+ÖÎ	 129
+ÁÅÔ	 129
+_ÍÏ	 127
+ÖÉ	 127
+_ÄÅ	 127
+ÓÔÒ	 127
+ØÎÏ	 126
+ÔÕ	 126
+_×Ó	 126
+ÌØÎÏ	 126
+ÌÅÎ	 125
+ÁÌØ	 125
+Ï×_	 124
+×Ì	 123
+ÉÂ	 123
+ÁË_	 123
+_ÐÅ	 123
+ÔÅÌØ	 123
+Ú_	 122
+×Î	 122
+ÁÀ	 122
+ÅÎÔ	 121
+ÐÏÌ	 121
+ÉÈ_	 121
+ÙÊ_	 121
+ÓÎ	 121
+ÎÏÇ	 121
+ÃÅ	 120
+_ÏÔ	 120
+ÅÍ_	 119
+ÉÏ	 119
+_ÔÅ	 118
+ËÁË	 118
+_ÎÏ	 117
+ÉÉ_	 117
+ÉÔØ	 117
+ë	 116
+_ÉÚ	 116
+ÕÓ	 116
+ÎÏÓ	 115
+ÂÅ	 115
+ÕÄ	 115
+ÅÒÅ	 114
+ÂÌ	 114
+ÉÔÅÌ	 113
+ÅÇÏ_	 113
+ÙÍ	 113
+ÁÂ	 113
+ÎØ	 113
+ÎÏÊ	 112
+ÎÉÅ_	 112
+_Æ	 112
+ÒÏÓ	 111
+ËÒ	 111
+_ËÁË	 111
+ÛÉ	 111
+Í,	 111
+ÎÏ×	 111
+Í,_	 111
+ÔÏÍ	 110
+ÅÅ	 110
+ÔÏ×	 109
+Ó×	 109
Index: /trunk/gsdl/perllib/textcat/Other/sanskrit.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/sanskrit.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/sanskrit.lm	(revision 1382)
@@ -0,0 +1,400 @@
+a	 15017
+_	 14975
+h	 5028
+i	 3820
+t	 2976
+s	 2788
+r	 2599
+|	 2437
+n	 2432
+aa	 2276
+ha	 2007
+m	 1982
+a_	 1802
+v	 1799
+d	 1768
+u	 1629
+y	 1599
+_|	 1470
+|_	 1470
+e	 1403
+k	 1371
+sh	 1330
+ra	 1243
+p	 1213
+va	 1152
+A	 1134
+ya	 1120
+ma	 1097
+na	 1091
+ar	 1080
+ta	 1054
+M	 1050
+.	 1047
+am	 1037
+an	 1006
+||	 967
+||_	 965
+_||	 965
+_||_	 963
+at	 962
+M_	 946
+as	 910
+_s	 882
+o	 848
+b	 844
+i_	 827
+aM	 764
+aM_	 685
+c	 630
+ch	 629
+sa	 623
+N	 616
+ad	 612
+H	 601
+pa	 595
+H_	 584
+g	 580
+_n	 579
+l	 554
+bh	 552
+hi	 547
+ka	 542
+it	 536
+ii	 535
+ama	 519
+_|_	 505
+e_	 477
+_p	 475
+dh	 475
+av	 469
+ak	 445
+aH	 444
+da	 440
+aH_	 439
+ay	 437
+j	 437
+_na	 432
+ana	 430
+hh	 428
+ti	 426
+ara	 425
+aa_	 410
+_k	 394
+shh	 389
+_v	 388
+_sa	 381
+.h	 379
+ah	 369
+_b	 368
+h_	 363
+.h_	 363
+cha	 362
+haa	 361
+_t	 358
+ri	 352
+sha	 345
+ap	 333
+vi	 330
+is	 329
+^	 321
+o_	 321
+_m	 320
+ai	 311
+_d	 311
+la	 302
+na_	 301
+.n	 298
+ava	 295
+al	 294
+_sh	 291
+ja	 288
+a.	 280
+aan	 277
+ish	 274
+aN	 273
+aya	 273
+ash	 266
+ha_	 265
+ga	 264
+st	 255
+ni	 255
+ii_	 254
+hu	 253
+Na	 253
+R	 248
+R^	 248
+^i	 247
+R^i	 247
+a.n	 243
+th	 241
+_c	 240
+_ch	 239
+maa	 238
+bha	 237
+vaa	 233
+ab	 228
+ir	 226
+\	 226
+ita	 223
+uu	 222
+dha	 220
+har	 218
+_a	 216
+_bh	 216
+nam	 212
+u_	 212
+he	 212
+m.h_	 211
+m.	 211
+m.h	 211
+ur	 210
+es	 209
+ata	 208
+te	 206
+yaa	 205
+_ma	 204
+esh	 202
+aka	 200
+id	 199
+pr	 199
+aha	 198
+hy	 198
+T	 197
+aat	 197
+_OM_	 196
+OM	 196
+_O	 196
+_OM	 196
+OM_	 196
+O	 196
+ti_	 195
+ari	 194
+raa	 193
+ag	 192
+_y	 192
+aas	 190
+_ta	 190
+_j	 189
+I	 189
+_na_	 187
+am.h_	 185
+am.h	 185
+am.	 185
+_pa	 183
+iv	 182
+de	 182
+ada	 178
+nd	 178
+_cha	 177
+_h	 176
+ati	 175
+taa	 173
+ev	 172
+nt	 171
+rii	 171
+ishh	 170
+ya_	 168
+_vi	 166
+ast	 165
+tr	 164
+abh	 164
+kh	 162
+ala	 160
+tha	 160
+apa	 160
+asa	 158
+naa	 158
+_nam	 156
+ru	 156
+A_	 155
+_ka	 154
+aar	 153
+_pr	 152
+_g	 151
+pra	 150
+ham	 150
+hha	 149
+aana	 149
+di	 149
+ra_	 147
+ik	 146
+.a	 144
+yat	 143
+ks	 143
+hA	 143
+hya	 143
+ksh	 143
+ut	 142
+sy	 141
+nama	 140
+_va	 140
+.\	 140
+paa	 140
+han	 139
+eva	 138
+U	 138
+mi	 138
+_r	 136
+_ja	 136
+asy	 135
+hr	 135
+sya	 134
+cha_	 132
+rv	 132
+tv	 130
+asya	 130
+kar	 130
+ho	 129
+yo	 129
+in	 128
+adh	 127
+yA	 127
+va_	 126
+su	 125
+_ya	 125
+shha	 124
+pu	 124
+R^it	 123
+sta	 123
+mu	 123
+^it	 123
+ty	 123
+_nama	 121
+ac	 120
+rii_	 120
+ach	 120
+aNa	 119
+tas	 119
+shi	 119
+iva	 119
+hav	 119
+tra	 118
+var	 118
+par	 118
+haM	 117
+aad	 117
+kaa	 117
+hch	 117
+mas	 117
+ai_	 117
+hc	 117
+sar	 116
+aam	 116
+_bha	 115
+_pra	 114
+et	 114
+haM_	 113
+aay	 113
+aj	 113
+ye	 113
+o.	 113
+An	 111
+arii	 111
+t.h	 110
+t.	 110
+ath	 110
+t.h_	 109
+man	 109
+te_	 108
+o.a	 108
+hara	 108
+rA	 108
+rva	 108
+tva	 108
+asta	 108
+up	 108
+shr	 107
+daa	 104
+me	 104
+dr	 104
+ram	 104
+arii_	 102
+_ni	 102
+arv	 102
+iH	 102
+hit	 101
+ras	 101
+aga	 101
+Am	 101
+mA	 101
+ba	 101
+amas	 100
+tu	 100
+yaM	 100
+ant	 99
+ud	 99
+uk	 98
+iH_	 98
+yaM_	 98
+kha	 98
+au	 98
+ira	 97
+shhT	 97
+rah	 97
+hT	 97
+hhT	 97
+D	 96
+_sar	 96
+re	 96
+eshh	 95
+sarv	 94
+amaa	 94
+and	 94
+arva	 94
+_ra	 93
+_dh	 93
+tt	 92
+tad	 92
+hm	 92
+raM_	 91
+dev	 91
+raM	 91
+C	 91
+ani	 91
+_sarv	 90
+atha	 89
+Ad	 89
+chi	 89
+tA	 88
+sarva	 88
+avi	 88
+taM	 87
+hava	 87
+anaa	 86
+vA	 86
+dd	 86
+nA	 85
+Ar	 85
+hv	 85
+taM_	 85
+dhi	 84
+ksha	 84
+ip	 84
+ma_	 84
+_sha	 84
+ati_	 83
+yai	 83
+vat	 83
+At	 83
+kR	 82
+kR^	 82
+bhi	 82
+_shr	 82
+to	 82
+ta_	 82
+br	 82
+ek	 82
+kR^i	 82
+tat	 81
+nta	 81
+hma	 81
+aaya	 80
+tam	 80
+en	 80
+us	 79
+bra	 79
+ke	 79
+kt	 79
+ddh	 79
+mo	 79
Index: /trunk/gsdl/perllib/textcat/Other/scots.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/scots.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/scots.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 11688
+e	 3223
+a	 2469
+t	 2269
+i	 1928
+n	 1903
+r	 1414
+o	 1406
+h	 1369
+s	 1249
+l	 929
+n_	 890
+_t	 862
+_a	 843
+d	 818
+e_	 798
+th	 704
+w	 661
+he	 625
+an	 612
+t_	 606
+u	 592
+_th	 575
+c	 508
+s_	 471
+the	 470
+,	 469
+-	 458
+in	 455
+m	 445
+,_	 440
+b	 434
+g	 429
+er	 409
+ee	 408
+_the	 407
+k	 402
+an_	 402
+f	 385
+_w	 378
+he_	 376
+the_	 364
+_an	 362
+_o	 360
+y	 358
+_the_	 354
+_s	 353
+_an_	 342
+a_	 335
+r_	 327
+_b	 316
+d_	 303
+i_	 278
+en	 277
+p	 270
+ei	 245
+A	 236
+wa	 232
+_A	 231
+re	 229
+in_	 229
+ui	 218
+oo	 217
+le	 217
+ai	 216
+et	 212
+ti	 209
+it	 209
+_f	 206
+te	 204
+_a_	 203
+_m	 202
+ha	 200
+as	 193
+on	 188
+at	 184
+_i	 183
+_wa	 183
+_c	 182
+o_	 180
+or	 178
+_h	 176
+_g	 169
+ch	 165
+A_	 159
+_l	 158
+_A_	 157
+st	 156
+_d	 155
+_ti	 148
+.	 148
+._	 146
+ke	 144
+ti_	 143
+--	 143
+_o_	 142
+ow	 142
+---	 140
+ed	 138
+----	 138
+_r	 137
+as_	 137
+y_	 136
+er_	 136
+-----	 136
+ir	 135
+aa	 135
+la	 131
+een	 130
+ae	 129
+_ti_	 128
+ra	 126
+es	 125
+nd	 124
+de	 120
+h_	 120
+ie	 120
+ar	 119
+ll	 119
+nt	 118
+ot	 118
+en_	 115
+ma	 115
+eet	 113
+her	 112
+el	 112
+is	 112
+'	 112
+at_	 111
+ic	 109
+se	 108
+or_	 106
+wu	 104
+me	 104
+ne	 103
+fo	 102
+on_	 101
+was	 99
+_was	 98
+et_	 98
+ri	 98
+_e	 97
+_ma	 97
+v	 97
+_n	 97
+!	 97
+li	 97
+ht	 93
+hi	 92
+_wu	 92
+ng	 91
+ro	 91
+it_	 90
+ck	 90
+_fo	 90
+tha	 90
+k_	 89
+il	 89
+cht	 86
+eet_	 86
+_p	 86
+we	 86
+_was_	 85
+was_	 85
+rt	 84
+ed_	 83
+ter	 83
+id	 83
+ga	 82
+;	 82
+;_	 81
+ther	 79
+tt	 76
+air	 76
+e,	 75
+un	 75
+ho	 75
+for	 74
+ge	 74
+_st	 73
+_y	 72
+_he	 72
+wh	 71
+_on	 71
+sh	 70
+z	 70
+e,_	 69
+bi	 68
+_tha	 68
+wui	 67
+!_	 67
+ad	 67
+een_	 66
+l_	 66
+ts	 66
+_for	 66
+n,	 66
+_wh	 65
+re_	 65
+be	 65
+eh	 64
+hat	 64
+ns	 64
+br	 64
+g_	 64
+ui_	 64
+rr	 64
+wui_	 63
+ni	 63
+_wui	 62
+ay	 62
+s,	 62
+pe	 61
+n,_	 61
+bo	 61
+al	 61
+ye	 61
+_bi	 60
+oot	 60
+na	 60
+ang	 60
+s,_	 59
+es_	 59
+ill	 58
+that	 58
+_wui_	 58
+nn	 58
+eh_	 58
+oa	 57
+han	 57
+_that	 56
+_br	 56
+ca	 56
+_ga	 56
+ng_	 56
+um	 55
+hat_	 55
+oon	 55
+od	 55
+for_	 55
+no	 55
+ree	 55
+_for_	 54
+_le	 54
+ht_	 54
+ot_	 54
+_k	 53
+rd	 53
+ki	 53
+aw	 53
+nd_	 53
+_on_	 53
+_it	 53
+ik	 53
+t,	 53
+_be	 52
+that_	 52
+ve	 52
+rn	 52
+'s	 51
+au	 51
+co	 51
+ich	 51
+to	 51
+lo	 51
+t,_	 51
+ea	 51
+tee	 51
+lan	 50
+fi	 50
+_at	 50
+am	 50
+_in	 50
+ere	 50
+ur	 50
+le_	 50
+nt_	 49
+'s_	 49
+hin	 49
+yi	 49
+hr	 49
+ts_	 49
+_ca	 48
+"	 48
+ta	 48
+cht_	 48
+-_	 48
+_as	 47
+T	 47
+ang_	 47
+lei	 46
+_ma_	 46
+tr	 46
+_ro	 46
+fe	 46
+ma_	 46
+icht	 46
+_as_	 46
+der	 46
+cl	 46
+e-	 45
+n-	 45
+thr	 45
+ba	 45
+m_	 45
+st_	 45
+rt_	 45
+_u	 45
+do	 45
+_T	 45
+im	 44
+_se	 44
+sk	 44
+_la	 44
+eik	 44
+bit	 43
+ike	 43
+B	 43
+kee	 43
+tte	 43
+di	 43
+eed	 43
+_B	 42
+_aa	 42
+her_	 42
+da	 42
+ff	 42
+tu	 42
+ie_	 42
+_cl	 42
+_ba	 42
+oot_	 42
+bu	 41
+eike	 41
+oc	 41
+hu	 41
+_thr	 41
+ther_	 41
+_co	 41
+aa_	 41
+so	 41
+_me	 41
+H	 41
+_H	 40
+ke_	 40
+ert	 40
+lu	 40
+ist	 40
+si	 40
+iz	 40
+ar_	 39
+uc	 39
+thi	 39
+ad_	 39
+ru	 39
+owe	 39
+gi	 38
+_bit	 38
+_do	 38
+int	 38
+bl	 38
+ld	 38
+_at_	 38
+lt	 38
+ac	 38
+_ha	 38
+ae_	 38
+rs	 37
+here	 37
+ei_	 37
+han_	 37
+p_	 37
+is_	 37
+eth	 37
+fa	 37
+_sk	 37
+ll_	 37
+ss	 36
+bra	 36
+wha	 36
+gl	 36
+ck_	 36
+pl	 36
+lin	 36
+ir_	 36
+ab	 36
+_ther	 36
+_da	 35
+ce	 35
+rin	 35
+_oo	 35
+rl	 35
+wee	 35
+and	 35
+sa	 35
+_yi	 35
+_bra	 35
+'d	 35
+ds	 35
+_bo	 35
Index: /trunk/gsdl/perllib/textcat/Other/scots_gaelic.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/scots_gaelic.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/scots_gaelic.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 12634
+a	 5353
+h	 3268
+i	 2898
+n	 2792
+e	 1651
+r	 1563
+d	 1455
+_a	 1425
+c	 1245
+n_	 1236
+s	 1165
+l	 1152
+an	 1121
+t	 980
+ai	 979
+g	 962
+u	 905
+ch	 902
+ha	 836
+h_	 833
+a_	 829
+ea	 821
+o	 794
+dh	 726
+an_	 711
+b	 639
+m	 585
+na	 514
+nn	 506
+ac	 498
+r_	 495
+s_	 482
+ir	 480
+ach	 466
+id	 458
+_an	 450
+_c	 427
+th	 403
+à	 388
+he	 383
+in	 379
+bh	 367
+idh	 358
+ad	 342
+_n	 341
+il	 332
+nn_	 323
+_t	 322
+_d	 319
+ar	 317
+e_	 311
+dh_	 307
+_an_	 303
+_b	 302
+_na	 294
+air	 289
+ig	 279
+.	 275
+ir_	 272
+ag	 272
+_ai	 272
+,	 270
+gu	 269
+,_	 269
+._	 265
+ean	 264
+ch_	 261
+f	 259
+?	 258
+_s	 255
+ann	 250
+ra	 241
+ei	 241
+_a_	 241
+ha_	 241
+d_	 238
+-	 235
+_m	 231
+gh	 230
+hea	 228
+le	 226
+_f	 224
+ui	 223
+is	 223
+as	 218
+adh	 218
+l_	 216
+g_	 208
+ài	 207
+ò	 207
+hai	 205
+cha	 205
+air_	 204
+na_	 201
+inn	 198
+tha	 190
+C	 189
+G	 188
+ann_	 187
+_ag	 186
+_air	 186
+eac	 185
+_g	 185
+_na_	 184
+ach_	 184
+_C	 183
+us	 183
+_ch	 183
+la	 182
+_G	 182
+each	 181
+us_	 178
+al	 178
+gus	 176
+gus_	 176
+_th	 169
+_air_	 168
+_agus	 167
+agus_	 167
+_agu	 167
+agus	 167
+agu	 167
+ta	 164
+aid	 163
+hi	 163
+hd	 163
+chd	 160
+T	 157
+A	 156
+ic	 152
+_T	 152
+adh_	 150
+idh_	 148
+mh	 147
+?_	 146
+ar_	 145
+oi	 144
+da	 143
+aidh	 143
+_bh	 139
+ean_	 138
+sa	 138
+ig_	 138
+_r	 136
+_A	 134
+ì	 134
+te	 134
+achd	 131
+hu	 131
+_e	 130
+aig	 130
+_l	 130
+_ann	 129
+ain	 127
+ne	 127
+dhe	 125
+_dh	 125
+àid	 123
+o_	 121
+hl	 119
+acha	 119
+ga	 118
+àidh	 118
+on	 118
+it	 117
+aidh_	 116
+de	 115
+nan	 115
+ua	 115
+_ann_	 115
+ich	 115
+il_	 114
+m_	 114
+eil	 114
+ri	 112
+at	 112
+ma	 111
+li	 109
+ao	 109
+re	 109
+inn_	 108
+_tha	 107
+fh	 106
+as_	 106
+bh_	 106
+nan_	 103
+lea	 103
+lt	 103
+S	 103
+a?	 103
+a?_	 102
+io	 102
+E	 101
+am	 101
+'	 100
+_a?	 100
+igh	 100
+_a?_	 99
+_gu	 99
+idhe	 99
+t_	 99
+se	 99
+si	 98
+ba	 97
+ù	 97
+tha_	 96
+bha	 95
+B	 94
+is_	 94
+u_	 94
+_B	 94
+_i	 93
+ile	 92
+aic	 91
+hei	 91
+ia	 90
+ho	 89
+Th	 88
+ath	 88
+_Th	 88
+rt	 87
+ib	 87
+Gàid	 86
+_Gài	 86
+_Gà	 86
+Gài	 86
+òr	 86
+Gà	 86
+Gàidh	 86
+_Gàid	 86
+had	 85
+ibh	 85
+_fh	 85
+p	 84
+ad_	 83
+_?	 83
+_E	 83
+hd_	 82
+dhea	 82
+chd_	 82
+ear	 81
+ith	 81
+_tha_	 80
+h-	 79
+eal	 78
+hean	 78
+sg	 77
+rea	 77
+_S	 76
+ais	 75
+ll	 75
+han	 74
+hà	 74
+achd_	 74
+ead	 74
+idhea	 73
+am_	 72
+dha	 72
+_nan	 71
+_nan_	 71
+hadh	 71
+gh_	 71
+ail	 70
+hui	 70
+Ch	 69
+eachd	 69
+h.	 69
+aich	 69
+hli	 69
+chai	 69
+om	 68
+fa	 68
+chad	 68
+I	 67
+h._	 67
+_Ch	 67
+tea	 67
+nea	 66
+chadh	 66
+achad	 66
+rai	 66
+lig	 66
+haid	 66
+dea	 66
+rt_	 65
+àr	 65
+dhl	 65
+ana	 64
+eann	 64
+Ei	 64
+le_	 64
+hn	 64
+ilt	 64
+uid	 64
+_fa	 63
+_Tha	 63
+Tha	 63
+ob	 63
+_si	 62
+ro	 62
+cu	 62
+ainn	 62
+un	 62
+dhli	 61
+idhli	 61
+lean	 61
+idhl	 61
+àidhl	 61
+hlig	 61
+dhlig	 61
+in_	 60
+_à	 60
+st	 60
+rr	 60
+_cu	 60
+hr	 60
+_aig	 60
+bhe	 59
+i_	 59
+aigh	 59
+Tha_	 59
+è	 59
+_ri	 59
+_Tha_	 59
+lb	 58
+che	 58
+ran	 58
+nac	 58
+haidh	 58
+hadh_	 58
+aig_	 58
+Gh	 58
+ilea	 58
+_Gh	 58
+lte	 58
+_le	 58
+ru	 58
+àidhe	 57
+_I	 57
+ilte	 57
+eadh	 57
+M	 56
+hlig_	 56
+L	 56
+chu	 56
+nach	 56
+_ma	 56
+lig_	 56
+h,_	 55
+th_	 55
+ibh_	 55
+_aig_	 55
+D	 55
+atha	 55
+_Ei	 55
+h,	 55
+gu_	 54
+_gu_	 54
+im	 54
+eil_	 54
+eu	 53
+_M	 53
+Al	 53
+irt	 53
+_L	 53
+iad	 53
+sea	 52
+lba	 52
+Alba	 52
+F	 52
+Alb	 52
+uai	 52
+ich_	 52
+_F	 51
+ilean	 51
+has	 51
+tai	 51
+each_	 50
+eacha	 50
+har	 50
+ni	 50
+_de	 50
+irt_	 50
+n,_	 50
+mha	 50
+n,	 50
+_e_	 50
+ide	 49
+neach	 49
+neac	 49
+ur	 49
+rd	 49
+_h	 49
+hean_	 49
+oc	 49
+eò	 49
+te_	 49
+han_	 49
+on_	 49
Index: /trunk/gsdl/perllib/textcat/Other/serbian-ascii.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/serbian-ascii.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/serbian-ascii.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 34122
+a	 9113
+o	 8135
+i	 7736
+e	 7535
+n	 5207
+s	 4860
+j	 3995
+t	 3797
+r	 3660
+u	 3224
+l	 3065
+d	 3061
+e_	 2941
+v	 2786
+a_	 2746
+k	 2701
+m	 2492
+o_	 2328
+y	 2238
+p	 2151
+_s	 2148
+i_	 2094
+je	 1887
+c	 1854
+z	 1731
+_n	 1437
+_p	 1432
+g	 1418
+b	 1368
+u_	 1333
+je_	 1237
+,	 1226
+,_	 1214
+_i	 1130
+st	 1105
+na	 1076
+.	 1056
+_d	 1033
+._	 1030
+_j	 967
+ra	 934
+ko	 908
+ni	 900
+cy	 893
+sy	 875
+_je	 871
+_o	 824
+ta	 799
+no	 780
+_u	 777
+re	 766
+_b	 764
+_k	 763
+da	 760
+ne	 754
+li	 750
+ti	 745
+se	 722
+po	 713
+to	 713
+_je_	 696
+an	 688
+ja	 683
+pr	 665
+va	 651
+lo	 634
+_z	 626
+m_	 625
+is	 625
+il	 622
+ov	 621
+la	 621
+_m	 615
+bi	 604
+_t	 603
+_po	 594
+en	 586
+_se	 578
+os	 578
+in	 576
+od	 576
+ka	 552
+ve	 548
+ij	 538
+_pr	 536
+al	 536
+vo	 535
+om	 530
+_i_	 525
+nj	 515
+ed	 509
+_na	 507
+na_	 503
+og	 499
+oj	 498
+ma	 493
+_bi	 492
+on	 489
+ak	 482
+im	 481
+ye	 481
+ro	 480
+vi	 473
+sa	 469
+ri	 464
+da_	 451
+av	 450
+at	 449
+se_	 447
+es	 446
+h	 443
+ao	 441
+ji	 437
+yi	 436
+_da	 433
+ad	 432
+_se_	 430
+lj	 428
+zy	 426
+za	 426
+_ne	 425
+de	 422
+tr	 417
+cj	 415
+_u_	 414
+_c	 412
+le	 402
+_v	 397
+ar	 390
+_g	 390
+ic	 384
+n_	 382
+ju	 379
+lo_	 377
+aj	 376
+_ko	 369
+ao_	 366
+ek	 361
+_da_	 359
+et	 356
+go	 354
+iz	 346
+_za	 345
+_r	 344
+or	 342
+mo	 341
+el	 340
+as	 339
+ik	 336
+te	 332
+_sa	 329
+d_	 323
+am	 320
+me	 318
+sto	 317
+di	 315
+ec	 311
+ol	 310
+a,_	 307
+a,	 307
+_ni	 302
+ya	 296
+do	 295
+yt	 294
+su	 292
+syt	 289
+li_	 288
+sta	 286
+ije	 284
+ko_	 277
+ti_	 277
+la_	 277
+ga	 276
+bil	 275
+no_	 274
+a.	 273
+nu	 272
+a._	 271
+ne_	 271
+om_	 268
+_cy	 266
+_na_	 263
+_bil	 263
+sv	 263
+ru	 259
+to_	 256
+_od	 253
+cyi	 253
+nje	 251
+it	 251
+pa	 250
+az	 248
+e,_	 245
+e,	 245
+ob	 244
+dn	 243
+ac	 242
+ost	 242
+k_	 240
+iv	 239
+io	 238
+_su	 238
+_iz	 237
+ilo	 235
+_sv	 234
+_ka	 233
+koj	 231
+mi	 229
+im_	 229
+ije_	 227
+g_	 226
+em	 223
+su_	 223
+ih	 223
+ji_	 221
+kr	 220
+ut	 220
+_koj	 220
+V	 218
+_st	 218
+ye_	 217
+_l	 214
+_V	 213
+ovo	 211
+j_	 210
+uc	 208
+ja_	 208
+h_	 207
+nij	 206
+sk	 206
+ot	 203
+io_	 203
+gl	 203
+_do	 201
+ok	 200
+ns	 199
+ilo_	 199
+er	 197
+ih_	 195
+pre	 193
+ci	 193
+og_	 193
+ki	 192
+sl	 191
+t_	 189
+ni_	 189
+_a	 189
+vr	 188
+ati	 187
+_su_	 186
+nije	 181
+pro	 181
+be	 180
+yn	 179
+cye	 178
+ju_	 178
+ku	 177
+isy	 177
+ta_	 174
+sye	 172
+_tr	 172
+O	 172
+jen	 172
+_to	 171
+pi	 168
+_pre	 168
+S	 168
+ima	 167
+nije_	 167
+_mo	 166
+eg	 166
+e._	 164
+za_	 164
+e.	 164
+_pro	 164
+gov	 163
+N	 162
+dr	 162
+ako	 162
+tv	 162
+_S	 160
+P	 159
+ma_	 159
+_on	 159
+sp	 158
+nst	 158
+anj	 158
+dj	 157
+oc	 157
+_sy	 156
+ev	 155
+ce	 155
+lik	 154
+_nij	 153
+_N	 152
+ist	 151
+_P	 151
+_nije	 151
+-	 151
+ba	 150
+jed	 150
+sti	 150
+ova	 149
+_is	 148
+id	 148
+ton	 148
+ke	 147
+pos	 147
+od_	 147
+osy	 146
+Vi	 146
+ila	 145
+ins	 145
+bo	 145
+_Vi	 145
+ir	 144
+_za_	 144
+oz	 144
+ecj	 144
+cje	 143
+on_	 143
+zn	 142
+_O	 141
+us	 141
+i,	 141
+i,_	 141
+mu	 140
+inst	 140
+cya	 140
+oji	 139
+esy	 139
+icy	 139
+lja	 138
+_go	 138
+i.	 138
+_re	 137
+_bilo	 137
+edn	 137
+acy	 137
+rat	 137
+bilo	 137
+ali	 136
+ecy	 136
+ija	 135
+pri	 135
+ad_	 135
+lic	 135
+i._	 135
+Vins	 134
+Vin	 134
+ston	 134
+Vinst	 134
+ga_	 134
+nston	 134
+insto	 134
+nsto	 134
+_Vins	 133
+_Vin	 133
+zi	 132
+ran	 131
+le_	 130
+ili	 130
+bilo_	 130
+_pos	 129
+ila_	 129
+est	 128
+_ve	 128
+tre	 128
+zye	 127
+_nj	 127
+si	 126
+f	 126
+alo	 125
+ako_	 125
+tra	 125
+sa_	 125
+pu	 124
+ud	 124
+z_	 124
+_ra	 124
+iti	 124
+_de	 124
+odi	 123
+T	 123
+-_	 122
+o,_	 121
+o,	 121
+du	 121
+rs	 121
+B	 120
+ka_	 119
+red	 119
+_od_	 118
+an_	 118
+nu_	 118
+iko	 117
+dno	 117
+_pa	 117
+s_	 116
Index: /trunk/gsdl/perllib/textcat/Other/slovak-ascii.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/slovak-ascii.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/slovak-ascii.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 20064
+a	 4991
+o	 4983
+e	 3838
+n	 3342
+i	 3317
+r	 2583
+s	 2501
+v	 2383
+t	 2325
+c	 1918
+k	 1912
+l	 1888
+d	 1736
+u	 1725
+p	 1543
+a_	 1527
+y	 1371
+m	 1339
+z	 1227
+h	 1194
+e_	 956
+_p	 881
+_s	 828
+o_	 814
+na	 809
+b	 808
+_v	 798
+j	 797
+.	 796
+ov	 795
+._	 785
+st	 687
+i_	 665
+,	 657
+,_	 657
+_n	 625
+ch	 623
+u_	 618
+ro	 617
+po	 598
+_o	 546
+ne	 529
+en	 520
+v_	 519
+_a	 516
+ra	 506
+pr	 488
+y_	 481
+od	 476
+_z	 467
+ie	 462
+ni	 448
+an	 447
+vy	 434
+to	 433
+h_	 431
+_na	 429
+re	 416
+ch_	 404
+ho	 401
+al	 399
+ci	 394
+va	 387
+na_	 386
+_pr	 385
+_d	 384
+_k	 378
+la	 377
+ko	 375
+do	 374
+_po	 373
+si	 353
+_t	 346
+_r	 337
+os	 336
+no	 334
+in	 328
+tr	 324
+om	 321
+_v_	 320
+ny	 319
+m_	 319
+ri	 317
+S	 306
+ac	 302
+sa	 300
+ti	 300
+_m	 298
+za	 298
+er	 291
+ia	 290
+ce	 290
+li	 289
+yc	 286
+ych	 285
+ed	 284
+at	 281
+ob	 281
+ak	 280
+_na_	 280
+il	 279
+_,	 279
+_,_	 279
+ok	 277
+sk	 268
+ych_	 265
+_c	 262
+mi	 261
+ol	 260
+me	 260
+l_	 259
+t_	 259
+ku	 258
+ta	 256
+le	 256
+_b	 254
+or	 252
+_a_	 250
+lo	 247
+oc	 246
+vo	 246
+es	 244
+ve	 242
+_vy	 240
+on	 238
+_sa	 231
+as	 231
+da	 230
+aj	 228
+av	 218
+el	 216
+ova	 216
+ic	 215
+ne_	 209
+_do	 208
+sa_	 207
+ka	 205
+_sa_	 204
+te	 203
+j_	 201
+_ro	 199
+P	 198
+_za	 196
+ky	 196
+_S	 195
+je	 194
+ar	 193
+_.	 193
+it	 192
+s_	 192
+em	 191
+ej	 191
+ur	 190
+ad	 189
+_o_	 187
+_._	 187
+ov_	 185
+de	 180
+_%	 179
+om_	 179
+%	 179
+_u	 174
+pre	 173
+dn	 173
+D	 172
+rok	 170
+ie_	 170
+sp	 169
+pri	 167
+_pre	 167
+am	 165
+-	 164
+ke	 164
+eh	 162
+oz	 161
+k_	 160
+ost	 160
+_j	 156
+f	 155
+zn	 153
+g	 152
+kt	 152
+ho_	 151
+eho	 151
+hod	 150
+ku_	 148
+is	 148
+zi	 147
+cn	 147
+eho_	 146
+ej_	 145
+az	 145
+tu	 145
+_pri	 144
+cen	 144
+_st	 143
+ma	 142
+ast	 141
+_ce	 140
+rov	 140
+la_	 138
+ot	 138
+nych	 135
+nyc	 135
+_ob	 133
+z_	 133
+nych_	 131
+N	 130
+li_	 129
+ani	 129
+co	 128
+nt	 128
+ny_	 127
+E	 125
+_ne	 124
+)	 123
+_(	 123
+sti	 123
+A	 123
+(	 123
+cho	 122
+vi	 122
+_sp	 122
+di	 120
+pa	 120
+n_	 119
+ju	 118
+ys	 117
+bo	 117
+_P	 116
+_tr	 115
+V	 114
+je_	 114
+ln	 114
+_i	 113
+ze	 113
+spo	 112
+_N	 112
+nd	 111
+nu	 111
+so	 111
+red	 110
+vn	 110
+kl	 110
+kov	 110
+_cen	 110
+_rok	 109
+tn	 109
+du	 109
+nc	 109
+ap	 109
+d_	 108
+van	 108
+ca	 108
+M	 108
+chod	 107
+ti_	 107
+U	 106
+_ak	 106
+ru	 105
+sta	 105
+ym	 105
+_-	 104
+et	 103
+_h	 102
+est	 102
+_je	 102
+nos	 101
+aci	 101
+us	 100
+dov	 100
+pod	 100
+_to	 100
+tor	 99
+uc	 99
+ras	 98
+ky_	 98
+_s_	 98
+_mi	 97
+*	 97
+uj	 97
+nost	 97
+vys	 97
+ovy	 97
+ez	 97
+oku	 96
+_V	 96
+op	 96
+bc	 96
+rast	 96
+se	 95
+B	 95
+roku	 95
+kto	 94
+ove	 94
+by	 94
+-_	 94
+_ko	 93
+obc	 92
+nie	 91
+ia_	 91
+ka_	 91
+*_	 90
+ali	 90
+lo_	 89
+ovan	 89
+to_	 88
+iz	 88
+_bo	 88
+_l	 88
+odo	 87
+bch	 87
+bchod	 87
+bcho	 87
+sl	 86
+st_	 86
+pred	 86
+C	 86
+pol	 85
+_pred	 85
+R	 85
+ik	 84
+uro	 84
+pi	 84
+ek	 84
+zo	 83
+eni	 83
+obch	 83
+cie	 83
+oku_	 83
+obcho	 83
+ns	 83
+roku_	 82
+ii	 82
+tv	 82
+ba	 82
+ent	 82
+_spo	 81
+tov	 81
+pe	 81
+kon	 80
+kc	 80
+ec	 80
+kci	 80
+ck	 80
+x	 79
+osti	 79
+_Sk	 79
+mi_	 79
+_in	 79
+Sk	 79
+sia	 79
+br	 78
+rh	 78
+val	 78
+olo	 77
+_pod	 77
+%_	 77
+_%_	 77
+bu	 77
+_f	 77
+iv	 77
+_obc	 77
+_obch	 77
+eb	 76
+str	 76
+nej	 76
+_D	 76
+ni_	 75
+ou	 75
+im	 75
+ena	 74
+tre	 74
+_A	 74
+mo	 74
+su	 74
+rz	 73
+_trh	 73
+trh	 73
+_U	 73
+al_	 73
+_ra	 73
+_e	 72
+_C	 72
+sti_	 72
+zv	 72
+te_	 72
+cno	 72
+oj	 72
+ktor	 71
+_roku	 71
+ocn	 71
+ina	 71
+sil	 71
+nov	 71
+alo	 71
+odn	 70
+nan	 70
+oh	 70
Index: /trunk/gsdl/perllib/textcat/Other/slovak-windows1250.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/slovak-windows1250.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/slovak-windows1250.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 8202
+o	 2145
+a	 1912
+e	 1763
+i	 1491
+n	 1415
+r	 1256
+t	 1127
+v	 1080
+s	 1004
+k	 824
+d	 739
+p	 739
+l	 735
+m	 685
+c	 620
+u	 597
+h	 531
+a_	 467
+j	 449
+_p	 445
+z	 439
+e_	 412
+á	 402
+_v	 369
+.	 361
+_s	 359
+ov	 330
+b	 327
+st	 312
+y	 309
+pr	 307
+._	 300
+o_	 297
+í	 278
+,	 268
+,_	 260
+to	 258
+è	 256
+_a	 254
+ý	 253
+i_	 252
+_pr	 246
+ch	 242
+re	 233
+_z	 223
+ra	 220
+_n	 217
+ne	 214
+ie	 214
+po	 214
+en	 208
+ro	 205
+or	 204
+é	 199
+u_	 197
+an	 197
+ko	 194
+na	 189
+ni	 187
+va	 183
+	 182
+ú	 180
+os	 179
+v_	 176
+	 173
+_o	 171
+ho	 170
+ia	 168
+no	 166
+li	 166
+h_	 166
+ed	 164
+j_	 161
+om	 160
+_k	 160
+	 158
+ch_	 158
+ti	 155
+y_	 148
+m_	 147
+ej	 147
+_po	 145
+ci	 145
+_d	 140
+_	 139
+do	 138
+_t	 137
+_m	 134
+ri	 129
+mi	 129
+od	 128
+te	 124
+_a_	 124
+la	 122
+al	 121
+aj	 120
+ej_	 120
+vo	 119
+ol	 119
+in	 118
+ve	 117
+me	 117
+tr	 116
+sk	 116
+ova	 116
+S	 111
+er	 110
+ob	 110
+_na	 109
+ad	 107
+je	 106
+at	 104
+_v_	 103
+_r	 102
+ic	 101
+ých	 100
+pre	 100
+ýc	 100
+av	 98
+es	 96
+ta	 95
+dn	 94
+ho_	 94
+lo	 94
+é_	 93
+_pre	 93
+it	 93
+V	 92
+de	 92
+kt	 89
+ný	 89
+za	 88
+A	 87
+le	 86
+ých_	 86
+ok	 86
+ost	 85
+vi	 84
+ie_	 83
+ak	 82
+P	 82
+né	 81
+R	 80
+sa	 80
+as	 79
+èi	 78
+na_	 77
+a	 77
+í_	 77
+Ÿ	 76
+ar	 75
+di	 75
+_S	 74
+om_	 74
+_V	 73
+_do	 73
+_za	 72
+-	 72
+ck	 71
+vy	 71
+ka	 71
+f	 70
+tor	 70
+am	 70
+on	 70
+_-	 69
+_P	 69
+M	 68
+_i	 68
+_sa	 68
+nos	 68
+ní	 68
+ác	 67
+a_	 67
+sl	 66
+il	 66
+rá	 66
+_c	 66
+_b	 66
+_-_	 64
+sa_	 64
+-_	 64
+kto	 64
+_j	 64
+ani	 64
+kr	 64
+sti	 63
+ou	 63
+ot	 63
+ne_	 63
+_sa_	 62
+vý	 62
+_na_	 62
+red	 62
+ku	 61
+is	 61
+ná	 60
+ý_	 60
+so	 60
+sp	 60
+_st	 59
+g	 59
+tn	 59
+str	 58
+e	 58
+nt	 58
+et	 57
+pra	 57
+ke	 57
+ov_	 57
+_vy	 57
+_M	 57
+nej	 56
+tu	 56
+l_	 56
+_je	 56
+nie	 56
+èn	 56
+k_	 56
+pe	 56
+_h	 55
+oz	 55
+ú_	 55
+est	 55
+_è	 55
+va	 55
+ma	 54
+né_	 53
+tá	 53
+..	 53
+rí	 52
+ran	 52
+bo	 51
+nej_	 51
+ick	 51
+ti_	 51
+ia_	 51
+ktor	 51
+K	 51
+O	 51
+T	 51
+_ne	 51
+ou_	 50
+I	 50
+oc	 50
+to_	 50
+vn	 50
+sta	 50
+_.	 50
+da	 50
+éh	 49
+ého	 49
+N	 49
+_ro	 49
+_ko	 49
+ac	 49
+ek	 49
+li_	 49
+èa	 49
+rov	 49
+oj	 48
+s_	 48
+s	 48
+ého_	 48
+va_	 48
+je_	 48
+zá	 47
+ik	 47
+mo	 47
+mi_	 47
+si	 47
+_kto	 46
+_sp	 46
+_kt	 46
+E	 46
+_ktor	 46
+eb	 46
+nýc	 45
+_u	 45
+el	 45
+B	 45
+ných	 45
+pro	 45
+eni	 44
+_	 44
+em	 44
+kon	 44
+pa	 44
+ky	 44
+uj	 44
+e_	 44
+ova	 44
+cie	 44
+hr	 44
+ký	 44
+ných_	 43
+pred	 43
+zo	 43
+ln	 43
+oè	 43
+tov	 43
+nu	 43
+eè	 43
+íc	 42
+ál	 42
+ým	 42
+pri	 42
+_to	 42
+lá	 41
+ce	 41
+áv	 41
+eh	 41
+_pro	 41
+rav	 41
+kej	 41
+ns	 41
+ali	 41
+oli	 40
+á_	 40
+_pri	 40
+oh	 40
+ud	 40
+_ak	 40
+ent	 40
+eŸ	 40
+prav	 39
+_pred	 39
+i	 39
+zn	 39
+ny	 39
+ove	 39
+pol	 39
+ru	 39
+a,	 39
+ah	 39
+kej_	 39
+a,_	 38
+z_	 38
+aj_	 38
+r_	 38
+i	 38
+ova_	 38
+tre	 38
+pod	 37
+_zá	 37
+_ob	 37
+nost	 37
+sti_	 37
+van	 37
+up	 37
+osti	 36
+áci	 36
+_e	 36
+jú	 36
+co	 36
+_str	 36
+i	 36
+_ma	 36
+ut	 36
+nsk	 36
+by	 36
+_ve	 35
+ko_	 35
+de_	 35
+èia	 35
+_aj	 35
+_aj_	 35
+op	 35
+_pod	 34
+prí	 34
+_in	 34
+ez	 34
+odn	 34
+dne	 34
+Z	 34
+tra	 34
+bn	 34
+ád	 34
+_e_	 34
+_vo	 34
+èas	 34
+át	 34
+d_	 34
+ô	 34
+sto	 34
+ky_	 34
+ir	 33
+_z_	 33
+nie_	 33
+t	 33
+ven	 33
+i_	 33
+_s_	 33
+_B	 33
+e	 33
+ens	 33
+spo	 32
+eho	 32
+lad	 32
Index: /trunk/gsdl/perllib/textcat/Other/slovenian-ascii.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/slovenian-ascii.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/slovenian-ascii.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 25262
+e	 6217
+a	 5964
+i	 5611
+o	 5538
+n	 4132
+s	 3349
+l	 3268
+r	 2913
+t	 2777
+j	 2672
+v	 2282
+k	 2175
+e_	 1958
+d	 1953
+p	 1786
+a_	 1700
+y	 1623
+m	 1559
+o_	 1542
+z	 1521
+i_	 1462
+_s	 1433
+je	 1383
+,	 1278
+,_	 1278
+b	 1230
+c	 1137
+_p	 1130
+_n	 1032
+je_	 997
+u	 986
+_j	 972
+g	 933
+_je	 877
+cy	 848
+_je_	 842
+_v	 793
+il	 786
+ni	 782
+st	 779
+na	 743
+ra	 726
+.	 723
+._	 716
+_z	 713
+in	 691
+_k	 685
+_b	 667
+al	 640
+h	 627
+po	 607
+ti	 584
+pr	 584
+ko	 584
+_d	 582
+el	 579
+n_	 579
+la	 577
+lo	 573
+l_	 571
+_t	 567
+se	 567
+ne	 562
+_i	 556
+no	 549
+en	 546
+_o	 534
+re	 524
+bi	 514
+li	 512
+ov	 496
+sy	 458
+_na	 457
+te	 453
+da	 451
+_po	 440
+_bi	 437
+ye	 436
+to	 424
+ri	 420
+an	 420
+_pr	 417
+ve	 410
+nj	 404
+ka	 403
+_m	 394
+le	 385
+ja	 377
+va	 374
+de	 374
+is	 371
+ed	 364
+v_	 362
+za	 361
+in_	 354
+bil	 353
+_se	 351
+aj	 347
+ga	 344
+ar	 343
+od	 339
+_in	 338
+_in_	 333
+tr	 332
+os	 332
+_bil	 332
+ta	 328
+vo	 327
+ki	 324
+ro	 324
+et	 320
+so	 315
+em	 313
+lo_	 311
+na_	 306
+av	 305
+ih	 305
+yi	 304
+h_	 295
+at	 294
+m_	 293
+ek	 292
+ol	 289
+se_	 289
+as	 284
+lj	 281
+_za	 277
+ob	 275
+om	 273
+me	 273
+zy	 272
+mi	 268
+eg	 265
+_v_	 263
+_g	 260
+or	 260
+es	 259
+_se_	 258
+do	 255
+ni_	 255
+ga_	 253
+oc	 251
+il_	 250
+vi	 249
+ak	 248
+no_	 243
+da_	 241
+pa	 240
+_ne	 238
+ot	 238
+_so	 238
+ocy	 237
+ya	 237
+la_	 234
+li_	 234
+ih_	 231
+_c	 229
+az	 229
+ik	 228
+on	 225
+ki_	 224
+go	 223
+im	 223
+sk	 223
+mo	 221
+cye	 219
+ti_	 217
+ji	 216
+_da	 216
+iz	 215
+ko_	 214
+ic	 213
+_l	 209
+u_	 209
+pre	 208
+_r	 208
+_ko	 208
+t_	 207
+z_	 206
+er	 206
+so_	 206
+ilo	 203
+r_	 201
+j_	 199
+ad	 195
+cyi	 193
+_na_	 193
+sa	 191
+ev	 191
+i,	 188
+i,_	 188
+it	 187
+sto	 186
+_da_	 184
+_ni	 183
+_so_	 182
+_ve	 182
+nje	 181
+a,	 181
+kr	 181
+a,_	 181
+dn	 177
+_st	 177
+di	 176
+ega	 176
+og	 174
+o,_	 174
+o,	 174
+ilo_	 172
+_ki	 171
+ma	 170
+-	 170
+ij	 169
+_cy	 169
+ost	 169
+e,	 168
+e,_	 168
+ne_	 168
+ok	 166
+ke	 165
+_pre	 165
+del	 165
+yn	 165
+al_	 165
+bo	 164
+_pa	 163
+_ki_	 163
+am	 159
+ns	 158
+ye_	 156
+sp	 155
+em_	 154
+_ka	 154
+_te	 153
+_iz	 152
+ega_	 151
+_ob	 150
+br	 149
+ec	 149
+pri	 148
+ap	 147
+ez	 147
+ali	 147
+raz	 144
+jo	 142
+to_	 141
+d_	 138
+a._	 137
+a.	 137
+cya	 137
+ova	 136
+anj	 136
+el_	 135
+V	 135
+si	 134
+sta	 134
+_pri	 132
+_to	 131
+_a	 130
+_bilo	 130
+bilo	 130
+oj	 129
+ecy	 128
+_od	 128
+gl	 128
+op	 127
+ju	 127
+rav	 126
+_u	 125
+s_	 125
+_V	 125
+ila	 125
+ce	 124
+_mo	 124
+ali_	 124
+ah	 122
+str	 122
+_sp	 121
+vr	 121
+aj_	 121
+_do	 121
+bilo_	 121
+N	 119
+iv	 117
+ru	 116
+vs	 116
+jal	 116
+pi	 115
+O	 115
+_z_	 113
+icy	 112
+k_	 112
+be	 112
+elo	 111
+dr	 110
+pra	 110
+sye	 110
+ved	 109
+rs	 108
+_tr	 108
+tv	 108
+oz	 108
+tn	 107
+_nj	 107
+le_	 107
+_N	 107
+_ni_	 106
+pa_	 106
+l,_	 105
+l,	 105
+ins	 105
+ako	 104
+ac	 104
+ist	 104
+ir	 104
+sl	 104
+ila_	 103
+nik	 103
+bi_	 103
+i.	 102
+i._	 102
+_vs	 102
+iti	 102
+_sy	 101
+P	 101
+val	 100
+ku	 100
+_P	 99
+pe	 99
+ala	 99
+bil_	 98
+eli	 98
+jen	 98
+ede	 98
+_zy	 98
+T	 96
+ja_	 96
+ran	 95
+_bo	 95
+S	 95
+ln	 95
+zn	 94
+nst	 93
+_pa_	 93
+_ra	 93
+_bil_	 93
+nil	 93
+ati	 92
+ej	 92
+ocyi	 92
+e.	 91
+_le	 91
+ud	 91
+nov	 91
+nja	 91
+sn	 91
+ar_	 91
+e._	 91
+kl	 91
+isy	 90
+zye	 90
+en_	 90
+sti	 90
+_ga	 90
+prav	 90
+_bi_	 90
+za_	 89
+lik	 89
+ton	 89
+kra	 88
+rt	 88
+W	 88
+_de	 88
+_ga_	 88
+M	 88
+ep	 87
+cyn	 87
+Wi	 87
+_S	 87
+ut	 87
+_W	 87
+inst	 87
+insto	 86
+ste	 86
+Wins	 86
+gov	 86
+nu	 86
+Win	 86
+_Wi	 86
+Winst	 86
+nsto	 86
+eti	 86
+ston	 86
+nston	 86
+_Win	 85
+_Wins	 85
+ili	 84
+bra	 83
+rat	 83
Index: /trunk/gsdl/perllib/textcat/Other/slovenian-iso8859_2.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/slovenian-iso8859_2.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/slovenian-iso8859_2.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 10406
+a	 2828
+e	 2676
+i	 2458
+o	 2418
+n	 1814
+r	 1484
+v	 1253
+l	 1248
+s	 1228
+t	 1172
+j	 1107
+d	 1085
+k	 911
+p	 880
+a_	 823
+m	 763
+i_	 681
+e_	 678
+_p	 603
+o_	 566
+u	 521
+z	 516
+b	 456
+_s	 435
+je	 434
+,	 416
+,_	 411
+ni	 399
+è	 383
+_v	 372
+_d	 356
+pr	 355
+g	 345
+ra	 336
+_n	 332
+st	 323
+an	 313
+po	 303
+re	 301
+na	 295
+h	 287
+ov	 276
+_pr	 276
+li	 275
+al	 274
+_z	 270
+je_	 259
+la	 255
+¹	 253
+ne	 248
+en	 246
+ko	 244
+in	 237
+c	 234
+ti	 234
+v_	 234
+_po	 232
+no	 230
+ve	 230
+_k	 227
+_i	 224
+da	 224
+.	 221
+_j	 221
+ri	 220
+ja	 216
+_t	 214
+se	 213
+ed	 212
+._	 211
+em	 206
+te	 205
+za	 201
+od	 201
+av	 200
+lo	 196
+nj	 194
+_o	 194
+_je	 193
+il	 190
+or	 183
+ka	 181
+sk	 179
+_b	 178
+_je_	 178
+ih	 178
+n_	 177
+_za	 173
+h_	 171
+er	 171
+os	 171
+_na	 168
+va	 168
+ta	 164
+le	 163
+m_	 161
+ev	 157
+ij	 157
+ar	 157
+do	 155
+to	 155
+Ÿ	 154
+A	 153
+el	 150
+_m	 148
+ro	 147
+ol	 146
+_v_	 145
+aj	 145
+di	 143
+N	 142
+S	 142
+at	 140
+ih_	 139
+ki	 138
+de	 137
+_in	 135
+vo	 135
+ga	 134
+me	 131
+in_	 129
+vi	 129
+om	 127
+_in_	 125
+et	 124
+pre	 124
+O	 123
+bi	 120
+I	 119
+da_	 117
+ik	 117
+ma	 115
+E	 114
+so	 113
+bo	 112
+it	 112
+anj	 112
+eg	 110
+ni_	 109
+mi	 108
+ke	 108
+na_	 108
+u_	 108
+lj	 106
+iz	 105
+ob	 105
+_da	 103
+li_	 103
+is	 103
+im	 102
+red	 102
+_pre	 102
+dr	 100
+mo	 99
+P	 99
+_se	 99
+ji	 98
+r_	 97
+ad	 97
+pri	 97
+K	 97
+_l	 97
+tr	 95
+pa	 94
+no_	 94
+j_	 92
+ki_	 91
+ti_	 91
+_pri	 91
+dn	 89
+_P	 88
+ej	 88
+_da_	 87
+ne_	 86
+ega	 86
+_r	 86
+_bi	 86
+l_	 86
+em_	 86
+go	 86
+"	 85
+sl	 85
+ek	 84
+ali	 84
+ove	 84
+aè	 84
+ak	 84
+ci	 83
+ga_	 83
+ko_	 83
+se_	 82
+_S	 82
+jo	 81
+ot	 81
+ja_	 81
+_so	 80
+lov	 80
+L	 80
+D	 79
+V	 79
+as	 78
+_do	 78
+am	 78
+nje	 77
+es	 77
+za_	 77
+_pa	 76
+T	 75
+tu	 75
+_za_	 74
+sti	 74
+_dr	 74
+la_	 74
+_N	 74
+_de	 74
+ega_	 73
+_ko	 73
+og	 73
+ns	 72
+èe	 72
+ds	 72
+_bo	 71
+ora	 71
+vn	 71
+ost	 71
+_ne	 71
+iè	 70
+ven	 69
+z_	 69
+èi	 69
+_te	 68
+ce	 68
+_se_	 67
+èa	 67
+oè	 67
+M	 66
+_u	 66
+un	 65
+ln	 65
+pos	 64
+ju	 64
+sta	 64
+op	 64
+di_	 63
+ud	 63
+vs	 63
+t_	 62
+nsk	 62
+tv	 62
+on	 62
+ski	 62
+R	 62
+pa_	 62
+_ka	 62
+i,	 61
+so_	 61
+_iz	 60
+_pa_	 60
+s_	 60
+i,_	 60
+pro	 59
+del	 59
+rav	 59
+eni	 59
+oli	 58
+rj	 58
+e,	 57
+¹e	 57
+ili	 57
+vr	 57
+d_	 57
+_le	 57
+pred	 57
+jo_	 56
+e,_	 56
+nik	 56
+love	 56
+_pred	 56
+ske	 56
+er_	 55
+str	 55
+èn	 54
+pra	 54
+J	 54
+_¹	 54
+oven	 53
+_ra	 53
+tn	 53
+_na_	 53
+_so_	 53
+nih	 53
+loven	 53
+si	 52
+ke_	 52
+_g	 52
+ic	 52
+udi	 51
+bi_	 51
+eds	 51
+oj	 51
+ru	 51
+a,	 51
+_pro	 50
+_pos	 50
+nc	 50
+nih_	 50
+èu	 50
+a,_	 50
+_a	 50
+az	 50
+ok	 50
+B	 50
+let	 49
+udi_	 49
+_od	 49
+_K	 49
+aj_	 48
+_bi_	 48
+_ve	 48
+raè	 48
+o,	 47
+_tu	 47
+ija	 47
+ter	 47
+ist	 47
+Z	 47
+reds	 46
+nd	 46
+ali_	 46
+A_	 46
+iti	 46
+bil	 46
+_ob	 46
+o,_	 46
+ati	 46
+tud	 45
+tudi	 45
+_ki	 45
+k_	 45
+be	 45
+a¹	 45
+ir	 45
+Ÿa	 45
+do_	 45
+sp	 45
+_ki_	 45
+_st	 45
+ep	 44
+_del	 44
+tudi_	 44
+rŸ	 44
+aèu	 44
+_ni	 44
+ah	 43
+raèu	 43
+raèun	 43
+i¹	 43
+_mo	 43
+avn	 43
+_tud	 43
+èun	 43
+aèun	 43
+_tudi	 43
+_to	 42
+raz	 42
+kr	 42
+ova	 42
+_e	 42
+ogo	 42
+ani	 42
+_"	 42
+ev_	 42
+br	 42
+eb	 42
+sa	 42
+mi_	 42
+tem	 42
+ta_	 41
+prav	 41
+i.	 41
+slov	 41
+ens	 41
+bo_	 41
+Ÿe	 41
+_T	 41
+_let	 41
+odo	 41
+slo	 41
+ensk	 40
+ka_	 40
+neg	 40
+ez	 40
+nos	 40
+eè	 40
+_sl	 40
+_V	 40
+rŸa	 40
+nega	 40
+ili_	 39
Index: /trunk/gsdl/perllib/textcat/Other/swahili.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/swahili.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/swahili.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 16483
+a	 9342
+i	 5293
+a_	 4071
+u	 2730
+k	 2609
+n	 2351
+w	 2076
+m	 1928
+e	 1866
+h	 1800
+o	 1775
+wa	 1743
+l	 1486
+s	 1419
+i_	 1401
+t	 1399
+_k	 1306
+y	 1100
+_w	 969
+li	 945
+wa_	 911
+z	 891
+_wa	 890
+ka	 834
+ku	 799
+r	 770
+b	 733
+an	 727
+ma	 723
+o_	 711
+_m	 707
+na	 698
+ya	 675
+ha	 672
+g	 602
+al	 580
+d	 570
+at	 560
+am	 554
+_n	 549
+_ku	 549
+ik	 543
+_h	 515
+ya_	 514
+A	 494
+is	 487
+_y	 485
+hi	 474
+na_	 471
+_ya	 471
+ta	 468
+sh	 456
+ali	 449
+j	 426
+u_	 423
+ki	 418
+e_	 402
+p	 401
+ti	 401
+_wa_	 399
+f	 392
+_ya_	 390
+ba	 390
+ri	 385
+ng	 385
+il	 380
+c	 358
+hu	 356
+_na	 356
+ni	 355
+za	 354
+zi	 351
+ia	 344
+_na_	 343
+_a	 336
+in	 327
+_ma	 326
+ch	 322
+mb	 317
+ika	 314
+.	 311
+._	 309
+_ka	 307
+as	 306
+ak	 306
+ati	 301
+,	 300
+ka_	 296
+,_	 294
+_u	 292
+kw	 286
+ili	 278
+K	 274
+en	 271
+si	 266
+_kw	 262
+la	 261
+ni_	 261
+ma_	 261
+_s	 258
+kwa	 258
+ar	 256
+ut	 245
+za_	 245
+nd	 242
+mba	 241
+_kwa	 239
+_z	 234
+li_	 233
+un	 233
+ny	 230
+it	 229
+se	 229
+yo	 227
+ia_	 222
+M	 221
+sa	 221
+kat	 217
+_K	 214
+_i	 213
+ika_	 213
+ana	 212
+ish	 212
+kati	 206
+_ha	 204
+on	 201
+ai	 200
+I	 198
+aa	 196
+um	 195
+im	 190
+v	 188
+mu	 187
+amb	 187
+sha	 185
+em	 183
+fa	 181
+zi_	 180
+di	 179
+mi	 178
+_M	 178
+us	 176
+_ki	 176
+ha_	 175
+iw	 172
+ama	 172
+_kat	 168
+_kati	 168
+_hi	 166
+_l	 166
+ra	 166
+kwa_	 165
+la_	 164
+W	 164
+ja	 163
+U	 163
+N	 163
+amba	 161
+ao	 161
+_za	 160
+ji	 160
+B	 157
+iwa	 155
+tik	 155
+wal	 155
+le	 155
+tika	 154
+ge	 153
+lis	 153
+tu	 152
+atika	 152
+to	 152
+atik	 152
+uw	 152
+_kwa_	 151
+A_	 151
+ke	 150
+S	 147
+tika_	 145
+aj	 145
+we	 144
+cha	 144
+bi	 141
+az	 140
+er	 139
+ek	 138
+katik	 138
+ez	 138
+uwa	 137
+kut	 135
+_al	 134
+_B	 134
+ad	 134
+mu_	 133
+_ali	 133
+rik	 132
+_W	 131
+ba_	 131
+kuw	 131
+me	 130
+ali_	 128
+kuwa	 128
+ema	 127
+wan	 127
+bu	 126
+sem	 126
+_A	 125
+ir	 125
+ata	 125
+iz	 124
+_hu	 124
+ay	 124
+ul	 124
+af	 123
+iki	 122
+ema_	 121
+da	 120
+ti_	 120
+sema	 119
+aka	 118
+sema_	 118
+te	 118
+uz	 117
+yo_	 117
+_v	 117
+io	 116
+iy	 115
+uta	 115
+ani	 115
+_wal	 115
+he	 115
+if	 114
+_la	 114
+ab	 114
+go	 112
+_za_	 111
+ama_	 111
+sa_	 111
+pa	 110
+_t	 110
+zo	 110
+nge	 110
+wam	 109
+wali	 108
+ua	 107
+ur	 106
+_c	 106
+ise	 105
+_ch	 105
+isem	 105
+ho	 105
+ye	 104
+iyo	 104
+E	 104
+el	 104
+mo	 103
+ung	 103
+eri	 103
+_wali	 103
+_b	 102
+mba_	 102
+ari	 101
+ita	 101
+isema	 100
+ot	 99
+_la_	 99
+uk	 99
+ao_	 99
+di_	 99
+sha_	 99
+ini	 99
+kuwa_	 98
+uwa_	 98
+ana_	 98
+lise	 98
+lisem	 98
+uli	 97
+shi	 97
+ga	 96
+iwa_	 96
+fu	 96
+T	 96
+R	 95
+_il	 95
+wak	 94
+aw	 94
+isha	 94
+ri_	 93
+_am	 93
+ara	 92
+_cha	 92
+aji	 92
+_ili	 91
+ifa	 91
+O	 90
+_p	 90
+uh	 90
+iri	 90
+chi	 90
+asi	 89
+po	 89
+a.	 89
+ong	 89
+azi	 88
+_j	 88
+_kut	 88
+eny	 88
+nc	 88
+a._	 88
+ko	 87
+uu	 87
+id	 87
+w_	 87
+no	 87
+P	 86
+ah	 86
+ina	 86
+rika	 86
+_Bw	 85
+H	 85
+gu	 85
+uo	 85
+Bw_	 85
+_Bw_	 85
+_se	 85
+Bw	 85
+ib	 84
+_S	 84
+kam	 84
+hi_	 84
+nya	 84
+si_	 83
+a,	 82
+no_	 81
+pi	 81
+ok	 81
+i.	 81
+ip	 81
+kwam	 81
+i._	 81
+amba_	 80
+dh	 80
+end	 80
+ani_	 80
+a,_	 79
+wamb	 79
+kwamb	 79
+_sh	 79
+eza	 79
+nz	 79
+wi	 79
+_kwam	 79
+wamba	 79
+alis	 78
+_kuw	 78
+ngo	 78
+ap	 77
+_N	 77
+any	 77
+ili_	 77
+C	 77
+WA	 76
+vy	 76
+wana	 76
+_hiy	 75
+Wa	 75
+hiyo	 75
+nch	 75
+_hiyo	 75
+de	 75
+_kuwa	 75
+ing	 75
+hiy	 75
+vi	 75
+isha_	 74
+es	 74
+atu	 74
+_Wa	 74
+nchi	 74
+aki	 74
+lim	 73
+da_	 73
+ini_	 73
+ash	 73
+ala	 73
+i,	 73
+ano	 73
+i,_	 72
+_kam	 71
+_wan	 71
+ano_	 71
+mw	 71
+nde	 71
+ji_	 71
+ion	 70
+_amb	 70
+ndi	 70
+_Ka	 70
+eza_	 70
Index: /trunk/gsdl/perllib/textcat/Other/tagalog.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/tagalog.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/tagalog.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 10664
+a	 6092
+n	 3421
+i	 2332
+g	 2149
+ng	 1488
+an	 1332
+g_	 1308
+ng_	 1243
+t	 1155
+a_	 1138
+o	 1137
+l	 1105
+s	 1067
+k	 1035
+_n	 957
+m	 909
+y	 801
+ang	 787
+u	 767
+ang_	 683
+p	 682
+na	 670
+_a	 634
+la	 596
+.	 572
+in	 561
+r	 559
+sa	 545
+_s	 502
+._	 487
+ma	 476
+ka	 473
+_na	 464
+b	 462
+_m	 458
+al	 448
+d	 445
+pa	 414
+n_	 412
+at	 394
+ak	 393
+h	 378
+ya	 358
+_k	 356
+ag	 350
+ni	 344
+_p	 339
+_sa	 335
+o_	 328
+ta	 308
+_an	 307
+iy	 300
+sa_	 296
+_ang	 294
+_ang_	 293
+t_	 290
+ay	 286
+ga	 283
+on	 280
+it	 275
+_sa_	 265
+ala	 258
+_ng	 256
+am	 252
+_i	 248
+_pa	 248
+i_	 243
+na_	 243
+an_	 240
+e	 239
+_ma	 237
+_ka	 235
+iya	 231
+y_	 229
+il	 228
+li	 228
+w	 226
+_ni	 225
+_na_	 224
+_ng_	 220
+as	 214
+ba	 207
+si	 206
+"	 195
+ti	 195
+ha	 186
+,	 179
+ar	 178
+ing	 173
+ra	 173
+A	 172
+ki	 168
+ong	 167
+_b	 167
+ap	 166
+,_	 162
+ong_	 161
+ko	 159
+ay_	 159
+un	 157
+ul	 155
+yo	 154
+to	 152
+_l	 150
+ah	 148
+is	 147
+hi	 147
+_t	 146
+lan	 145
+ama	 142
+niy	 139
+at_	 138
+_niy	 138
+aka	 136
+wa	 136
+niya	 135
+_niya	 135
+ab	 134
+-	 134
+di	 133
+_si	 132
+"_	 131
+aw	 129
+_d	 126
+_A	 126
+yan	 123
+ya_	 122
+ata	 120
+a.	 120
+gi	 120
+P	 120
+ing_	 118
+um	 115
+o.	 113
+aki	 113
+ri	 113
+ik	 112
+nd	 112
+ila	 111
+mo	 110
+da	 110
+a._	 110
+in_	 109
+la_	 107
+ali	 106
+S	 106
+man	 105
+ig	 105
+iya_	 105
+s_	 104
+_ak	 104
+_at	 103
+_h	 102
+yon	 102
+asa	 101
+ina	 101
+_P	 101
+n.	 99
+N	 98
+aa	 98
+ga_	 97
+_mo	 97
+_ba	 97
+_"	 95
+ito	 94
+bi	 94
+yang	 94
+n._	 93
+pag	 92
+lang	 92
+yang_	 92
+_la	 92
+o._	 90
+K	 90
+_at_	 90
+tu	 88
+_S	 88
+ara	 87
+nga	 87
+ro	 85
+apa	 83
+rr	 82
+lam	 82
+lo	 81
+nan	 81
+_N	 80
+aman	 79
+aha	 78
+mg	 78
+mga	 78
+mga_	 78
+_mga_	 78
+_mg	 78
+_mga	 78
+_K	 78
+siy	 77
+kan	 76
+it_	 76
+san	 76
+d_	 75
+ad	 75
+di_	 74
+tin	 74
+'	 74
+ati	 73
+siya	 73
+kin	 72
+M	 72
+lang_	 71
+mo_	 70
+_mo_	 70
+ako	 70
+uma	 70
+_pag	 69
+pi	 69
+l_	 68
+_siy	 68
+rrr	 68
+_siya	 67
+ula	 67
+_M	 66
+Pa	 66
+iyo	 66
+mi	 66
+bu	 66
+mu	 65
+no	 65
+pu	 65
+nag	 65
+ung	 65
+Na	 65
+ot	 64
+_Na	 64
+niya_	 64
+iyan	 64
+ku	 64
+k_	 63
+go	 62
+awa	 62
+ip	 61
+_Pa	 61
+lu	 61
+_di	 60
+pan	 60
+_ta	 60
+ini	 60
+isa	 60
+nt	 60
+iyang	 60
+_iyo	 59
+_iy	 59
+on_	 59
+tan	 59
+mang	 59
+aba	 59
+gan	 59
+ut	 58
+I	 58
+hin	 58
+nak	 58
+an.	 57
+akin	 57
+_r	 57
+han	 57
+Ka	 57
+_ay	 57
+_ako	 56
+may	 56
+iyon	 56
+rrrr	 55
+Sa	 55
+aga	 55
+to_	 55
+nit	 55
+_ko	 54
+er	 54
+ib	 54
+ari	 54
+ana	 54
+ili	 54
+an._	 54
+ahi	 54
+au	 54
+ala_	 54
+gk	 53
+pa_	 53
+_is	 53
+rin	 53
+ilan	 52
+_kan	 52
+_Ka	 52
+_it	 52
+_Sa	 51
+king	 51
+ko_	 51
+_nak	 51
+gin	 51
+_ay_	 50
+bo	 50
+_iyon	 50
+amang	 50
+'y	 49
+os	 49
+mang_	 49
+_pa_	 49
+kat	 49
+a,	 49
+An	 48
+Ma	 48
+ny	 48
+mag	 48
+_ku	 48
+_ito	 48
+_ha	 47
+yong	 47
+?	 47
+aking	 47
+T	 47
+ni_	 47
+yong_	 47
+_An	 47
+king_	 47
+_akin	 46
+sang	 46
+_nag	 46
+kas	 46
+_aki	 46
+_ni_	 46
+ayo	 45
+kit	 45
+'y_	 45
+mat	 45
+_Ma	 45
+lal	 45
+ot_	 45
+nya	 44
+ban	 44
+ndi	 44
+oo	 44
+_u	 44
+ngi	 44
+_hi	 44
+sang_	 44
+B	 43
+su	 43
+may_	 43
+rrrrr	 43
+p_	 43
+ita	 43
+wal	 43
+ika	 43
+abi	 43
+aan	 43
+_may	 43
+lama	 42
+naka	 42
+mal	 42
+_I	 42
+_ri	 42
+alan	 42
+any	 42
+im	 42
+_pu	 42
+ai	 42
+wala	 41
+anya	 41
+a,_	 41
+_B	 41
+ndi_	 41
+as_	 41
+pat	 41
+po	 41
+nang	 41
+_mag	 41
+laman	 40
+lala	 40
+kal	 40
+g-	 40
+..	 40
+ir	 40
+!	 40
+uk	 40
+gu	 39
+ito_	 39
+ro_	 39
+_g	 39
+_da	 39
+_isa	 39
+_lam	 39
+ilang	 39
+kanya	 39
+w_	 39
+kany	 39
+agk	 38
+pal	 38
+ka_	 38
+_naka	 38
+siya_	 38
+isan	 38
Index: /trunk/gsdl/perllib/textcat/Other/tamil.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/tamil.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/tamil.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 11468
+Õ	 2697
+Ô	 2533
+Ž	 1960
+»	 1786
+œ	 1249
+Â	 1103
+Ù	 990
+£	 976
+Ø	 849
+¡	 847
+š	 831
+¿	 821
+À	 794
+Ÿ	 758
+§	 750
+Á	 721
+¹	 715
+¶	 713
+.	 702
+£_	 671
+×	 655
+â	 648
+Æ	 625
+._	 611
+ç	 601
+Å	 571
+¯	 557
+»Õ	 556
+É	 524
+_É	 520
+¢	 518
+_œ	 492
+Ç	 489
+_×	 488
+Þ	 484
+_Ç	 482
+€	 461
+Ä	 442
+Œ	 418
+ÿ	 416
+¥	 403
+§_	 398
+œÔ	 373
+_Ø	 368
+ª	 360
+Í	 359
+_Í	 349
+»Ô	 348
+ŽÕ	 342
+à	 337
+_Â	 331
+õ	 331
+š_	 323
+_Œ	 321
+¡Ž	 320
+_Ž	 310
+Õ¿	 308
+Ü	 299
+¢»	 294
+Ó	 292
+ŽÔ	 292
+ÿ»	 290
+Õ§	 288
+¡Þ	 284
+â_	 279
+ý	 271
+õŽ	 266
+ÂÕ	 265
+_»	 265
+ŸÔ	 241
+_Ÿ	 234
+Žª	 232
+=	 231
+±	 229
+€œ	 227
+==	 221
+¶Õ	 218
+»_	 218
+Õ§_	 213
+===	 211
+Õ_	 210
+====	 201
+ª_	 199
+Ž_	 198
+ÀÕ	 197
+=====	 191
+,	 188
+Øœ	 188
+¿Õ	 187
+º	 186
+_¶	 184
+,_	 184
+Ã	 183
+Ô¯	 181
+¿_	 179
+Ôš	 178
+å	 172
+Žª_	 171
+ì	 169
+ÙÁ	 168
+¢»Õ	 165
+¿Ô	 165
+Ô_	 165
+ç¡	 164
+È	 161
+Þ_	 160
+Íš	 160
+_Íš	 157
+«	 156
+_È	 156
+§Á	 152
+ÔŽ	 152
+Ù»	 151
+Ð	 150
+_Ð	 149
+ä	 149
+ö	 146
+ÕÅ	 146
+ØœÔ	 145
+¯Ž	 143
+Ö	 142
+×¶	 142
+ÁÔ	 142
+œÕ	 140
+Á_	 139
+Ô§	 138
+_Éç	 138
+Éç	 138
+¶Ô	 137
+Õš	 137
+Æ_	 136
+¢â	 133
+_×¶	 132
+ÔÆ	 128
+¡ŽÕ	 128
+ÀÔ	 127
+¥¹	 127
+_Ë	 127
+Ë	 127
+_Øœ	 127
+ÕÀ	 125
+öÓ	 125
+ÄÕ	 124
+ÆÔ	 122
+ÅÕ	 121
+Þ£	 120
+Õç	 119
+ŒÔ	 119
+×œ	 119
+ŽÙ	 119
+_å	 118
+¯_	 118
+£.	 117
+ŽÕÅ	 116
+»Õ¿	 115
+ÂÔ	 115
+_ÂÕ	 113
+â.	 113
+×»	 113
+£._	 112
+¡Þ_	 112
+ÕÙ	 111
+Õ¡	 111
+ÙÄ	 109
+×Ž	 109
+é	 109
+â._	 108
+_œÔ	 107
+ÕŽ	 106
+€_	 105
+ÆÕ	 104
+'	 104
+œ¹	 103
+ç_	 102
+¹Ô	 102
+ØŽ	 101
+ŒÕ	 100
+Éÿ	 100
+_Éÿ	 99
+_×»	 99
+ÔÀ	 98
+Éÿ»	 98
+æ	 98
+_×œ	 97
+Å_	 97
+Ô»	 97
+_Éÿ»	 97
+Ôš_	 97
+¹_	 97
+ß	 96
+±Å	 96
+×ŽÔ	 96
+»Ôš	 95
+¡Þ£	 94
+Õ¿_	 94
+Ø»	 94
+ø	 94
+ØÂ	 93
+í	 93
+_ØœÔ	 93
+ŸÕ	 93
+Õš_	 92
+ÿ»_	 91
+ÁÕ	 91
+_Éç¡	 90
+Éç¡	 90
+Ðç	 90
+ÕÆ	 90
+_Ðç	 90
+ÿ»Õ	 90
+Ù¹	 89
+_ŽÔ	 89
+_Ðç_	 88
+_ŒÔ	 88
+Ðç_	 88
+ì_	 86
+ç¡Ž	 86
+ÅÔ	 86
+ÿâ	 85
+¥à	 85
+¯Žª	 84
+šÆ	 84
+šì	 83
+Ô¥	 83
+÷	 83
+_Þ	 83
+ŽÄ	 82
+à_	 81
+ÔŽ_	 81
+š.	 80
+_ŸÔ	 80
+¿Õ§	 80
+²	 80
+ÕÁ	 80
+Ä_	 79
+ŽÙÄ	 79
+_œ¹	 79
+šÅ	 79
+Ô£	 79
+«¶	 78
+¡_	 78
+š._	 77
+_¶Õ	 77
+§ÁÔ	 77
+_ŒÕ	 77
+ë	 77
+Åâ	 76
+Þ£_	 75
+ÔÆ_	 75
+ÙŸ	 75
+Â¯	 75
+ÙÂ	 74
+çÿ	 73
+ýà	 72
+è	 72
+šì_	 71
+Ô§_	 71
+Žë	 71
+¥Ü	 71
+§Ù	 70
+»Õ§	 70
+§ÙÁ	 70
+£œ	 69
+Ù»_	 69
+ªÄ	 69
+ç¡Þ	 69
+Ó_	 68
+Ôõ	 68
+ØŸ	 67
+_ØŽ	 67
+Õ¢	 66
+ÄÔ	 66
+»Ôš_	 66
+à£	 66
+_Ç»	 66
+Ç»	 66
+Ô¹	 66
+Î	 66
+¿Õ§_	 65
+Ôâ	 65
+_»Õ	 64
+¯.	 64
+¹¢	 63
+Õ¥	 63
+Ô¡	 63
+_×Ž	 63
+_Î	 63
+ÙŽ	 62
+ŽÄÕ	 62
+Õ¿Ô	 62
+¯._	 61
+Éÿ»Õ	 61
+_œÕ	 61
+_×»Ô	 61
+×»Ô	 61
+ÔõŽ	 61
+œ¥	 60
+ÿ»Õ¿	 60
+_ä	 60
+_Éÿ»Õ	 60
+ÔŸ	 60
+Ôç	 59
+×¶Ô	 59
+¡Þ£_	 59
+€ä	 59
+_ÇÙ	 58
+ÿâ_	 58
+ÙÅ	 58
+ÇÂ	 58
+ÇÙ	 58
+Éÿ»Õ¿	 58
+ºÕ	 58
+»À	 57
+œÔ¯	 57
+¹£	 57
+ýº	 57
+_ÇÂ	 57
+æ£	 56
+ÔÁ	 56
+_×¶Ô	 55
+?	 55
+ý¹	 54
+ÃÕ	 54
+ÙÆ	 54
+»Õç	 54
+_×ŽÔ	 54
+ŽÕÅâ	 53
+»Õ¿_	 53
+_À	 53
+ÕÅâ	 53
+¡ŽÕÅ	 53
+ç¡ŽÕ	 52
+ÇÀ	 52
+ÙÄ_	 52
+×Â	 51
+Ü_	 51
+'_	 51
+_ÇÀ	 51
+ÔÂ	 51
+Íšì	 51
+Âç	 51
+î	 51
+â¡	 51
+_Íšì	 51
+À_	 51
+Õ¿Õ	 51
+ÙÀ	 51
+_É§	 50
+É§	 50
+œý	 50
+»Õ§_	 50
+×œÔ	 50
+±ÅÕ	 50
+»Ÿ	 49
+à£_	 49
+Ôà	 49
+õŽª	 49
+Ž¥	 49
+»Õ_	 49
+»ÕÀ	 48
+¶Ô§	 48
+ç£	 48
+Õ¡Ž	 48
+Õ€	 48
+ÕØ	 48
+À£	 48
+ÀÕ¿	 48
+_Éç¡Ž	 47
+æ£_	 47
+ê	 47
+Íšì_	 47
+×¶Ô§	 47
+Éç¡Ž	 47
+Â_	 47
+_Íšì_	 47
+?_	 46
+Ø¿	 46
+Ô¿	 46
+_Ø»	 46
+¹õ	 46
+_Ù	 46
+õŽª_	 46
+è£	 45
+ŽÙÄ_	 45
+¢Ù»	 45
+¢Ù	 45
+»Ù	 45
+_×œÔ	 44
+œÜ	 44
+Ô£_	 44
+ÕÆÕ	 44
+ŽØ	 44
+á	 44
+Ž£	 44
+œÔâ	 44
+ÁÔ£	 44
+Á.	 44
+_×¶Ô§	 43
+Žë¡	 43
Index: /trunk/gsdl/perllib/textcat/Other/thai.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/thai.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/thai.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 6290
+Ò	 5252
+Ã	 4377
+¹	 3920
+¡	 3050
+è	 2984
+Í	 2657
+§	 2522
+Ñ	 2454
+Á	 2369
+é	 2304
+à	 2158
+Â	 1981
+Ç	 1908
+Õ	 1693
+Å	 1543
+Ô	 1443
+Ž	 1422
+·	 1398
+µ	 1398
+»	 1301
+Ë	 1245
+Ð	 1239
+€	 1210
+º	 1181
+Ê	 1081
+š	 1045
+ä	 978
+ÒÃ	 951
+Ÿ	 907
+ª	 892
+èÒ	 829
+á	 795
+¡Ò	 735
+ã	 722
+¡ÒÃ	 710
+¢	 691
+ÒÂ	 688
+×	 668
+Í§	 595
+.	 588
+ç	 553
+Ø	 543
+ÃÑ	 532
+Õè	 528
+ÃÐ	 522
+»Ã	 522
+·Õ	 477
+Ù	 452
+·Õè	 451
+èÍ	 443
+¹Ò	 441
+Ó	 422
+Ò§	 419
+éÒ	 414
+ì	 388
+¹_	 378
+ÃÃ	 367
+ÒÁ	 360
+°	 354
+Ñº	 349
+Ò_	 347
+éÍ	 345
+»ÃÐ	 340
+Çè	 337
+ÃÒ	 337
+Áè	 336
+ÇèÒ	 336
+à»	 334
+Ò¹	 333
+Ñé	 332
+¡Ã	 328
+Žé	 325
+Ö	 322
+_à	 320
+ç¹	 314
+À	 313
+ÁÒ	 299
+Ñ§	 297
+Ò¡	 297
+×Í	 296
+äÁ	 295
+Ñ°	 293
+ÃÑ°	 293
+×è	 290
+â	 289
+äÁè	 288
+ž	 285
+ã¹	 280
+Œ	 273
+è§	 268
+¹ÒÂ	 268
+é¹	 266
+ŸÃ	 263
+Ñ¹	 263
+³	 263
+áÅ	 256
+¹¡	 254
+ËÒ	 253
+§¡	 252
+×èÍ	 251
+ÁÕ	 251
+äŽ	 248
+­	 248
+äŽé	 248
+šÐ	 248
+»ç¹	 247
+à»ç¹	 247
+»ç	 247
+à»ç	 247
+Í¡	 245
+ÇÒ	 245
+ãË	 244
+¶	 244
+ªÒ	 243
+µÔ	 241
+_á	 240
+¡Ñ	 238
+È	 237
+_¡	 236
+µè	 234
+«	 227
+éÇ	 225
+é§	 221
+É	 216
+Â¡	 214
+Ã€	 213
+ÕÂ	 211
+Ñé§	 211
+ÃÁ	 211
+¢Í	 210
+Ô¹	 209
+èÇ	 206
+Õé	 202
+ÅÐ	 202
+Ë¹	 201
+¹Ñ	 201
+_¹	 200
+µÃ	 197
+Ëé	 196
+§_	 193
+Á¹	 191
+Ðà	 191
+ÀÒ	 188
+ÍÂ	 188
+ÒÇ	 186
+¢Í§	 184
+¹Õ	 184
+ãËé	 183
+€Ç	 183
+ÃÕ	 181
+§à	 180
+¡Å	 179
+áÅÐ	 178
+èÒ§	 177
+èÒ_	 176
+ÃÃ€	 176
+_Ÿ	 176
+€ÇÒÁ	 174
+¹µ	 174
+ÇÒÁ	 174
+€ÇÒ	 174
+ÑŽ	 172
+ÔŽ	 172
+ÇèÒ_	 171
+ŸÃÃ	 167
+šÒ	 167
+Í¹	 167
+Òµ	 167
+¹Õé	 167
+ŸÃÃ€	 166
+¡ç	 166
+€Ã	 165
+¹à	 165
+è¹	 163
+ºÒ	 162
+¢é	 161
+§ã	 161
+Õ_	 161
+ì_	 154
+ËÅ	 154
+Á×	 154
+éÍ§	 151
+¹¡ÒÃ	 151
+¹¡Ò	 151
+ä»	 150
+Ñ¡	 150
+é_	 148
+ÃÒÂ	 147
+µÑ	 146
+¹·	 146
+ÅÑ	 146
+Â_	 146
+àŸ	 145
+Åé	 140
+à¡	 139
+šÒ¡	 139
+àÁ	 138
+ÃÔ	 138
+ŸÅ	 137
+Ã×	 136
+·Ñ	 135
+¡Ñº	 134
+ÒÂ¡	 133
+_Ã	 132
+ºÃ	 132
+§ä	 132
+Ãà	 131
+à·	 130
+Åè	 129
+ÒµÔ	 129
+_·	 128
+¡Ô	 128
+µÃÕ	 128
+ÃÑº	 128
+Õ¡	 128
+àË	 127
+¹Í	 127
+µé	 126
+_¹Ò	 126
+ªÒµÔ	 126
+ÅÒ	 126
+ªÒµ	 126
+¹Ç	 126
+Òà	 126
+_áÅ	 125
+§¹	 124
+§€	 124
+¡ÒÃà	 124
+ÒÃà	 124
+ÍÁ	 123
+Ò€	 122
+ 	 122
+áµ	 122
+àÊ	 121
+ÇÑ	 121
+Ñé¹	 120
+ÃÃÁ	 120
+Ò·	 119
+¹µÃ	 119
+èÒÇ	 118
+áµè	 118
+§·	 117
+Ç¹	 117
+ÂÑ	 117
+Á¹µÃ	 117
+¹µÃÕ	 117
+Á¹µ	 117
+Á¹µÃÕ	 117
+ÃÍ	 116
+Ùé	 116
+_¹ÒÂ	 116
+àÁ×	 116
+°Á¹	 115
+àÃ	 115
+ÃÑ°Á¹	 115
+ËÁ	 115
+à¢	 115
+Ñ°Á	 115
+Í.	 115
+Ñ°Á¹µ	 115
+ÃÑ°Á	 115
+°Á¹µ	 115
+Ñ°Á¹	 115
+°Á¹µÃ	 115
+°Á	 115
+_áÅÐ	 113
+éà	 113
+Ãè	 113
+èÁ	 112
+ãš	 112
+_Ê	 112
+¹Ñé	 111
+Ô»	 111
+¹Ñé¹	 111
+èà	 111
+èä	 110
+_Í	 110
+Âà	 110
+_š	 110
+Òš	 109
+»ÃÒ	 108
+¹ÒÂ¡	 108
+_Ë	 107
+Ñ­	 107
+éÒ¹	 107
+šÑ	 106
+§¡Ò	 106
+_€	 106
+§¡ÒÃ	 105
+ÇÂ	 105
+Ôµ	 105
+¹é	 105
+ÒÅ	 103
+ŽÂ	 102
+è_	 102
+ÃÐà	 102
+àÍ	 102
+¹¹	 102
+ÍÒ	 101
+âŽ	 100
+µéÍ	 100
+ªè	 100
+_ä	 99
+ÇÅ	 99
+µéÍ§	 99
+âŽÂ	 99
+Ã_	 98
+Ðª	 98
+ŸÑ	 98
+»ÃÐà	 98
+Â¡Ã	 97
+Öè§	 97
+¡_	 97
+Öè	 97
+Òª	 97
+é¹_	 96
+ÅÔ	 96
+Ñ°º	 94
+ÒŸ	 94
+ÃÑ°º	 94
+ŒÙ	 94
+°º	 94
+Âè	 93
+¹ä	 93
+·Ò	 93
+°ºÒ	 92
+ÅèÒ	 92
+Å.	 92
+Ñ°ºÒ	 92
+¡Ñ¹	 92
+Ñ°ºÒÅ	 92
+§Ã	 92
+ÃÑ°ºÒ	 92
+ºÒÅ	 92
+°ºÒÅ	 92
+Ö§	 92
+.Í	 91
+¢éÒ	 91
+Ã¡	 91
+_ŸÅ	 90
+ÍÂè	 90
+ŸÅ.	 90
+Íà	 90
+ÍÂèÒ	 90
+ÂèÒ	 90
+¡ÃÐ	 89
+.Í.	 89
+ÂèÒ§	 89
+Õé_	 89
+ÍÂèÒ§	 89
+ÂÑ§	 89
+ÊØ	 89
+µèÍ	 88
+Íº	 88
+_â	 88
+Å.Í	 87
+èÍ§	 87
+ÃÐª	 87
+Áà	 87
+ÂÇ	 87
+ÅÑ§	 87
+ŸÅ.Í.	 87
+Å.Í.	 87
+¹Õé_	 87
+àŽ	 87
+Á¡	 87
+ŒÙé	 87
+ÇÔ	 87
+ŸÅ.Í	 87
+»ÃÐª	 87
+»Ñ	 87
+'	 86
+ÊÔ	 86
+Êè	 86
+Áèä	 86
+_ŸÅ.	 86
+·Ò§	 86
+ÇÁ	 85
+¡à	 85
+Â§	 85
+._	 85
+¡ÃÑ	 85
+ÍÀ	 85
+ªÇ	 84
+ÒÐ	 84
+¹éÒ	 84
+¡ÃÑ°	 84
+ÀÔ	 84
+·Ó	 84
+ËÒÃ	 84
+_ŸÅ.Í	 84
+ÍÍ	 83
+§Ê	 83
+ÍÀÔ	 83
+äÁèä	 83
+Ñµ	 82
+»ÃÒÂ	 82
+€¹	 82
+Í_	 82
Index: /trunk/gsdl/perllib/textcat/Other/turkish.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/turkish.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/turkish.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 23226
+i	 8957
+a	 7675
+e	 6219
+n	 5169
+&	 4950
+;	 4950
+l	 4674
+r	 4464
+&i	 3206
+&i;	 3206
+i;	 3206
+s	 3206
+k	 3009
+d	 2977
+t	 2442
+m	 2010
+y	 2001
+u	 1885
+n_	 1725
+g	 1584
+o	 1567
+b	 1470
+e_	 1426
+ü	 1353
+ar	 1273
+la	 1236
+a_	 1209
+i_	 1169
+in	 1124
+_b	 1101
+an	 1097
+er	 1073
+le	 1058
+s;	 1036
+&s;	 1036
+&s	 1036
+;_	 1018
+de	 936
+;n	 918
+&i;n	 917
+i;n	 917
+,_	 872
+_,	 872
+_,_	 872
+,	 872
+i;_	 863
+&i;_	 863
+_k	 816
+en	 769
+r_	 762
+_y	 759
+da	 759
+il	 759
+k_	 750
+z	 739
+nd	 725
+&g;	 708
+g;	 708
+&g	 708
+ra	 697
+_a	 692
+_d	 692
+_s	 676
+'	 673
+_i	 644
+._	 641
+.	 641
+_.	 637
+_._	 637
+c	 637
+ka	 635
+v	 632
+;&	 624
+h	 615
+_g	 597
+ri	 596
+ç	 596
+lar	 583
+li	 580
+ma	 559
+ya	 555
+ler	 553
+p	 547
+re	 529
+al	 529
+ö	 527
+_t	 520
+ir	 508
+ak	 502
+bi	 500
+;l	 480
+in_	 478
+di	 477
+r&	 468
+el	 453
+et	 449
+ek	 445
+n&	 439
+_o	 439
+ol	 437
+da_	 434
+n&i	 433
+n&i;	 433
+ni	 429
+ti	 428
+de_	 425
+an_	 422
+eri	 421
+r&i	 417
+r&i;	 417
+s&	 413
+s&i	 413
+s&i;	 413
+ar&	 412
+me	 407
+te	 405
+a&	 404
+i&	 390
+ay	 387
+ne	 380
+_bi	 373
+_ka	 368
+ar&i;	 367
+ar&i	 367
+u_	 363
+as	 363
+_e	 362
+ta	 359
+&i;l	 352
+i;l	 352
+nda	 350
+ki	 347
+na	 346
+si	 343
+_v	 337
+;&i;	 334
+;&i	 334
+ve	 334
+ara	 333
+en_	 332
+;i	 331
+on	 328
+un	 326
+l&i;	 322
+l&	 322
+l&i	 322
+leri	 322
+ba	 318
+_m	 318
+ik	 315
+mi	 315
+f	 306
+lar&	 302
+lar&i	 302
+sa	 298
+_h	 297
+ld	 296
+&i;&	 290
+i;&	 290
+_ve	 288
+l_	 287
+ge	 286
+is	 285
+ed	 285
+i&s;	 284
+i&s	 284
+;r	 282
+_ya	 279
+_ol	 279
+d&i;	 278
+d&	 278
+d&i	 278
+nl	 277
+kl	 275
+;k	 274
+&i;n_	 271
+;n_	 271
+i;n_	 271
+ile	 270
+or	 269
+iy	 267
+a&s	 264
+a&s;	 264
+y&i;	 262
+ad	 262
+y&	 262
+y&i	 262
+ye	 259
+ha	 258
+es	 258
+t&	 257
+t&i	 257
+t&i;	 257
+ini	 253
+;nd	 253
+i;nd	 253
+ür	 253
+&i;nd	 253
+se	 248
+_ge	 248
+i;nda	 248
+;nda	 248
+;n&i;	 247
+i;n&	 247
+;n&	 247
+&i;n&	 247
+i;n&i	 247
+;n&i	 247
+bu	 245
+_'	 245
+_ba	 244
+as&i	 242
+as&i;	 242
+_de	 242
+as&	 242
+at	 240
+am	 240
+nda_	 239
+ar_	 231
+ve_	 230
+rin	 230
+_ve_	 228
+_bu	 227
+im	 227
+&i;r	 226
+i;r	 226
+ur	 221
+g;&i	 220
+g;&	 220
+&g;&	 220
+yo	 220
+&g;&i	 220
+g;&i;	 220
+ul	 215
+ak_	 215
+ke	 213
+nu	 213
+erin	 211
+g;i	 208
+&g;i	 208
+lan	 207
+bir	 205
+r&i;n	 205
+nde	 202
+rl	 202
+n&i;_	 201
+ko	 201
+ca	 200
+m_	 197
+rd	 196
+t_	 194
+er_	 194
+st	 193
+em	 193
+_sa	 190
+lm	 189
+rt	 188
+_ü	 187
+i;k	 187
+ün	 187
+ola	 187
+&i;k	 187
+lerin	 185
+ce	 185
+'_	 185
+;m	 183
+az	 183
+rk	 182
+yü	 182
+;la	 181
+_bir	 181
+ir_	 180
+n&i;n	 180
+ru	 180
+lu	 180
+;nda_	 178
+e&	 177
+_ç	 176
+_ha	 175
+_ko	 173
+esi	 171
+_ö	 170
+ap	 170
+ni_	 168
+tü	 167
+den	 164
+ind	 161
+di_	 161
+be	 161
+s&i;n	 160
+nin	 159
+üz	 158
+ri_	 155
+y&i;l	 155
+_p	 154
+nin_	 153
+&s;_	 152
+_y&	 152
+edi	 152
+s;_	 152
+_y&i;	 152
+_y&i	 152
+yl	 151
+le_	 151
+inde	 150
+eti	 150
+ala	 150
+&i;&s	 149
+ele	 149
+i;&s;	 149
+;&s;	 149
+;&s	 149
+i;&s	 149
+ek_	 148
+ere	 148
+çi	 147
+du	 145
+ön	 145
+z_	 144
+na_	 144
+eri_	 143
+ec	 142
+gö	 142
+i;&g;	 141
+s&i;_	 141
+bir_	 141
+&i;&g	 141
+i;&g	 141
+ah	 141
+;&g;	 141
+;&g	 141
+_gö	 140
+lar_	 140
+eli	 140
+a&g;	 140
+a&g	 140
+dan	 140
+ac	 140
+iç	 140
+an&	 140
+u&	 139
+;&g;&	 138
+_yü	 138
+an&i	 138
+an&i;	 138
+pa	 138
+it	 137
+_ola	 137
+_bir_	 136
+;t	 135
+ör	 135
+ne_	 135
+ini_	 134
+lma	 134
+kan	 133
+ab	 132
+to	 131
+ba&	 131
+kar	 130
+r&i;_	 130
+_ar	 129
+ili	 129
+li_	 129
+ki_	 128
+bu_	 127
+anl	 127
+dü	 127
+ler_	 126
+_ba&	 126
+kon	 126
+ll	 125
+tl	 125
+ine	 125
+e&g;	 124
+e&g	 124
+_il	 124
+_bu_	 124
+re_	 124
+bil	 123
+&s;i	 123
+;&i;n	 123
+s;i	 123
+ede	 123
+zd	 123
+''	 122
+_da	 122
+_''	 122
+_tü	 122
+ret	 122
+_-_	 121
+_''_	 121
+mas	 121
+''_	 121
+-	 121
+dan_	 121
+leri_	 121
+;u	 121
+_-	 121
+ev	 121
Index: /trunk/gsdl/perllib/textcat/Other/ukrainian-koi8_r.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/ukrainian-koi8_r.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/ukrainian-koi8_r.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 21726
+Ï	 4832
+Á	 4080
+É	 3253
+Š	 2775
+Î	 2747
+×	 2642
+Ô	 2481
+Å	 2373
+Ò	 2066
+Ë	 1929
+Ä	 1806
+Ó	 1797
+Ì	 1760
+Õ	 1605
+Ð	 1347
+Í	 1345
+Ñ	 1061
+Ú	 1060
+Á_	 971
+Ï_	 965
+É_	 916
+_×	 902
+Â	 881
+_Ð	 869
+Å_	 847
+Ø	 843
+Š_	 810
+Ç	 760
+_Î	 696
+.	 676
+Þ	 654
+Ê	 647
+_Ó	 623
+"	 621
+_Ú	 606
+ÎÁ	 582
+_Ä	 565
+Ö	 543
+_Ô	 514
+ËÁ	 480
+._	 476
+ÔÉ	 464
+Ï×	 459
+×Š	 457
+Õ_	 457
+×_	 451
+À	 450
+Ñ_	 449
+_Ë	 443
+È	 438
+ÒÏ	 431
+Û	 428
+_Í	 419
+ÎÅ	 418
+ÐÏ	 414
+ÓÔ	 413
+€	 410
+ÔÏ	 400
+ÇÏ	 396
+Ø_	 394
+ÔØ	 377
+ÌÉ	 375
+ËÏ	 373
+ÒÁ	 358
+ÎÏ	 356
+Ê_	 354
+á	 354
+_Â	 350
+ÔÁ	 346
+,	 343
+ÏÄ	 341
+ÉÔ	 340
+ÏÌ	 336
+ÏÇ	 333
+×Á	 331
+Ã	 328
+Á×	 326
+,_	 323
+ÒÉ	 322
+ÄÏ	 321
+ÌÏ	 319
+ŠÄ	 318
+ÎÉ	 317
+÷	 314
+_ÐÏ	 314
+î	 312
+×É	 310
+ÏÒ	 310
+ÅÒ	 305
+ï	 295
+ÏÍ	 295
+ÎŠ	 294
+_ÎÁ	 289
+_ÎÅ	 288
+×Ï	 288
+Ý	 287
+ÅÎ	 282
+ÁÌ	 282
+ÎÁ_	 280
+ÚÁ	 274
+ô	 273
+ËÉ	 268
+_Š	 268
+§	 267
+ÐÒ	 266
+"_	 264
+ÏÇÏ	 254
+ÓÑ	 252
+ÁÔ	 252
+_"	 251
+ÔØ_	 251
+ÎÅ_	 249
+Í_	 248
+ð	 246
+ÔÉ_	 245
+I	 245
+ÉÊ	 244
+_Ò	 241
+€_	 239
+_ÄÏ	 239
+ÄÁ	 235
+ÏÂ	 235
+é	 233
+_Ñ	 232
+_Š_	 228
+ÖÅ	 228
+ÁÎ	 228
+Ë_	 226
+ÉÎ	 224
+_ÐÒ	 221
+ÍÏ	 219
+_ÚÁ	 218
+ŠÎ	 216
+Á€	 215
+ÍÁ	 214
+ÌÁ	 213
+_×Š	 210
+ÄÉ	 209
+_Ç	 207
+À_	 206
+ÒÅ	 206
+ÇÏ_	 204
+É×	 203
+_Ý	 203
+Ú_	 202
+ÝÏ	 201
+ÌŠ	 200
+ò	 199
+ÏÇÏ_	 199
+ó	 197
+ÓÑ_	 196
+ÉÓ	 193
+ÏÎ	 193
+_ÎÅ_	 190
+_ð	 190
+ŠÌ	 188
+ÏÓ	 187
+_Ï	 186
+ÔÅ	 186
+ÞÉ	 185
+ÁÒ	 184
+ÉÊ_	 184
+_÷	 176
+_×_	 174
+_Þ	 174
+ÑË	 173
+ÌØ	 173
+ë	 173
+ÁÓ	 170
+_ÝÏ	 169
+ÍÕ	 168
+ÂÕ	 167
+ñ	 166
+ÉÌ	 166
+ÉË	 163
+å	 163
+ÒŠ	 163
+ä	 163
+ú	 162
+ÝÏ_	 161
+ÔÒ	 160
+ÎŠ_	 160
+Š×	 160
+ÖÅ_	 159
+×ŠÄ	 159
+_Ì	 158
+ÔŠ	 155
+_×É	 155
+*	 154
+ÄÎ	 153
+ÁÍ	 153
+_*	 152
+Á€_	 152
+ÌÉ_	 152
+ØË	 152
+_ËÏ	 151
+È_	 151
+ËÕ	 151
+*_	 151
+ÄÅ	 151
+_*_	 150
+í	 149
+_Ú_	 149
+_ÑË	 148
+_Á	 147
+ÄŠ	 147
+ÄÕ	 146
+ÁÖ	 145
+_ÎÁ_	 144
+ÁÔÉ	 144
+ËÁ_	 143
+ÐÉ	 142
+_ÓÔ	 141
+ÓØ	 141
+ÌÑ	 140
+Î_	 139
+ÌÅ	 138
+ÐŠ	 137
+ÏÌÏ	 137
+ÒÕ	 136
+ÁÄ	 136
+_ÝÏ_	 136
+ÍÉ	 135
+ÃŠ	 135
+_î	 134
+_ÍÏ	 133
+ÁË	 133
+ËÉ_	 133
+ÏÀ	 132
+ÎÕ	 131
+ÉÍ	 130
+ŠÔ	 129
+_ËÁ	 129
+ÂÁ	 129
+_ÔÏ	 129
+§_	 128
+ÍÅ	 128
+ÐÅ	 128
+ÍŠ	 128
+_ÂÕ	 127
+×Ó	 126
+á_	 126
+Ï×Š	 123
+ÏË	 123
+×Å	 122
+ËŠ	 121
+:	 119
+_Ã	 118
+Õ×	 118
+ÂÉ	 116
+ÓŠ	 116
+ÇÁ	 115
+Ï§	 115
+ÐÁ	 115
+ÎÏ_	 115
+ÏÍÕ	 114
+ÍÕ_	 113
+_Ö	 113
+ÏÒÏ	 113
+ÏÔ	 113
+ÉÔØ	 112
+ÏÚ	 112
+?	 111
+ÔÕ	 110
+ÓÔÏ	 109
+_ú	 109
+ÏÞ	 109
+ÉÈ	 109
+ÕÔ	 109
+ÏÀ_	 108
+ŠË	 108
+_È	 106
+â	 106
+ÄÏ_	 106
+ŠÊ	 106
+_×ŠÄ	 106
+Ó×	 106
+ÚÎ	 105
+ÂŠ	 105
+ÐÒÉ	 105
+ÓÔÁ	 104
+ÁÚ	 104
+ËÒ	 104
+ËÁÖ	 104
+ÎÑ	 103
+ÕÄ	 103
+_ô	 102
+_ÇÏ	 102
+Ä_	 102
+ÔÏ_	 102
+ÉÔÉ	 102
+_ó	 101
+_ÔÁ	 101
+ÌÏ×	 101
+ì	 100
+_ÒÏ	 100
+ÞÁ	 99
+ÏÍÕ_	 99
+ÐÅÒ	 99
+_ÄÏ_	 98
+ÏÄÉ	 98
+ŠÓ	 98
+ÁÖÅ	 97
+ÌÁ_	 97
+ÁÊ	 96
+ÓÏ	 94
+ÁÔÉ_	 94
+_Õ	 94
+ÌÀ	 93
+!	 93
+_Ó×	 93
+..	 93
+ÅÒÅ	 92
+ÓË	 92
+ŠÌØ	 92
+ÓÉ	 92
+_ÐÒÉ	 91
+ÅÌ	 91
+ÐÒÏ	 91
+_ËÁÖ	 91
+ÈÏ	 91
+ÏÖ	 89
+þ	 89
+Ô_	 88
+ÉÔØ_	 88
+ÅÓ	 88
+ÞÏ	 86
+ÂÏ	 86
+ÓÌ	 86
+ËÁÖÅ	 86
+ÑÔ	 85
+ñ_	 85
+ÓÐ	 84
+ÔÏÒ	 84
+ÏÌÉ	 84
+_ËÁÖÅ	 83
+_ÐŠ	 83
+_ÍÁ	 82
+ÕÌ	 82
+ÕË	 82
+ç	 81
+õ	 81
+_ë	 81
+Á×_	 81
+ÎÎ	 81
+ÞÅ	 81
+ÍÅÎ	 81
+ÍÉ_	 80
+_Ê	 79
+_í	 79
+ØÓ	 78
+ÎË	 78
+ÁÀ	 78
+ÂÅ	 78
+ÃÅ	 78
+_ÐÒÏ	 77
+ŠÎ_	 77
+ÏÍ_	 77
+ÕÓ	 77
+ÅÍ	 77
+_ñ	 77
+_ä	 77
+_×Ï	 76
+_ÍÅ	 76
+ÉÈ_	 76
+ÅÔ	 76
+ØÏ	 75
+ÉÞ	 75
+ØËÉ	 75
+ÕÒ	 74
+ØÓÑ	 74
+ÔØÓ	 74
+ÔØÓÑ	 74
+Ï§_	 73
+_ÓÔÏ	 73
+ËÏÌ	 72
+".	 72
+."	 72
+ÏÌÏ×	 72
+ÊÏ	 72
+Ä×	 71
+Š×_	 71
+ÏÐ	 71
+Æ	 71
+_ÐÅ	 71
+Õ×Á	 71
+ÎÉÊ	 71
+ÓØ_	 70
+_â	 70
+ÌØË	 70
+_ÏÄ	 69
+ÅÎŠ	 69
+ÁÞ	 68
+ÁÌÉ	 68
+ŠÌØË	 68
+ÈÁ	 68
+ÑË_	 68
+ÔØÓÑ_	 68
+ÔÁË	 68
Index: /trunk/gsdl/perllib/textcat/Other/vietnamese.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/vietnamese.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/vietnamese.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 88044
+n	 17000
+h	 12823
+t	 9071
+i	 8490
+c	 8394
+g	 8035
+ng	 6718
+_t	 6352
+_c	 5234
+a	 5083
+g_	 4883
+ng_	 4882
+_n	 4379
+n_	 4365
+i_	 4365
+u	 4149
+m	 3648
+à	 3635
+nh	 3480
+o	 3451
+Ç	 3193
+_Ç	 3168
+r	 3011
+l	 2692
+Ü	 2659
+,	 2328
+,_	 2295
+c_	 2279
+_l	 2263
+ch	 2226
+v	 2161
+th	 2158
+a_	 2132
+_th	 2113
+y	 2111
+.	 2107
+t_	 2106
+h_	 2074
+_v	 2057
+_h	 1888
+_m	 1834
+_ch	 1813
+s	 1749
+nh_	 1715
+u_	 1679
+á	 1668
+à_	 1649
+tr	 1611
+b	 1589
+_tr	 1581
+_nh	 1541
+_b	 1530
+m_	 1505
+p	 1483
+._	 1455
+k	 1429
+_s	 1415
+o_	 1380
+y_	 1371
+_k	 1367
+_ng	 1348
+©	 1343
+e	 1296
+ó	 1208
+	 1199
+ô	 1181
+¶	 1139
+å	 1132
+T	 1126
+hi	 1121
+â	 1081
+ì	 1058
+ê	 1055
+d	 1040
+_g	 1039
+kh	 1034
+_kh	 1027
+_T	 994
+©i	 967
+là	 943
+_là	 941
+"	 926
+ä	 916
+Ü©	 901
+an	 893
+_d	 888
+Ó	 877
+©i_	 859
+on	 853
+Ã	 848
+N	 846
+	 820
+ó_	 813
+	 801
+ôn	 795
+ph	 776
+_p	 772
+_ph	 752
+û	 752
+§	 734
+hÜ	 728
+ho	 715
+và	 709
+_và	 703
+gÜ	 702
+®	 700
+_r	 696
+H	 693
+_là_	 691
+là_	 691
+Ü©i	 684
+àn	 679
+ên	 677
+ông	 676
+ha	 672
+gi	 663
+C	 656
+_gi	 655
+Ö	 654
+gÜ©i	 646
+gÜ©	 646
+Ü©i_	 624
+ông_	 610
+ngÜ	 610
+_ngÜ	 608
+ác	 606
+ú	 601
+ngÜ©	 600
+ngÜ©i	 600
+_ngÜ©	 598
+gÜ©i_	 594
+ûa	 587
+cû	 586
+_cû	 585
+¶t	 585
+cûa	 585
+ên_	 585
+_cûa	 584
+có	 583
+ûa_	 582
+_có	 581
+cûa_	 581
+ã	 581
+_cûa_	 580
+¶t_	 578
+_N	 574
+có_	 574
+»	 573
+_có_	 572
+i	 568
+À	 562
+	 562
+m¶	 557
+_C	 553
+_m¶	 551
+p_	 540
+Æ	 540
+m¶t	 538
+m¶t_	 534
+_m¶t	 532
+ìn	 528
+_m¶t_	 528
+ti	 526
+i	 525
+Ù	 517
+Î	 512
+ình	 500
+..	 500
+	 497
+và_	 497
+_và_	 496
+æ	 491
+q	 490
+qu	 490
+_H	 487
+_q	 484
+_qu	 484
+ong	 481
+ong_	 471
+há	 471
+x	 470
+hô	 468
+¿	 466
+_"	 460
+Ü®	 456
+ro	 453
+ình_	 445
+ì_	 434
+_x	 434
+ã_	 427
+í	 423
+_ti	 423
+in	 422
+ân	 421
+"_	 418
+i	 415
+Ön	 413
+ron	 412
+V	 411
+rong	 410
+§i	 410
+rong_	 409
+ác_	 405
+ª	 400
+n	 399
+hôn	 398
+åi	 395
+ay	 390
+_V	 387
+h»	 382
+hà	 380
+ày	 377
+Ãt	 376
+uy	 374
+ÇÜ	 374
+_ÇÜ	 373
+§i_	 372
+cá	 371
+_cá	 367
+nà	 366
+_	 366
+hú	 366
+_nà	 365
+ra	 363
+hông	 362
+ho_	 359
+ân_	 356
+án	 356
+°	 355
+åi_	 354
+ai	 352
+hu	 352
+cho	 352
+Ü®c	 351
+®c	 351
+Ón	 351
+_cho	 349
+tro	 347
+t	 347
+ào	 347
+_tro	 346
+_tron	 346
+ñ	 346
+tron	 346
+trong	 346
+M	 345
+khô	 340
+âu	 338
+_khô	 338
+cho_	 337
+_cho_	 336
+hông_	 336
+ay_	 333
+ch_	 332
+Çã	 331
+Ãt_	 331
+(	 331
+_(	 330
+Ò	 329
+_Çã	 329
+ÇÜ®	 328
+_ÇÜ®c	 328
+)	 328
+ÇÜ®c	 328
+_ÇÜ®	 328
+khôn	 324
+_ñ	 324
+_khôn	 322
+Çã_	 322
+_Çã_	 320
+ò	 318
+ån	 318
+không	 316
+ào_	 316
+Ü®c_	 316
+®c_	 316
+nhÜ	 315
+Ü_	 315
+»ng	 313
+»ng_	 313
+»n	 313
+_nhÜ	 313
+Th	 312
+hì	 311
+Û	 310
+h»n	 310
+h»ng_	 310
+h»ng	 310
+iê	 309
+gh	 309
+u	 307
+ta	 307
+anh	 307
+¡	 307
+ai_	 306
+àng	 306
+ày_	 304
+ÇÜ®c_	 298
+ÜÖ	 295
+S	 295
+:	 294
+t_	 294
+e_	 294
+:_	 290
+Î_	 289
+ua	 288
+æn	 288
+ài	 286
+u_	 285
+_nh»	 285
+nh»	 285
+nh»ng	 285
+nh»n	 285
+_nh»n	 285
+_Th	 285
+n_	 284
+n	 283
+Ø	 281
+_M	 281
+A	 281
+úc	 278
+L	 277
+ø	 277
+ÜÖn	 276
+_ha	 276
+n,	 275
+Öng	 275
+ÜÖng	 275
+an_	 272
+ài_	 271
+iu	 269
+sÓ	 269
+n,_	 268
+¿_	 268
+on_	 267
+_sÓ	 267
+các	 265
+àng_	 265
+_các	 264
+anh_	 264
+ngh	 264
+_ta	 263
+hi_	 262
+hàn	 261
+_	 261
+âu_	 261
+Àn	 260
+ù	 260
+_ngh	 257
+ia	 255
+¢	 252
+...	 252
+êu	 251
+Ùc	 251
+i,	 249
+iu_	 248
+nhi	 247
+B	 246
+i,_	 245
+Óng	 244
+ª_	 244
+co	 244
+_nhi	 244
+¥	 244
+Ü§	 244
+iên	 243
+D	 243
+Tr	 241
+_S	 240
+hÜ_	 239
+òn	 237
+hÃ	 236
+hÆ	 233
+K	 233
+Öng_	 232
+ôi	 232
+ÜÖng_	 232
+Àn_	 231
+_co	 231
+n_	 229
+hå	 229
+äi	 229
+yê	 229
+Ûn	 229
+¢n	 228
+Ûng	 228
+_L	 227
+Ûng_	 226
+inh	 226
+Çi	 225
+mà	 225
+_Çi	 225
+ng,	 224
+ang	 224
+P	 224
+n	 224
+g,	 224
+g,_	 223
+_v§	 223
Index: /trunk/gsdl/perllib/textcat/Other/welsh.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/welsh.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/welsh.lm	(revision 1382)
@@ -0,0 +1,400 @@
+_	 78614
+a	 18113
+d	 17890
+y	 16837
+e	 14108
+n	 13902
+r	 13869
+i	 12928
+o	 9972
+l	 9188
+h	 7454
+g	 7165
+w	 7010
+t	 6296
+f	 6080
+u	 5400
+n_	 5159
+_y	 5051
+dd	 4946
+s	 4884
+r_	 4547
+m	 4364
+d_	 4223
+yn	 4082
+_a	 4020
+c	 3707
+th	 3301
+u_	 2900
+yd	 2900
+ae	 2649
+l_	 2588
+_g	 2547
+.	 2460
+'	 2458
+._	 2408
+wy	 2334
+yn_	 2331
+_d	 2307
+b	 2267
+ym	 2262
+ra	 2261
+an	 2235
+ar	 2228
+ol	 2218
+ia	 2212
+i_	 2199
+ed	 2191
+_yn	 2038
+_i	 2020
+y_	 1983
+_c	 1934
+_yn_	 1861
+ei	 1815
+it	 1796
+g_	 1787
+ith	 1779
+dd_	 1745
+h_	 1741
+ydd	 1731
+ai	 1709
+au	 1708
+'r_	 1655
+'r	 1655
+_y_	 1621
+di	 1615
+,	 1613
+,_	 1608
+da	 1585
+od	 1546
+_o	 1535
+ad	 1532
+th_	 1510
+ll	 1494
+au_	 1492
+_s	 1415
+er	 1359
+o_	 1350
+io	 1311
+a_	 1299
+ol_	 1294
+_e	 1273
+_h	 1249
+cy	 1246
+yr	 1243
+en	 1228
+p	 1217
+_f	 1212
+_cy	 1203
+mr	 1200
+gy	 1193
+ymr	 1185
+ha	 1172
+hy	 1164
+eg	 1159
+do	 1151
+edd	 1147
+G	 1134
+we	 1107
+C	 1089
+_ar	 1078
+_m	 1075
+yf	 1057
+de	 1048
+fe	 1047
+_G	 1045
+ch	 1043
+rae	 1023
+el	 1016
+no	 1010
+ni	 1010
+_b	 1009
+ne	 1001
+ef	 992
+ri	 983
+et	 978
+_C	 957
+_gy	 952
+_a_	 943
+eth	 943
+_.	 940
+_._	 939
+eit	 930
+eith	 927
+ys	 921
+wyd	 912
+ga	 901
+_i_	 893
+s_	 887
+mrae	 878
+mraeg	 878
+raeg	 878
+ymrae	 878
+aeg	 878
+ymra	 878
+mra	 878
+_p	 856
+aet	 850
+aeth	 850
+_n	 844
+un	 838
+on	 836
+ait	 833
+aith	 833
+nn	 830
+at	 827
+oe	 823
+li	 805
+_r	 801
+ddi	 795
+gw	 789
+ma	 783
+le	 777
+nt	 772
+ho	 769
+ff	 766
+yr_	 764
+na	 753
+la	 748
+rh	 747
+eg_	 734
+si	 733
+ng	 732
+dol	 732
+ro	 718
+al	 712
+_dd	 706
+wn	 705
+oed	 705
+Gy	 704
+dy	 701
+Cy	 696
+o'	 692
+ar_	 691
+ny	 690
+Gym	 678
+wr	 677
+id	 676
+_Gy	 672
+_o_	 668
+Gymr	 667
+if	 662
+ith_	 662
+_ar_	 660
+iad	 657
+_w	 657
+fo	 656
+eu	 655
+aeg_	 650
+raeg_	 650
+aith_	 648
+or	 648
+_Gym	 646
+fa	 642
+re	 638
+_Cy	 638
+_Gymr	 635
+_gw	 633
+fy	 633
+oedd	 633
+edd_	 629
+rd	 627
+od_	 622
+ac	 619
+ddo	 612
+an_	 607
+Gymra	 606
+er_	 605
+A	 604
+eth_	 601
+hw	 596
+ydd_	 591
+o'r	 586
+o'r_	 586
+es	 583
+ir	 579
+dw	 573
+go	 559
+yl	 548
+rw	 545
+aeth_	 545
+wydd	 543
+aw	 539
+_rh	 539
+dr	 537
+ly	 537
+fn	 534
+dau	 533
+_hy	 531
+t_	 531
+sg	 529
+'n	 529
+*	 528
+'n_	 523
+_*	 522
+nyd	 521
+nydd	 521
+M	 519
+st	 518
+Y	 516
+sy	 515
+yd_	 513
+lw	 512
+_ga	 508
+iai	 503
+il	 502
+_l	 499
+rt	 494
+ad_	 493
+_yr	 493
+_yr_	 492
+as	 492
+dol_	 492
+f_	 491
+dda	 491
+ig	 490
+og	 484
+wa	 479
+he	 478
+iaith	 477
+iait	 477
+oedd_	 475
+_ma	 473
+c_	 472
+Cym	 470
+te	 469
+_ym	 467
+am	 467
+_M	 465
+_ia	 462
+efn	 462
+i'	 460
+ie	 458
+_Cym	 458
+_ac	 457
+dau_	 456
+yw	 455
+ew	 453
+fr	 441
+fod	 441
+_A	 441
+du	 437
+_sy	 434
+e_	 432
+wi	 426
+Cymr	 426
+se	 425
+B	 424
+D	 424
+_Cymr	 423
+bl	 423
+lu	 420
+in	 417
+_t	 417
+tr	 414
+ac_	 413
+wed	 410
+os	 410
+_iai	 407
+_iait	 407
+el_	 405
+_ac_	 405
+rha	 404
+m_	 404
+is	 403
+on_	 401
+eu_	 393
+hi	 393
+rdd	 393
+id_	 389
+_Y	 388
+ry	 387
+odd	 387
+rwy	 387
+rf	 386
+io_	 380
+ynn	 380
+cyf	 380
+hr	 380
+_cyf	 379
+yddi	 379
+cyn	 372
+_de	 372
+rth	 371
+ru	 368
+S	 363
+wei	 363
+ysg	 362
+_B	 362
+u'	 361
+yddo	 360
+wn_	 360
+so	 359
+dio	 359
+_ei	 358
+N	 356
+dwy	 355
+_da	 353
+me	 353
+gan	 353
+gyf	 353
+w_	 352
+_o'	 351
+fer	 349
+nol	 347
+hyn	 346
+ddy	 346
+af	 346
+ta	 343
+ddol	 343
+_fe	 340
+nd	 340
+mae	 338
+_cyn	 338
+efnyd	 337
+fnydd	 337
+fny	 337
+efny	 337
+fnyd	 337
+iad_	 335
+_mae	 333
+ion	 333
+_ll	 330
+def	 330
+_gyf	 327
+nt_	 326
+i'r_	 326
+-	 326
+i'r	 326
+weith	 325
+weit	 325
+defn	 325
+defny	 325
+bo	 324
+hyd	 323
+by	 322
+_si	 321
+ir_	 321
+hau	 318
+nod	 318
+edi	 315
+I	 314
+fyd	 313
+wyr	 313
+ada	 311
+ddio	 310
+rif	 309
+sia	 307
+sa	 306
+fel	 305
+tha	 305
+_S	 302
+_ne	 302
+_u	 301
+fod_	 300
+_o'r	 300
+yg	 300
+_o'r_	 300
+_i'	 299
+ge	 299
+dia	 299
Index: /trunk/gsdl/perllib/textcat/Other/yiddish-utf.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/Other/yiddish-utf.lm	(revision 1382)
+++ /trunk/gsdl/perllib/textcat/Other/yiddish-utf.lm	(revision 1382)
@@ -0,0 +1,400 @@
+×	 29767
+_	 13552
+_×	 6516
+Ö	 4273
+	 3670
+×	 3670
+×¢	 3261
+¢	 3261
+¢×	 2826
+×¢×	 2826
+×Ö	 2785
+Ö	 2785
+×	 2565
+	 2565
+š	 2082
+×š	 2082
+×	 2062
+××	 2062
+	 1857
+×	 1857
+·	 1828
+Ö·	 1828
+	 1793
+×	 1793
+_×	 1537
+_	 1532
+×_	 1532
+·×	 1527
+Ö·×	 1527
+×Ö·	 1517
+Ö·	 1517
+×š×	 1355
+š×	 1355
+	 1270
+×	 1270
+ž	 1268
+×Öž	 1268
+Öž	 1268
+Öž	 1268
+Ö·×	 1240
+×Ö·×	 1240
+× 	 1232
+ 	 1232
+×Öž×	 1229
+Öž×	 1229
+ž×	 1229
+Öž×	 1229
+× ×	 1181
+ ×	 1181
+×	 1116
+	 1116
+	 1031
+×	 1031
+××	 1012
+×	 1012
+××	 1007
+×	 1007
+××	 975
+×	 975
+××	 965
+×	 965
+×€Ö	 929
+€	 929
+×€	 929
+€Ö	 929
+¢×š	 873
+×¢×š	 873
+××	 870
+×	 870
+×	 868
+	 868
+¡	 832
+×¡	 832
+§	 797
+×§	 797
+_××	 784
+×	 766
+	 766
+_×Ö	 752
+×	 747
+××	 747
+	 742
+×	 742
+©	 725
+×©	 725
+×_	 699
+_	 699
+×°	 691
+°	 691
+×°×	 674
+°×	 674
+²	 667
+×²	 667
+×	 664
+××	 664
+¿	 661
+Ö¿	 661
+×§×	 654
+§×	 654
+¿×	 652
+Ö¿×	 652
+×©×	 651
+©×	 651
+×	 643
+××	 643
+×€Ö¿	 641
+€Ö¿	 641
+×€Ö¿×	 638
+€Ö¿×	 638
+_×Ö·	 638
+×š_	 592
+š_	 592
+_×	 560
+_××	 554
+,	 551
+,_	 534
+×	 517
+	 517
+_×€Ö	 502
+_×€	 502
+××	 472
+×	 472
+×¡×	 436
+¡×	 436
+×Š	 436
+Š	 436
+×Š×	 433
+Š×	 433
+_×°	 430
+_×°×	 429
+	 410
+×	 410
+¢×š_	 404
+_×€Ö¿	 404
+×¢×š_	 404
+_×	 400
+_××	 396
+××¢	 390
+×¢	 390
+_×	 390
+_××	 386
+×¢×	 384
+×¢×	 384
+××¢×	 384
+¢×	 384
+×¢×š×	 382
+¢×š×	 382
+.	 374
+××	 372
+×	 372
+ÖŒ	 366
+Œ	 366
+×	 363
+××	 363
+××	 362
+×××	 362
+_×	 359
+×±	 357
+±	 357
+_××	 356
+××	 349
+×	 349
+×_	 346
+_	 346
+×¢_	 343
+¢_	 343
+×_	 337
+××_	 337
+×¢	 334
+××¢	 334
+_××	 331
+×	 330
+	 330
+×¢×	 323
+Œ×	 323
+××¢×	 323
+ÖŒ×	 323
+²×	 322
+×²×	 322
+×¢×_	 321
+¢×_	 321
+±×	 320
+×±×	 320
+×	 317
+××	 317
+²Ö·	 311
+Ö·×š	 311
+×²Ö	 311
+·×š	 311
+Ö·×š	 311
+×²Ö·	 311
+²Ö	 311
+××¢	 310
+×¢	 310
+._	 307
+-	 305
+·_	 297
+Ö·_	 297
+	 294
+×	 294
+ ×¢	 290
+× ×¢	 290
+×¡_	 289
+¡_	 289
+×€ÖŒ	 288
+€ÖŒ	 288
+×²Ö·×	 287
+²Ö·×	 287
+×_	 283
+_	 283
+Ö·_	 274
+×Ö·_	 274
+Ö·×š×	 272
+·×š×	 272
+××¢×	 261
+×¢×	 261
+_××	 260
+_×	 260
+_×Š	 259
+×©	 257
+××©	 257
+_×Š×	 256
+××	 254
+×	 254
+×€ÖŒ×	 252
+€ÖŒ×	 252
+××¢	 248
+×¢	 248
+_×§	 247
+× ×¢×	 247
+ ×¢×	 247
+××¢	 245
+×¢	 245
+_×§×	 245
+××	 244
+××	 244
+×	 244
+×××	 244
+¢×	 238
+×¢×	 238
+×	 235
+××	 235
+××Ö	 235
+×©×	 235
+©×	 235
+×Ö	 235
+××	 234
+×	 234
+_××	 231
+×¢×š	 231
+_×	 231
+Ö·× 	 229
+·× 	 229
+·× ×	 228
+Ö·× ×	 228
+_××	 227
+_××¢	 226
+	 219
+×	 219
+"	 218
+×¢×	 217
+××¢×	 217
+°×¢	 217
+×°×¢	 217
+·×	 216
+Ö·×	 216
+_××	 215
+_× 	 215
+×¢××	 212
+¢××	 212
+š×	 211
+×š×	 211
+_× ×	 211
+××¢×	 211
+×¢×	 211
+×°×	 210
+°×	 210
+_××¢	 210
+°×Ö	 209
+×°×¢×	 209
+×°×Ö	 209
+°×¢×	 209
+×©×	 208
+××©×	 208
+×§	 207
+××§	 207
+×š×Ö	 206
+š×Ö	 206
+_	 205
+×_	 205
+×	 196
+××	 196
+_×©	 195
+×××	 195
+××	 195
+Ö·×	 193
+_×©×	 191
+Ö¿×	 189
+¿×	 189
+€Ö¿×	 189
+Ö¿×Ö	 188
+¿×	 188
+Ö¿××	 188
+Ö¿×	 188
+¿××	 188
+¿×Ö	 188
+××	 187
+×Öž	 186
+_××	 185
+€Ö¿×	 184
+_×¢	 179
+_××	 178
+×	 176
+××	 176
+××Ö	 175
+×Ö	 175
+Öž×¡	 174
+Öž×¡	 174
+××	 174
+×	 174
+ž×¡	 174
+×_	 173
+_	 173
+×_	 173
+××_	 173
+×_	 171
+·××	 171
+_	 171
+Ö·××	 171
+_×¢×	 171
+Öž×	 169
+ž×	 169
+Öž×	 169
+××	 168
+×	 168
+Öž×š	 166
+××	 166
+Öž×š	 166
+ž×š	 166
+×××	 166
+× ×	 164
+×¢× 	 164
+ ×	 164
+¢× 	 164
+š×	 163
+×š×	 163
+××_	 163
+×_	 163
+°×Öž	 162
+×¢× ×	 162
+¢× ×	 162
+¿×Ö·	 160
+¢×	 160
+×¢×	 160
+_×	 158
+š××	 157
+×š	 157
+×š××	 157
+××š	 157
+-×	 156
+Öž×¡_	 155
+ž×¡_	 155
+×	 154
+_××	 154
+××	 154
+×§×¢	 153
+×× 	 153
+§×¢	 153
+× 	 153
+_×°×	 152
+ ××	 152
+× ××	 152
+×	 151
+××	 151
+××±	 151
+×±	 151
+×Ö	 150
+·×	 150
+Ž	 150
+Ö	 150
+×ÖŽ	 150
+ÖŽ	 150
+ÖŽ	 150
+Ö·×	 150
+ÖŽ×	 149
+ÖŽ×	 149
+Ž×	 149
+×ÖŽ×	 149
+××	 148
+_××	 148
+×××	 148
+×±×	 146
+××±×	 146
+Ö·× 	 146
+_××±	 145
+¿××	 145
+××	 143
+×	 143
+××	 142
+×××	 142
Index: /trunk/gsdl/perllib/textcat/README
===================================================================
--- /trunk/gsdl/perllib/textcat/README	(revision 1381)
+++ /trunk/gsdl/perllib/textcat/README	(revision 1382)
@@ -2,7 +2,11 @@
 Copyright (C) 1997 Gertjan van Noord (vannoord@let.rug.nl)
 
+Only the files in the textcat directory are used; there are some
+other languages in the Other directory.  If you want to recognise
+these languages, move them from Other into the textcat directory.
+
+
 TextCat is available from: http://odur.let.rug.nl/~vannoord/TextCat 
 under the terms of the GNU General Public License version 2.
-
 
 This program is free software; you can redistribute it and/or modify
Index: unk/gsdl/perllib/textcat/afrikaans.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/afrikaans.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 23602
-e	 8036
-a	 4087
-n	 3782
-i	 3726
-o	 3314
-r	 2951
-s	 2885
-t	 2749
-d	 2479
-e_	 2118
-l	 1854
-k	 1741
-ie	 1670
-g	 1601
-n_	 1447
-m	 1440
-_d	 1219
-t_	 1143
-er	 1124
-h	 1124
-u	 1110
-ie_	 1079
-y	 1048
-w	 986
-s_	 982
-_s	 969
-_h	 956
-di	 924
-an	 922
-r_	 912
-aa	 882
-v	 876
-en	 807
-_di	 807
-.	 790
-y_	 747
-_v	 709
-et	 706
-._	 694
-die	 691
-die_	 667
-_n	 666
-_die	 651
-p	 639
-_m	 634
-_die_	 633
-_w	 632
-ee	 607
-ge	 606
-_o	 598
-b	 586
-te	 568
-,	 560
-in	 555
-k_	 550
-_e	 550
-,_	 548
-oo	 516
-et_	 511
-de	 509
-el	 489
-_g	 486
-f	 461
-ar	 451
-ni	 450
-nd	 442
-an_	 440
-en_	 437
-_i	 426
-he	 423
-g_	 418
-_t	 412
-oe	 410
-at	 406
-er_	 400
-om	 381
-wa	 378
-_a	 378
-_b	 377
-_k	 371
-nie	 371
-_he	 370
-aar	 355
-_ge	 351
-es	 351
-_ni	 348
-da	 346
-m_	 342
-ou	 338
-it	 335
-_nie	 335
-d_	 332
-l_	 330
-_wa	 329
-or	 327
-le	 326
-we	 326
-ek	 324
-het	 321
-me	 319
-_het	 319
-is	 318
-j	 315
-at_	 311
-on	 309
-se	 308
-_en	 298
-ma	 294
-st	 291
-as	 280
-va	 277
-_en_	 270
-re	 270
-"	 269
-'	 265
-het_	 261
-_het_	 260
-om_	 254
-al	 252
-ar_	 250
-li	 248
-te_	 247
-aar_	 247
-_da	 245
-u_	 242
-nde	 241
-ou_	 237
-_l	 231
-be	 229
-_'	 226
-rd	 224
-_va	 224
-ig	 223
-ng	 222
-ns	 221
-ve	 220
-it_	 218
-_j	 216
-_me	 216
-sy	 215
-ke	 213
-_sy	 212
-aan	 212
-van	 212
-_in	 210
-is_	 210
-in_	 208
-sy_	 206
-_sy_	 206
-'n	 205
-ro	 205
-ko	 204
-_'n	 203
-ra	 203
-'n_	 203
-_'n_	 202
-so	 202
-D	 202
-ho	 201
-rs	 200
-eer	 200
-ik	 199
-la	 198
-_te	 196
-_van	 196
-_ma	 195
-as_	 194
-ui	 194
-ver	 192
-e.	 192
-der	 191
-to	 188
-op	 187
-van_	 184
-ag	 184
-_ve	 182
-and	 180
-_van_	 178
-ha	 178
-f_	 176
-ka	 176
-ne	 175
-_is	 175
-sk	 174
-e._	 174
-oor	 174
-_ver	 170
-ek_	 170
-_hy	 170
-hy	 170
-p_	 168
-_be	 168
-ri	 168
-ur	 167
-nie_	 165
-_so	 165
-_D	 164
-si	 164
-ll	 164
-no	 164
-_in_	 163
-_hy_	 162
-hy_	 162
-ed	 161
-ers	 160
-_r	 156
-ak	 156
-_ho	 155
-_nie_	 153
-eg	 153
-nt	 152
-de_	 152
-_p	 151
-_we	 148
-_is_	 148
-ei	 147
-es_	 142
-maa	 142
-wee	 142
-na	 141
-nder	 139
-a_	 138
-ing	 138
-ew	 138
-S	 135
-lle	 135
-_om	 135
-_te_	 134
-eu	 134
-ie.	 134
-wo	 132
-em	 132
-wat	 131
-_no	 130
-_"	 130
-vo	 130
-E	 129
-H	 128
-_wat	 127
-ti	 126
-mo	 126
-A	 126
-e,	 126
-_ha	 125
-vi	 125
-el_	 125
-ter	 125
-e,_	 124
-dat	 124
-eer_	 124
-wat_	 124
-le_	 124
-ta	 124
-Di	 123
-dat_	 123
-_wat_	 122
-ie._	 122
-was	 121
-ste	 121
-_H	 121
-_se	 121
-se_	 120
-ul	 120
-al_	 120
-_was	 120
-_om_	 119
-_st	 119
-lik	 118
-"_	 118
-_ko	 118
-_maa	 118
-lo	 117
-_to	 117
-ns_	 115
-aan_	 115
-nie.	 114
-_vi	 114
-met	 114
-_nie.	 111
-nk	 110
-_Di	 110
--	 110
-_op	 109
-_oo	 109
-_on	 108
-ir	 108
-ord	 108
-uit	 106
-ens	 105
-_was_	 105
-was_	 105
-een	 105
-_met	 105
-os	 105
-_S	 104
-nie._	 104
-ig_	 103
-_sk	 102
-op_	 101
-_ek	 101
-_wee	 101
-ir_	 101
-met_	 100
-_met_	 100
-rt	 100
-ik_	 99
-end	 99
-nd_	 99
-gt	 99
-ond	 98
-ot	 98
-_aa	 97
-og	 97
-vir_	 95
-vir	 95
-_ka	 94
-hu	 94
-_mo	 94
-_vir_	 94
-_vir	 94
-_dit	 93
-kr	 93
-am	 93
-ol	 93
-dit	 93
-_ek_	 93
-ki	 93
-sa	 93
-_aan	 92
-man	 92
-jy	 92
-ng_	 92
-aak	 92
-lle_	 91
-_hu	 91
-_na	 91
-_vo	 90
-ewe	 90
-of	 90
-jy_	 90
-_dit_	 90
-dit_	 90
-_jy	 89
-der_	 89
-jo	 89
-_f	 88
-_u	 88
-sie	 87
-_dat	 87
-_jy_	 87
-daa	 87
-do	 87
-vr	 87
-wi	 86
-ry	 86
-_dat_	 86
-eur	 86
-rs_	 85
-_jo	 85
-_wo	 84
-_ne	 84
-jie	 84
-ji	 84
-pe	 83
-moe	 83
-my	 82
-ull	 82
-Die	 81
-maar	 81
-_hom	 81
-ulle	 81
-_maar	 81
-hom	 81
-_uit	 80
-_ui	 80
-ges	 80
-raa	 80
-or_	 80
-ies	 80
-jou	 79
-_la	 79
-maar_	 79
-ulle_	 79
-_daa	 79
-Die_	 79
-daar	 78
-_daar	 78
-ien	 78
-_my	 78
-_jou	 78
-ok	 78
-il	 78
-lik_	 77
-sta	 77
-_Die	 77
-ur_	 77
-ga	 77
-ag_	 77
-kan	 77
Index: unk/gsdl/perllib/textcat/albanian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/albanian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 19480
-ë	 4099
-e	 4082
-t	 3635
-i	 3134
-a	 2893
-r	 2820
-n	 2610
-s	 2380
-h	 2060
-ë_	 2055
-e_	 1825
-j	 1677
-u	 1489
-d	 1381
-o	 1370
-m	 1318
-k	 1264
-të	 1091
-p	 1072
-_t	 1068
-sh	 998
-l	 936
-_n	 876
-a_	 822
-,	 816
-,_	 808
-të_	 795
-i_	 770
-_p	 739
-_m	 702
-_s	 700
-te	 653
-ër	 620
-_d	 613
-_e	 607
-g	 602
-_k	 601
-_të	 593
-.	 575
-_të_	 574
-v	 567
-_e_	 554
-r_	 525
-._	 523
-ht	 503
-n_	 480
-he	 473
-në	 462
-sht	 461
-te_	 457
-q	 454
-nd	 436
-ri	 432
-is	 414
-et	 403
-b	 402
-je	 401
-me	 395
-in	 391
-it	 381
-rë	 374
-_a	 374
-t_	 359
-ur	 353
-_i	 346
-ar	 342
-ës	 339
-er	 338
-në_	 338
-ën	 338
-dh	 337
-en	 336
-pë	 334
-f	 328
-_v	 323
-jë	 318
-nj	 313
-ish	 312
-për	 294
-y	 285
-z	 282
-es	 281
-at	 274
-_me	 273
-_q	 273
-gj	 269
-ra	 261
-as	 258
-_në	 256
-ku	 256
-j_	 250
-ta	 249
-re	 246
-një	 245
-o_	 243
-ni	 243
-_pë	 240
-hte	 240
-_nj	 239
-on	 239
-isht	 236
-pa	 234
-th	 233
-shte	 233
-_për	 232
-se	 228
-_g	 223
-ve	 221
-in_	 220
-s_	 219
-_në_	 219
-do	 218
-hte_	 218
-më	 216
-ti	 215
-aj	 212
-shte_	 212
-ej	 212
-u_	 211
-që	 211
-_sh	 210
-nt	 207
-jë_	 206
-_b	 205
-_një	 203
-di	 202
-_pa	 201
-_i_	 201
-ll	 199
-_f	 199
-kë	 198
-me_	 197
-dhe	 195
-ishte	 195
-si	 194
-hi	 191
-he_	 188
--	 187
-ja	 187
-_që	 187
-ua	 186
-il	 184
-_dh	 184
-ur_	 183
-ër_	 182
-or	 180
-se_	 179
-që_	 178
-S	 176
-ç	 175
-_h	 173
-an	 172
-një_	 172
-ng	 170
-nte	 170
-_që_	 169
-_S	 169
-rë_	 166
-dhe_	 165
-_me_	 164
-ka	 162
-im	 159
-hë	 158
-mi	 157
-to	 156
-tu	 156
-ën_	 155
-_një_	 154
-ha	 153
-nte_	 150
-tr	 148
-sa	 148
-ët	 148
-_gj	 148
-un	 147
-rr	 147
-ë,	 147
-_dhe	 147
-ej_	 147
-ki	 146
-ë,_	 146
-_ku	 145
-_-	 144
-_ng	 142
-ik	 141
-_nd	 140
-end	 138
-uk	 137
-etë	 135
-ko	 135
-_dhe_	 135
-_ve	 132
-va	 131
-_l	 131
-për_	 131
-shi	 131
-erë	 129
-ke	 127
-kis	 127
-së	 126
-jo	 125
-li	 124
-ga	 124
-kish	 123
-_ki	 122
-po	 122
-_se	 122
-'	 121
-du	 120
-mb	 120
-_më	 119
-Si	 115
-më_	 115
-esh	 115
-_si	 114
-qe	 114
-lë	 114
-_kis	 113
-oh	 113
-_kish	 113
-_Si	 113
-pr	 112
-_u	 112
-uar	 111
-de	 111
-hu	 111
-_th	 111
-al	 111
-ta_	 109
-ilv	 108
-Sil	 108
-Silv	 108
-lv	 108
-k_	 108
-e,	 108
-ji	 107
-e,_	 106
-_Sil	 106
-_Silv	 106
-_r	 105
-os	 104
-_se_	 104
-kisht	 102
-_di	 102
-st	 101
-_për_	 101
-bë	 101
-tj	 100
-_nga	 99
-nga	 99
-_du	 98
-ra_	 98
-vë	 98
-gji	 98
-_ish	 96
-rt	 96
-_is	 96
-ro	 95
-ir	 94
-ga_	 94
-ësh	 94
-ont	 93
-c	 93
-t,	 93
-t,_	 93
-hin	 92
-a,	 92
-_at	 92
-und	 92
-jt	 91
-_mb	 91
-a,_	 91
-tje	 90
-_nga_	 90
-_do	 90
-_pr	 90
-rit	 90
-men	 90
-nga_	 90
-ri_	 89
-N	 89
-ma	 89
-it_	 88
-_kë	 88
--_	 88
-m_	 87
-jo_	 87
-onte	 87
-atë	 87
-la	 87
-ëri	 87
-ilva	 86
-shin	 86
-ë.	 86
-Silva	 86
-lva	 86
-së_	 85
-jer	 85
-et_	 85
-_po	 85
-ës_	 84
-kur	 84
-ru	 84
-nin	 83
-ot	 83
-hin_	 83
-_N	 83
-her	 83
-htë	 82
-ap	 82
-shin_	 82
-mo	 81
-ash	 81
-tha	 81
-_ç	 81
-ë._	 81
-ëm	 81
-jit	 80
-_ta	 80
-ul	 80
-le	 80
-ho	 80
-_z	 79
-dr	 78
-jet	 78
-nin_	 78
-_më_	 78
-gjit	 78
-A	 78
-hk	 78
-onte_	 78
-oni	 77
-lo	 77
-ba	 77
-herë	 77
-ndo	 76
-shk	 76
-mend	 75
-_vë	 75
-ha_	 75
-dë	 75
-tur	 74
-_A	 74
-el	 74
-bi	 74
-_ko	 74
-uk_	 73
-erë_	 73
-si_	 73
-_sa	 73
-ar_	 72
-P	 72
-rs	 72
-pas	 72
-ith	 72
-uar_	 71
-_isht	 71
-ai	 70
-e.	 70
-_vet	 70
-vet	 70
-_bë	 70
-zi	 70
-d_	 70
-jith	 70
-da	 70
-gjith	 69
-duk	 69
-na	 69
-hej	 69
-tër	 68
-_men	 68
-_ka	 68
-am	 68
-nd_	 68
-_c	 67
-_pas	 67
-_duk	 67
-jes	 67
-ak	 67
-s,	 67
-e._	 67
-s,_	 67
-K	 67
-ësht	 67
-mu	 66
-kur_	 66
-yr	 66
-em	 65
-_së	 65
-tha_	 65
-imi	 65
-ie	 65
-hej_	 64
-_së_	 64
-_u_	 64
-?	 64
-fu	 64
-_P	 64
Index: unk/gsdl/perllib/textcat/amharic-utf.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/amharic-utf.lm	(revision 1381)
+++ 	(revision )
@@ -1,406 +1,0 @@
-á	 21403
-_	 10092
-	 7734
-á	 6558
-_á	 5003
-	 4717
-	 4401
-á	 4274
-á	 4176
-	 4054
-á	 3868
-	 2728
-	 1656
-á	 1591
-µ	 1579
- 	 1425
- á	 1402
-_á	 1261
-_á	 1231
-š	 1217
-á	 1187
-šá	 1183
-_á	 1160
-	 1145
-á	 1123
-­	 1097
-á	 1043
-	 1043
-°	 1041
-°á	 1004
-_á	 991
-á	 936
-«	 880
-	 855
-á	 855
-¥	 849
-µá	 805
-µ	 783
-áµ	 783
-µ_	 763
-«á	 709
-¥á	 704
- 	 682
-á 	 682
-­á	 679
-	 670
-á	 667
-á á	 666
- á	 666
-á	 658
-	 643
-áš	 637
-š	 637
-šá	 627
-ášá	 627
-á	 614
-	 614
-­	 611
-á­	 611
-_	 588
-µ_	 583
-áµ_	 583
-_áš	 577
-_ášá	 574
-áá	 573
-á	 573
-áá	 570
-á	 570
-á	 563
-	 563
-á	 557
-áá	 557
- 	 554
-á 	 554
-á á	 553
-á°	 553
- á	 553
-°	 553
-á°á	 547
-°á	 547
-á	 534
-	 534
- á	 532
--	 531
-áµ	 525
-µ	 525
---	 521
-á	 515
-	 515
----	 512
-----	 503
-_á 	 499
------	 494
-_á á	 487
-á	 479
-šá	 477
-_	 473
-á	 469
-áá	 469
-á_	 468
-_	 468
-¢	 465
-³	 464
-á«	 457
-«	 457
-°á	 444
-_á 	 424
-_á á	 424
-áµá	 423
-µá	 423
-­_	 415
-³á	 402
-œ	 401
-	 390
-á	 389
-	 382
-_	 378
-á_	 378
-á	 365
-«á	 364
-á«á	 364
-	 363
-áá	 357
-á	 357
-£	 356
-¢_	 351
-œ	 347
-áœ	 347
-	 341
-á	 341
-á­	 337
-¢	 337
-á¢	 337
-­	 337
-¢_	 337
-á¢_	 337
-á	 336
-
-	 334
-¥	 320
-á¥	 320
-£á	 320
-á	 320
-¥á	 318
-á¥á	 318
-­_	 314
-á­_	 314
-á	 312
-á	 311
-šá	 301
-á	 300
-á	 300
-	 300
-	 300
- á	 299
-á	 297
-á­á	 294
-	 294
-á	 294
-­á	 294
-	 293
-á	 291
-áš	 291
-á	 291
-á	 291
-š	 291
-áá	 291
-áá	 291
-áá	 291
-á°	 288
-°	 288
-_á¥	 285
-_á¥á	 283
-®	 279
-šá	 279
-ášá	 279
- á	 279
-á á	 279
-áá	 276
-á	 276
-á	 276
-_á	 272
-¥	 270
-á¥	 270
-_	 269
-áá	 264
-á	 264
-á	 262
-¥á	 262
-áá	 262
-¥á	 262
-á­á	 261
-­á	 261
-	 260
-á	 260
-á°á	 259
-°á	 259
-á«	 254
-£	 254
-á£	 254
-«	 254
-	 253
-®á	 249
-á	 247
-á	 245
-µá	 244
-á	 242
-	 242
-ášá	 242
-šá	 242
-áá	 238
-á	 238
- á	 237
-áš	 237
-š	 237
-°á	 236
-á°á	 236
-á_	 235
-_	 235
-á	 234
-­á	 233
-«á	 233
-£á	 230
-	 230
-á£á	 230
-á	 230
-áµ	 228
-µ	 228
-_á	 227
-á	 227
-_áá	 226
-šá	 225
-ášá	 225
-²	 225
-á¢	 222
-á¢_	 222
- á	 216
-á¥á	 214
-áá	 214
-¥á	 214
-á	 214
-
-á	 213
-²á	 212
-«á	 210
-á	 209
-áá	 209
-©	 208
-á	 207
-á	 206
-œ_	 206
-¥á	 205
-á¥á	 205
-á	 202
-°	 200
-á³	 200
-³	 200
-á°	 200
-«á	 199
-á«á	 199
-á°á	 198
-°á	 198
-áµá	 195
-á	 195
-µá	 195
-	 195
-á	 194
-áá	 194
-œá	 191
-	 191
-œ_	 189
-áœ_	 189
-á	 188
-žá	 186
-ž	 186
-_á	 184
-_áá	 183
-áá	 183
-á	 183
-¥á	 180
-šá	 179
-ášá	 179
-á	 178
-±	 177
-¥áá	 177
-_áš	 175
-¥	 174
-á¥	 174
- á	 172
-á á	 172
-_ášá	 170
-	 170
-«_	 169
-¥á	 169
-á	 166
-°á	 166
-áá	 165
-_	 165
-á	 165
-á_	 163
-_	 163
-ž	 160
-áž	 160
-ážá	 160
-žá	 160
-á	 160
-šá	 159
-žá	 159
-	 158
-á	 158
-­á	 158
-£á	 156
-áá	 155
-á	 155
-áœá	 154
-žá	 154
-á_	 154
-œá	 154
-žá	 154
-ážá	 154
-_	 154
-µá	 152
-³á	 151
-žá	 151
-á	 150
-_á	 150
-¶	 150
-_áá	 150
-	 150
-_á­á	 150
-_á­	 150
-³á	 149
-á³á	 149
-á¢	 148
- á	 147
-á°á	 147
-°á	 147
-á á	 147
-	 146
-_á°	 146
-_á°á	 146
-áá	 145
-á	 145
-áµá	 144
-µá	 144
-á	 144
-µá	 144
-á
-	 143
-
-	 143
-¥_	 143
-áá	 142
-á	 142
-³	 141
-á³	 141
-á	 139
-á
-	 138
-
-	 138
-á	 137
-áá	 137
-«á	 137
-á	 136
-á	 136
-á á	 135
- á	 135
-á	 135
-áµá	 134
-µá	 134
-á 	 133
-á³á	 133
- 	 133
-áá	 133
-á	 133
-á	 133
-³á	 133
-	 133
-áá	 132
-á	 132
-šá°	 131
-á«á	 131
-šá°á	 131
-«á	 131
-á	 129
-µá	 128
-­	 128
-á­	 128
-á	 128
-	 128
-°á	 127
- á	 127
-á á	 127
-«	 126
-á«	 126
-á	 124
-á á	 123
-°á	 123
-á«á	 123
-«á	 123
- á	 123
-šá	 122
-ášá	 122
-á	 121
-áá	 121
Index: unk/gsdl/perllib/textcat/arabic-iso8859_6.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/arabic-iso8859_6.lm	(revision 1381)
+++ 	(revision )
@@ -1,434 +1,0 @@
-_	 9692
-Ø	 7361
-Ù	 6120
-Ø§	 2417
-§	 2417
-_Ø	 1691
-Ù	 1587
-	 1587
-Ø§Ù	 1415
-§Ù	 1415
-Ç	 1241
-_Ù	 1129
-_Ø§	 987
-§Ù	 978
-Ø§Ù	 978
-ä	 952
-_Ø§Ù	 894
-Ù
-	 869
-
-	 869
-ÙØ	 801
-Ø	 801
-	 798
-Ù	 798
-_Ø§Ù	 771
-ª	 757
-Øª	 757
-Ø§Ø	 738
-§Ø	 738
-Ù	 680
-	 680
-Ù	 659
-	 659
-è	 622
-ÙÙ	 619
-Ù	 619
-§ÙØ	 574
-Ø§ÙØ	 574
-¹	 547
-Ø¹	 547
-Ø±	 541
-±	 541
-ê	 527
-©	 512
-Ø©	 512
-
-Ø	 504
-Ù
-Ø	 504
-æ	 496
-Çä	 492
-Øš	 490
-š	 490
-Ø©_	 482
-©_	 482
-å	 477
-_Ç	 470
-Ø	 461
-ÙØ	 461
-.	 430
-_Çä	 405
-§ÙÙ	 352
-Ø§ÙÙ	 352
-Ù	 350
-	 350
-È	 340
-Ø¯	 339
-¯	 339
-ØªØ	 334
-ªØ	 334
-Ñ	 324
-	 314
-Ù	 314
-ç	 302
-_Ù	 289
-
-Ù	 278
-Ù
-Ù	 278
-ÙØ	 276
-Ø	 276
-Ø¹Ù	 270
-¹Ù	 270
-Ê	 267
-ÙÙ	 263
-Ù	 263
-Ù_	 262
-_	 262
-_Ù
-	 259
-	 258
-Ù	 258
-³	 258
-Ø³	 258
-ÙØ§	 258
-Ø§	 258
-æ_	 257
-ØšØ	 252
-šØ	 252
-Ø	 252
-ÙØ	 252
-¬	 252
-§_	 250
-Ø§_	 250
-Ï	 242
-_è	 235
-Øª_	 226
-ª_	 226
-._	 223
-±Ù	 213
-Ø±Ù	 213
-§Øª	 206
-Ø§Øª	 206
-­	 202
-Ø­	 202
-Ç_	 200
-±Ø	 199
-Ø±Ø	 199
-á	 199
-¹Ø	 198
-Ø¹Ø	 198
-šÙ	 196
-ØšÙ	 196
-ÙØ	 193
-Ø	 193
-ØªÙ	 191
-ÙÙ
-	 191
-ªÙ	 191
-Ù
-	 191
-..	 188
-Ù	 184
-	 184
-Ø¬	 183
-Ø§Ù	 180
-§Ù	 180
-§ÙØ§	 178
-_	 176
-ÙØ©	 176
-Ø©	 176
-Ù_	 176
-ã	 175
-ÙÙ	 175
-Ù	 175
-_Øš	 171
-Ì	 171
-§ÙÙ
-	 170
-Ã	 166
-_	 165
-Ù_	 165
-ÙØ	 163
-_Ù	 163
-Ø	 163
-Ž	 162
-ØŽ	 162
-Ù_	 162
-_	 162
-Ù	 161
-ÙÙ	 161
-É	 160
-â	 159
-ÙØ©_	 158
-Ø©_	 158
-	 155
-Ù	 155
-Ø³Ø	 153
-³Ø	 153
-Ù_	 150
-_	 150
-Í	 150
-Ó	 148
-§Øª_	 147
-Ø§Øª_	 147
-µ	 144
-_å	 144
-Øµ	 144
-ç_	 142
-Ù
-Ø	 139
-ÙÙ
-Ø	 139
-_ÙÙ	 136
-_Ù
-Ù	 133
-Ù
-Ø§	 130
-_ØšØ	 130
-
-Ø§	 130
-ØŽØ	 129
-ŽØ	 129
-_Ù_	 129
-¯Ø	 128
-Ø¯Ø	 128
-É_	 127
-äÇ	 127
-_Ù
-Ø	 126
-Ø±_	 124
-±_	 124
-Ø¹Ù	 123
-¹Ù	 123
-ÙÙ	 122
-Ù	 122
-ÙØ	 121
-_È	 121
-Ø	 121
-­Ø	 119
-Ø­Ø	 119
-ÙØ§Ù	 118
-Ø§Ù	 118
-ò	 117
-ê_	 117
-_Ø¹	 117
-î	 116
-Ù	 115
-_Øª	 115
-ÙÙ	 115
-äå	 113
-¯Ù	 113
-Ø¯Ù	 113
-
-Ù	 111
-Ù
-Ø¹	 111
-
-Ø¹	 111
-Ù
-Ù	 111
-Ø¹ÙÙ	 110
-¹ÙÙ	 110
-_Ã	 109
-_Ù	 108
-ÙÙ	 108
-Ù	 108
-Ù_	 102
-ÙØ§	 102
-ÙØ§Ø	 102
-Ø§Ø	 102
-ÙÙ_	 102
-Ø§	 102
-®	 101
-¬Ø	 101
-Ø®	 101
-_ÙØ	 100
-Ø¬Ø	 100
-_ÙÙ	 99
-ÙØ	 99
-Ø	 99
-Ð	 98
-¯_	 97
-Ø§Ù
-	 97
-§Ù
-	 97
-Ø¯_	 97
-...	 94
-_Ù
-Ù	 94
-šØ§	 93
-·	 93
-ØšØ§	 93
-_Ø§Ø	 93
-Ø·	 93
-Ø§	 92
-ï	 92
-ÙØ§	 92
-ÙØª	 91
-Øª	 91
-ä_	 90
-Çæ	 89
-_á	 89
-Ï_	 88
-èÇ	 87
-_Ø¹Ù	 87
-ÙÙ	 85
-Ù	 85
-èä	 84
-Ø°	 84
-
-Ù_	 84
-Ø³Ù	 84
-³Ù	 84
-Ù_	 84
-°	 84
-ÙÙ_	 84
-Ù
-Ù_	 84
-Çäå	 84
--	 83
-®Ø	 83
-Ø®Ø	 83
-_ä	 82
-
-_	 82
-§Ø³	 82
-Ø§Ø³	 82
-Ù
-_	 82
-_Çäå	 81
-Ù
-	 80
-é	 80
-ÙÙ
-	 80
-é_	 79
-Ø§ÙØ	 79
-§ÙØ	 79
-¹_	 78
-±Ø§	 78
-¹Ø§	 78
-Ø¹Ø§	 78
-§Ø±	 78
-ÙØ§_	 78
-Ø¹_	 78
-¬_	 78
-Ø§_	 78
-Ø±Ø§	 78
-Ø§Ø±	 78
-µØ	 78
-ØµØ	 78
-.._	 77
-Ø£	 77
-..._	 77
-£	 77
-Ô	 77
-Ù	 76
-ÙÙ	 76
-ªØ±	 75
-ØªØ±	 75
-«	 74
-ÙÙ	 73
-Ø§Ù_	 73
-Ø¶	 73
-Ø«	 73
-¬Ù	 73
-Ø¬Ù	 73
-¶	 73
-§Ù_	 73
-Ù	 73
-Ù
-Ø¹Ù	 72
-
-Ø¹Ù	 72
-åæ	 71
-èÌ	 70
-Ø§	 70
-ÙØ§	 70
-­Ù	 69
-î_	 69
-Ø­Ù	 69
-êæ	 69
-Øª	 68
-ÙØª	 68
-Ø§	 68
-Ùä	 68
-_ØªØ	 68
-ÙØ§	 68
-_ê	 67
-Ë	 66
-ò.	 66
-èÏ	 66
-_¬_	 65
-³Øª	 65
-äè	 65
-Ø³Øª	 65
-_¬	 65
-Ìè	 65
-ð	 64
-ÙÙ
-Ø	 64
-áê	 64
-Ù
-Ø	 64
-èæ	 63
-Ø§Ø³Ø	 63
-Õ	 63
-§Ø³Ø	 63
-Ñ_	 62
--_	 62
-ÇÊ	 61
-_-	 61
-Ù	 61
-ÙÙ	 61
-_Ø§Ù	 61
-åÇ	 61
-å_	 61
-äé_	 60
-§Ø¯	 60
-_ÙÙ	 60
-èÌè	 60
-Ö	 60
-Ø§Ø¯	 60
-äé	 60
-ØªØ	 59
-ÌèÏ	 59
-_-_	 59
-_Ø¹Ù	 59
-ÙØªØ	 59
-èÌèÏ	 58
-ÙÙ	 58
-²	 58
-Ø¬Ø§	 58
-Ù	 58
-Øš	 58
-ÙØš	 58
-_Ù	 58
-_åæ	 58
-Ø²	 58
-_ÙØ	 58
-¬Ø§	 58
-Ø§	 57
-§ÙØª	 57
-Ù	 57
-ÙØ§	 57
-ÙÙ	 57
-ò..	 56
-ØŽØš	 56
-ò..._	 56
-ŽØš	 56
-Çæ_	 56
-ò...	 56
-šÙ	 56
-ØšÙ	 56
-ØªØ¹	 55
-Ø¹Ù
-	 55
-¹ÙÙ	 55
-_Ù	 55
-ªØ¹	 55
-_._	 55
Index: unk/gsdl/perllib/textcat/armenian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/armenian.lm	(revision 1381)
+++ 	(revision )
@@ -1,402 +1,0 @@
-_	 49002
-³	 12626
-	 9480
-Ý	 8485
-ñ	 7623
-ï	 7071
-á	 7010
-»	 6370
-«	 6320
-¯	 5012
-ó	 4656
-	 4607
-õ	 4506
-Ç	 4210
-í	 3775
-áõ	 3655
-Ù	 3369
-ë	 3320
-	 3208
-Ï	 3016
-¯ó	 2832
-³Ý	 2755
-Û	 2552
-§	 2519
-,	 2502
-,_	 2492
-Ý_	 2177
-«	 2099
-	 2034
-é	 2007
-©	 1918
-»ñ	 1748
-³ñ	 1703
-Ñ	 1605
-«_	 1587
-É	 1558
-ã	 1528
-Ï³	 1502
-:	 1483
-:_	 1482
-ù	 1420
-_³	 1403
-ñ_	 1382
-Ç_	 1335
-Ã	 1307
-Á	 1294
-Ý»	 1281
-	 1274
-¹	 1264
-ï	 1229
-å	 1218
-ï	 1184
-÷	 1170
-³Ï	 1154
-_á	 1139
-³Û	 1130
-_Ñ	 1121
-	 1085
-	 1065
-_	 1046
-_»	 1036
-áñ	 1019
-	 1017
-õÙ	 1001
-áõÙ	 993
-ÇÝ	 987
-ï_	 964
-	 962
-_Ù	 961
-ñ³	 952
-Ù³	 951
-_	 945
-	 941
-	 938
-Ñ³	 934
-Õ	 929
-Ý»ñ	 919
-¯ï	 918
-·	 915
-ó_	 911
-»Ý	 910
-Ý³	 910
-³Ý_	 882
-«	 863
-«	 846
-ç	 834
-	 827
-©	 824
-¿	 818
-ÃÛ	 817
-õÃ	 804
-áõÃ	 804
-_	 791
-õÃÛ	 787
-áõÃÛ	 787
-£	 781
-õÝ	 753
-_¯	 750
-Ù_	 748
-_	 747
-ï	 747
-áõÝ	 744
-_¿	 732
-ñá	 730
-«	 723
-ó§	 710
-õ_	 710
-¯ó§	 709
-_Ñ³	 708
-_Ï	 705
-ï³	 703
-µ	 702
-	 697
-	 695
-§_	 684
-_§	 683
-ñÇ	 682
-
-	 672
-³Ï³	 671
-Ûá	 669
-»É	 666
-ó	 659
-ß	 659
-Í	 658
-¯ó	 658
-Ë	 653
-©	 649
-ó©	 641
-¯ó©	 641
-ó«	 640
-Ûáõ	 636
-»õ	 635
-¯ó«	 631
-_ã	 626
-	 623
-Û³	 620
-ë_	 616
-_	 615
-õÙ_	 614
-áõÙ_	 613
-Ýá	 601
-Ï³Ý	 597
-«	 596
-«_	 590
-³Ù	 590
-§	 582
-Á_	 581
-«ï	 576
-³ï	 574
-í³	 574
-	 566
-í	 564
-	 555
-_í	 532
-©¯	 527
-Ýù	 527
-©	 526
-_	 524
-©¯ó	 517
-_Ç	 511
-ï	 510
-_	 507
-§	 500
-í	 500
-ÛáõÝ	 497
-ï¯	 496
-œ	 488
-	 485
-³í	 480
-_	 480
-ó§_	 478
-¯ó§_	 477
-«¯	 476
-ÃÛá	 475
-ÃÛáõ	 475
-³Ï³Ý	 473
-_Ý	 469
-É_	 466
-­	 465
-»ñÇ	 465
-ÃÛáõÝ	 464
-_ë	 463
-õÃÛá	 459
-õÃÛáõ	 459
-áõÃÛá	 459
-Ýáõ	 454
-	 449
-_áñ	 449
-ñ»	 444
-_³Û	 442
-_	 431
-Ù»	 428
-í_	 427
-_Ï³	 422
-	 422
-©¯ó«	 421
-»õ_	 416
-ó	 416
-_¯ï	 415
-³ë	 414
-_	 413
-å³	 408
-©¯	 405
-©¯ó	 405
-ÇÝ_	 404
-©¯ó«	 400
-ó©¯	 399
-¯ó©¯	 399
-ó©¯ó	 399
-ñÇ_	 398
-¿_	 395
-Û³Ý	 394
-áñ_	 387
--	 385
-ñáõ	 383
-«	 382
-é	 380
-ù_	 379
-ã	 377
-«¯ó	 377
-é_	 377
-áí	 376
-Ý»ñÇ	 374
-ëï	 371
-©«	 371
-»Ý_	 371
-_¹	 371
-ï	 370
-ë	 368
-³	 367
-_¿_	 366
-íá	 363
-í»	 361
-ï»	 358
-.	 357
-ÙÇ	 356
-_å	 351
-¡	 347
-_»õ	 345
-ÃÛ³	 342
-³é	 341
-_µ	 341
-_«	 340
-Ï³Ý_	 339
-ñÁ	 338
-_ï	 337
-_	 331
-¯ï_	 330
-õÃÛ³	 328
-áõÃÛ³	 328
-ÝÇ	 328
-ï	 327
-«_	 324
-_»Ý	 324
-¯£	 324
-_»õ_	 322
-Éá	 321
-»ñÇ_	 321
-_Ù»	 318
-µ³	 317
-áÕ	 317
-Ù³Ý	 316
-_·	 314
-ÝÝ	 314
-å»	 309
-_©	 309
-³Ï³Ý_	 307
-ë	 306
-»ï	 306
-_÷	 303
-ÛÝ	 302
-«÷	 302
-¹³	 302
-Çñ	 300
-¯	 299
-ÃÛ³Ý	 299
-³Ýá	 299
-_	 299
-__	 299
-Ïá	 298
-«	 298
-ñ¹	 297
-_	 294
-_áõ	 293
-_	 292
-ïá	 291
-³ó	 291
-õÃÛ³Ý	 288
-»Õ	 288
-»ë	 287
-áõ_	 286
-_
-	 286
-²	 284
-ë	 284
-¯ë	 284
-Ë³	 283
-Å	 283
-ó_	 281
-«_	 281
-Û³Ý_	 281
-`	 280
-ñ	 279
-`_	 279
-«	 279
-³Ù³	 278
-»É_	 274
-³Í	 271
-Ó	 268
-_Ù³	 266
-ç	 266
-§	 266
-ÉÇ	 266
-Ý»ñÇ_	 266
-í	 264
-Ý,	 263
-§	 263
-³_	 262
-ë¯	 262
-Ý,_	 262
-««	 259
-ÝÁ	 258
-_	 258
-Ï»	 257
-»ñÁ	 257
-Ï_	 255
-ï¯ó	 255
-_ù	 255
-_áñ_	 255
-ï	 255
-ñÏ	 253
-ÝÝ»	 252
-»ñ_	 252
-	 250
-ù³	 248
-ÝÝ»ñ	 248
-_¯ï_	 247
-Ý¹	 246
-Ýù_	 246
-	 245
-ï	 244
-³Ñ	 244
-«ï	 244
-©	 244
-»ó	 243
-ÃÛ³Ý_	 243
-ó©	 242
-¯ó©	 242
-	 241
-¯	 239
-³ñ³	 238
-ï_	 238
-³Ý³	 237
-«	 237
-í	 237
-·á	 237
-_é	 236
-ÝáõÙ	 234
-³É	 234
-«_	 233
-÷_	 233
-Ù³ñ	 233
-ë³	 232
-³Ýáõ	 232
-«	 231
-×	 230
-é	 230
-«¯	 230
-_ó	 228
-³ÛÝ	 228
-©«	 228
-Ã»	 227
-»Ýù	 227
-_ÙÇ	 226
-Ý³Ï	 223
-«_	 223
-_-	 222
-»Ï	 222
-¯ó_	 222
-éí	 220
-_Ã	 220
-_³Ý	 218
-Ï³ñ	 217
-©«	 216
-_ã	 216
-§	 216
-	 215
-	 215
-ó©«	 214
-í¯	 214
-_¯ó	 213
-û	 213
-	 213
-÷	 212
-Ñ³Ù	 211
-ï	 210
-³œ	 210
-_ó_	 210
-_«	 209
-ïí	 209
-_»Ý_	 208
Index: unk/gsdl/perllib/textcat/basque.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/basque.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 12114
-a	 5537
-e	 4040
-i	 3103
-t	 2567
-n	 2474
-r	 2406
-o	 1937
-k	 1761
-z	 1627
-u	 1561
-d	 1367
-l	 1075
-s	 1048
-b	 995
-n_	 958
-a_	 957
-en	 802
-g	 772
-_e	 736
-er	 680
-ra	 669
-.	 625
-at	 610
-_b	 594
-ar	 589
-an	 585
-_d	 580
-,	 569
-,_	 569
-h	 563
-ta	 563
-te	 555
-._	 520
-ko	 513
-m	 503
-o_	 486
-al	 481
-en_	 471
-tz	 458
-re	 435
-_a	 423
-ik	 416
-in	 409
-it	 392
-za	 391
-ak	 388
-ba	 358
-et	 357
-da	 352
-di	 351
-ka	 350
-ze	 349
-ai	 347
-p	 340
-ri	 335
-la	 329
-an_	 327
-de	 322
-ez	 318
-na	 314
-ti	 307
-be	 305
-i_	 302
-iz	 294
-k_	 293
-tu	 289
-eta	 287
-(	 280
-)	 280
-_i	 279
-or	 276
-_(	 270
-ko_	 269
-ek	 265
-rr	 264
-_h	 263
-e_	 260
-es	 260
-_ba	 258
-nt	 258
-ha	 255
-_g	 247
-era	 246
-ia	 240
-_be	 234
-oa	 229
-un	 229
-ta_	 218
-ma	 212
-on	 211
-z_	 209
-du	 207
-(_	 205
-_(_	 205
-:	 204
-tze	 204
-:_	 204
-us	 191
-u_	 191
-_da	 188
-ren	 183
-az	 183
-_)	 183
-ur	 182
-st	 182
-ea	 181
-_et	 181
-eta_	 179
-zi	 178
-si	 177
-zen	 177
-as	 176
-_n	 175
-go	 175
-_eta	 172
-il	 169
-tik	 169
-_z	 167
-_eta_	 167
-ne	 167
-bi	 166
-zk	 166
-sk	 165
-ag	 163
-t_	 162
-le	 160
-rt	 160
-ke	 158
--	 150
-gu	 148
-au	 148
-tza	 147
-_de	 147
-ati	 146
-ut	 146
-A	 145
-li	 145
-hi	 145
-E	 144
-bat	 144
-_o	 143
-a,	 142
-a,_	 142
-_m	 141
-ntz	 141
-ad	 140
-ren_	 139
-_er	 138
-io	 138
-)_	 138
-_ez	 138
-ir	 137
-eh	 137
-ab	 135
-ate	 135
-ak_	 134
-sa	 134
-ra_	 134
-_bat	 133
-nd	 133
-_l	 133
-ki	 132
-ere	 131
-ika	 125
-ku	 125
-f	 124
-ga	 123
-ld	 122
-_di	 121
-arr	 120
-el	 120
-eg	 119
-uz	 119
-are	 116
-ng	 116
-os	 116
-_E	 115
-gi	 113
-_p	 113
-_du	 113
-mo	 113
-zen_	 112
-ib	 111
-_k	 110
-ber	 109
-ako	 108
-_iz	 107
-iza	 107
-ala	 107
-itz	 107
-har	 106
-eko	 106
-adi	 105
-l_	 105
-ie	 105
-ste	 105
-atu	 104
-am	 104
-ska	 104
-ah	 104
-_.	 104
-r_	 104
-zt	 103
-rri	 103
-ait	 103
-ua	 103
-tzen	 103
-ald	 103
-usk	 102
-aren	 102
-_._	 102
-ro	 102
-id	 100
-la_	 99
-_s	 98
-ue	 98
-tek	 97
-uska	 97
-atz	 96
-aren_	 96
-_ha	 95
-rre	 95
-"	 94
-atik	 94
-tzen_	 94
-ara	 94
-in_	 93
-ni	 93
-j	 92
-ge	 91
-ez_	 91
-ain	 91
-od	 91
-no	 91
-na_	 91
-ri_	 90
-tan	 90
-mat	 90
-do	 89
-_mo	 88
-ho	 88
-iko	 88
-beh	 88
-_ad	 88
-al_	 87
-_iza	 87
-I	 87
-zan	 87
-_ze	 87
-_adi	 87
-_A	 86
-uk	 86
-eha	 85
-dit	 85
-ru	 85
-pe	 85
-eko_	 84
-ela	 84
-ed	 84
-kar	 84
-n,_	 83
-ari	 83
-bil	 83
-_beh	 83
-bai	 83
-tu_	 83
-n,	 83
-ehar	 83
-_izan	 82
-itu	 82
-_ho	 82
-is	 82
-ean	 82
-ama	 82
-izan	 82
-_)_	 81
-ik_	 81
-B	 80
-koa	 80
-ot	 80
-_na	 79
-zu	 79
-beha	 78
-behar	 78
-_t	 78
-H	 78
-_ko	 78
-dir	 77
-mati	 76
-_j	 75
-at_	 75
-em	 74
-tika	 74
-K	 74
-_B	 74
-zte	 74
-ten	 74
-_beha	 74
-ter	 74
-matik	 73
-egi	 73
-_dir	 73
-a.	 72
-ago	 72
-kal	 72
-ram	 72
-ena	 72
-unt	 71
-lt	 71
-_H	 71
-su	 71
-mod	 71
-bo	 71
-G	 70
-_ber	 70
-lde	 70
-c	 69
-te_	 69
-ar_	 69
-me	 69
-ina	 69
-dal	 69
-ako_	 68
-L	 68
-rik	 68
-a._	 68
-ori	 68
-ite	 68
-raz	 67
-alde	 67
-)._	 67
-).	 67
-zio	 66
-_ez_	 66
-tan_	 66
-amat	 66
-atika	 66
-est	 66
-ntza	 65
-dut	 65
-izk	 65
-_ga	 65
-ia_	 65
-s_	 65
-ita	 65
-tea	 64
-ei	 64
-hal	 64
-_mod	 64
-pa	 64
-bu	 64
-re_	 63
-eu	 63
-ert	 63
-oa_	 63
-_era	 63
-ten_	 63
-_G	 63
-_eg	 63
-rama	 63
-odal	 63
-ramat	 63
-oda	 63
-amati	 62
-atze	 62
-gr	 62
-untz	 62
-eza	 62
-gra	 62
-_ge	 61
-gram	 61
-kat	 61
-abi	 61
-_gr	 60
-_gram	 60
-_gra	 60
-int	 60
-rd	 60
-_in	 60
-k,	 59
-_hi	 59
-zko	 59
-k,_	 59
-pr	 59
-rab	 59
-da_	 59
-ide	 58
-_)._	 57
-tat	 57
-ing	 57
-ira	 57
-tak	 57
-x	 57
-_).	 57
-_ed	 57
-_es	 57
-_bi	 57
-rak	 56
-_-	 56
Index: unk/gsdl/perllib/textcat/belarus-windows1251.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/belarus-windows1251.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 9440
-à	 4377
-í	 1855
-i	 1544
-ð	 1436
-ó	 1345
-ê	 1246
-û	 1233
-å	 1215
-ñ	 1093
-ë	 1090
-ò	 1050
-ÿ	 934
-ä	 860
-î	 811
-â	 792
-à_	 740
-ì	 724
-ç	 699
-ö	 643
-íà	 589
-ï	 580
-ã	 531
-.	 480
-êà	 467
-ðà	 458
-ó_	 432
-i_	 430
-._	 418
-,	 402
-,_	 402
-á	 391
-àð	 373
-òà	 361
-÷	 350
-âà	 340
-ü	 335
-àë	 330
-ý	 329
-_ï	 328
-àí	 315
-ëà	 307
-ÿ_	 306
-_ñ	 305
-û_	 296
-àä	 279
-é	 279
-_ó	 274
-ðû	 271
-ø	 269
-ãà	 250
-å_	 247
-õ	 244
-_í	 240
-_ç	 236
-_à	 221
-ñò	 221
-íû	 220
-ëi	 218
-äà	 210
-àâ	 203
-_ê	 199
-ñê	 197
-ïà	 195
-_ó_	 194
-äç	 193
-íi	 193
-àì	 192
-_ã	 190
-êi	 190
-_i	 189
-àñ	 187
-çå	 185
-_ä	 179
-é_	 178
-àó	 176
-àã	 174
-þ	 171
-_íà	 169
-ëü	 167
-_â	 166
-íà_	 166
-ëå	 162
-_ì	 161
-àé	 160
-ií	 158
-ì_	 154
-æ	 154
-òû	 154
-ðó	 151
-ïð	 151
-_á	 149
-iê	 148
-ûÿ	 147
-çà	 146
-åð	 145
-ðî	 142
-àê	 141
-óñ	 140
-_i_	 140
-ü_	 140
-"	 137
-åí	 135
-àö	 135
-êó	 131
-ìà	 129
-_ïà	 129
-õ_	 126
-äçå	 126
-àç	 125
-íå	 125
-íí	 123
-_ò	 122
-àò	 122
-ãà_	 121
-àãà	 120
-_ïð	 120
-åë	 120
-àâà	 119
-À	 119
-ûì	 116
--	 113
-âå	 112
-âû	 112
-ñà	 112
-àé_	 111
-öû	 109
-öü	 109
-_À	 107
-ìi	 106
-àãà_	 105
-îð	 103
-öü_	 102
-Ì	 101
-_êà	 100
-_Ì	 100
-_ÿ	 99
-ëÿ	 99
-íÿ	 98
-íñ	 96
-Â	 95
-ñÿ	 94
-òð	 94
-âi	 92
-ãî	 92
-ç_	 91
-ñêà	 91
-öà	 91
-òó	 91
-àá	 91
-àëà	 90
-÷à	 88
-òî	 88
-íû_	 87
-ñòà	 87
-î_	 87
-_ð	 86
-ÿê	 84
-öö	 84
-iêà	 83
-îó	 83
-ñâ	 83
-àÿ	 83
-÷û	 82
-ïðà	 81
-_çà	 79
-ûí	 79
-åò	 79
-ìå	 79
-ÿí	 79
-âÿ	 79
-_ç_	 78
-ëi_	 78
-ûÿ_	 78
-ðóñ	 77
-êi_	 75
-îä	 74
-_ãà	 74
-i÷	 74
-åö	 73
-íñê	 73
-åëà	 72
-àíà	 72
-âàí	 72
-äð	 72
-ô	 71
-óí	 71
-ðí	 71
-àðó	 71
-àó_	 70
-àå	 70
-àëå	 70
-_íà_	 70
-àëi	 69
-iì	 68
-Ï	 68
-à.	 68
-îë	 68
-òâ	 68
-_àä	 68
-ûì_	 67
-àÿ_	 67
-ëàð	 67
-ööà	 67
-ñï	 67
-_"	 67
-îí	 67
-i,	 67
-à._	 67
-àðóñ	 67
-i,_	 67
-åëàðó	 66
-öi	 66
-óä	 66
-àðà	 66
-ëàðóñ	 66
-ëàðó	 66
-ïå	 66
-åëàð	 66
-_ø	 65
-àäç	 65
-êò	 65
-Í	 65
-_äà	 65
-òà_	 65
-Á	 64
-_Â	 64
-ðàä	 64
-íàã	 64
-_ñò	 64
-øû	 63
-íê	 63
-üí	 63
-óð	 62
-ëüí	 62
-_Ï	 62
-çi	 62
-óë	 62
-ëà_	 62
-ðý	 62
-iö	 62
-òàð	 62
-óê	 61
-û,	 61
-ñö	 61
-_Í	 61
-û,_	 61
-àõ	 61
-êàë	 60
-iñ	 60
-ð_	 60
-öà_	 60
-I	 59
-îâ	 59
-íàãà	 59
-_I	 59
-_Á	 59
-ûõ	 59
-Ê	 59
-_ïðà	 59
-äí	 59
-óñê	 59
-ië	 59
-íå_	 59
-ó.	 59
-_ñâ	 58
-ó._	 58
-ä_	 57
-êî	 57
-áå	 57
-ñi	 57
-çå_	 57
-êð	 57
-ýí	 56
-àâàí	 56
-àðû	 56
-ïi	 56
-åä	 56
-äçå_	 55
-_âû	 55
-íàãà_	 54
-áà	 54
-ööà_	 54
-öå	 53
-áî	 53
-Ìi	 53
-÷í	 53
-à÷	 53
-åê	 53
-iÿ	 53
-Ñ	 53
-íî	 53
-_Ìi	 52
-_ÿê	 52
-ÿð	 52
-òâà	 51
-íûÿ	 51
-ûñ	 51
-àï	 50
-à,_	 50
-ó,_	 50
-àëü	 50
-ïðû	 50
-_÷	 50
-à,	 50
-ó,	 50
-àíí	 50
-ûõ_	 50
-_Ñ	 50
-áû	 49
-êñ	 49
-iõ	 49
-åðà	 49
-ê_	 49
-þ_	 48
-ðóñê	 48
-_Ê	 48
-_ý	 47
-äû	 47
-êë	 47
-ãi	 47
-_.	 47
-àø	 47
-óò	 47
-íiê	 46
-âàð	 46
-àäà	 46
-_._	 46
-øò	 46
-ðû_	 46
-òý	 46
-_íå	 46
-çí	 45
-òû_	 45
-ûë	 45
-_-	 45
-_ñà	 45
-àì_	 45
-Ä	 45
-_ìà	 45
-iò	 44
-_ë	 44
-_ïðû	 44
-óñêà	 44
-ëiê	 44
-âà_	 44
-àçå	 43
-ýò	 43
-êàì	 43
-ÿë	 43
-_ãî	 43
-äî	 43
-í_	 43
-ÿò	 43
-iõ_	 42
-íûÿ_	 42
-ðò	 42
-ñòâ	 42
-íàé	 42
-êàâ	 42
-ãàçå	 42
-..	 42
-_ãàç	 42
-_ãàçå	 42
-ãàç	 42
-ïåð	 42
-íò	 41
-_áå	 41
-ñå	 41
-ðàâ	 41
-áð	 41
-àðî	 41
-ûö	 41
-íä	 41
-Áåë	 40
-åööà	 40
-äà_	 40
-û.	 40
-iíñê	 40
-ûi	 40
-_ðà	 40
-îëü	 40
-è	 40
-"_	 40
-(	 40
-_Ä	 40
-øà	 40
-òàê	 40
-Ó	 40
-ñÿ_	 40
-iíñ	 40
-_âà	 40
-_(	 40
-àíû	 40
-Áå	 40
-)	 40
-åöö	 40
-íÿ_	 39
-äçi	 39
-_Ó	 39
Index: unk/gsdl/perllib/textcat/bosnian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/bosnian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 9464
-a	 2787
-i	 2108
-e	 2077
-o	 2018
-j	 1396
-n	 1328
-s	 1170
-u	 1010
-r	 988
-d	 957
-a_	 889
-e_	 833
-t	 774
-je	 771
-k	 756
-l	 743
-m	 702
-v	 685
-p	 604
-c	 538
-i_	 538
-_s	 522
-u_	 476
-z	 463
-_p	 450
-o_	 433
-,_	 381
-,	 381
-_i	 369
-_n	 358
-b	 349
-_d	 349
-.	 346
-na	 341
-je_	 337
-._	 321
-_j	 307
-g	 299
-ra	 292
-st	 283
-ko	 278
-_je	 274
-ij	 254
-_o	 245
-ni	 240
-_k	 236
-an	 228
-oj	 227
-da	 226
-_u	 222
-pr	 221
-no	 219
-ma	 219
-la	 211
-ri	 206
-_je_	 203
-po	 203
-ci	 196
-_pr	 191
-os	 190
-od	 187
-ka	 186
-im	 185
-ti	 184
-li	 182
-vo	 178
-_po	 174
-ja	 171
-_i_	 169
-ov	 169
-al	 168
-re	 167
-ne	 167
-m_	 164
-ta	 160
-na_	 158
-ed	 157
-_m	 157
-_na	 157
-se	 156
-_u_	 154
-en	 153
-ic	 151
-sa	 151
-_b	 149
-ak	 141
-va	 140
-ad	 137
-h	 136
-ju	 135
-su	 134
-dj	 133
-ije	 133
-ar	 127
-ca	 127
-_z	 126
-nj	 125
-ji	 124
-da_	 124
-_ko	 123
-_da	 122
-il	 121
-"	 120
-av	 120
-_t	 118
-aj	 116
-ob	 115
-ro	 114
-am	 114
-vi	 114
-_su	 113
-om	 112
-dje	 112
-za	 112
-at	 111
-le	 111
-di	 110
-su_	 107
-iz	 107
-ve	 107
-lj	 106
-_se	 105
-ev	 105
-is	 105
-es	 103
-se_	 103
-do	 101
-ih	 100
-a,	 99
-_su_	 99
-a,_	 99
-on	 98
-bi	 98
-in	 97
-voj	 97
-az	 96
-ac	 95
-_da_	 95
-la_	 95
-_r	 93
-_g	 93
-jev	 92
-ma_	 92
-er	 92
-or	 91
-h_	 90
-_sa	 90
-e,	 90
-e,_	 90
-ba	 90
-ima	 89
-a.	 88
-ol	 88
-_do	 87
-dn	 87
-it	 87
-ko_	 86
-ne_	 86
-ost	 85
-ek	 85
-to	 85
-d_	 84
-as	 84
-ju_	 84
-ao	 84
-ih_	 84
-a._	 84
-te	 83
-evo	 83
-koj	 83
-pri	 82
-jevo	 82
-ce	 81
-_se_	 81
-og	 80
-go	 80
-jevoj	 79
-de	 79
-uc	 79
-evoj	 79
-_od	 78
-_za	 78
-tr	 78
-S	 77
-_koj	 76
-ke	 75
-_v	 75
-ao_	 75
-_dje	 74
-_bi	 74
-sta	 74
-_dj	 74
-cij	 74
-ik	 74
-djev	 73
-sl	 73
-_djev	 72
-ga	 72
-djevo	 72
-_ka	 71
-rij	 71
-_iz	 71
-P	 71
-_pri	 70
-_a	 69
-us	 68
-_S	 68
-mo	 67
-el	 67
-sk	 66
-me	 66
-zi	 66
-ija	 65
-n_	 65
-ku	 64
-im_	 63
-_st	 63
-ica	 63
-_na_	 62
-_ne	 62
-em	 61
-edn	 61
-jk	 61
-io	 61
-li_	 60
-ojk	 60
-evojk	 60
-_"	 60
-zn	 60
-vojk	 60
-pro	 59
-lo	 59
-ije_	 59
-jed	 58
-ke_	 58
-om_	 58
-jen	 58
-sti	 57
-_im	 57
-le_	 57
-_ra	 56
-e.	 56
-ze	 55
-_pro	 55
-nu	 55
-nje	 55
-ti_	 55
-ec	 55
-pre	 55
-oc	 54
-aci	 54
-no_	 54
-et	 54
-oji	 53
-si	 53
-ara	 53
-ama	 53
-z_	 53
-pos	 52
-rad	 52
-ran	 52
-ima_	 52
-ru	 52
-_P	 52
-tu	 52
-mu	 51
-e._	 51
-ja_	 50
-_pre	 50
-sa_	 49
-io_	 49
-od_	 48
-ni_	 48
-_nj	 48
-j_	 48
-_pos	 47
-_c	 47
-ila	 47
-K	 46
-_sa_	 46
-uz	 46
-N	 46
-_ni	 45
-zna	 45
-U	 45
-za_	 45
-_no	 45
-ako	 45
-u,	 44
-lu	 44
-ali	 44
-u,_	 44
-sto	 44
-ste	 44
-ve_	 44
-ani	 44
-oli	 44
-aka	 44
-_jed	 43
-i,_	 43
-ji_	 43
-uci	 43
-i,	 43
-ci_	 43
-osti	 43
-_N	 42
-dr	 42
-so	 42
-ust	 41
-ila_	 41
-B	 41
--	 41
-red	 41
-jke	 41
-sv	 41
-_go	 41
-bar	 41
-g_	 41
-est	 40
-D	 40
-iv	 40
-vojke	 40
-aju	 40
-ta_	 40
-A	 40
-lje	 40
-jedn	 40
-bil	 40
-ojke	 40
-ova	 40
-ati	 39
-_mu	 39
-pa	 39
-M	 39
-_ba	 39
-ca_	 39
-O	 39
-ka_	 39
-_a_	 38
-_B	 38
-_ima	 38
-sn	 38
-nu_	 38
-T	 38
-to_	 38
-eg	 38
-ava	 38
-ros	 37
-ir	 37
-ala	 37
-og_	 37
-osl	 37
-ovi	 37
-koji	 37
-_sv	 37
-dv	 36
-ric	 36
-_za_	 36
-br	 36
-_on	 36
-odi	 36
-_koji	 36
-_jedn	 35
-nik	 35
-dno	 35
-_D	 35
-jo	 35
-tra	 35
-_M	 35
-sp	 35
-iz_	 35
-oz	 35
-vr	 35
-u.	 35
-eri	 35
-I	 35
-eko	 35
-ale	 35
-_ma	 34
-lik	 34
-_bil	 34
-c_	 34
-ut	 34
-je,_	 34
-u._	 34
-str	 34
-je,	 34
-adi	 34
-tit	 34
-_iz_	 34
-iti	 34
-i.	 33
-_rad	 33
-ici	 33
-rost	 33
-aju_	 33
-va_	 33
-_ob	 33
-nog	 33
Index: unk/gsdl/perllib/textcat/breton.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/breton.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 21447
-e	 6375
-a	 5414
-n	 3228
-r	 3039
-o	 2968
-t	 2392
-i	 1812
-h	 1751
-u	 1650
-l	 1630
-d	 1506
-a_	 1352
-z	 1319
-t_	 1310
-_e	 1168
-_a	 1168
-e_	 1133
-m	 1105
-s	 1100
-g	 1090
-r_	 998
-k	 997
-n_	 958
-et	 941
-v	 888
-_d	 868
-an	 859
-.	 846
-'	 841
-en	 836
-b	 757
-,	 749
-,_	 743
-._	 716
-ar	 703
-ou	 700
-et_	 689
-c	 686
-ez	 572
-'h	 572
-_g	 565
-er	 555
-p	 553
-_k	 535
-c'h	 530
-c'	 530
-nt	 513
-_h	 505
-re	 505
-ra	 478
-ha	 466
-ñ	 458
-ne	 456
-oa	 454
-_o	 442
-_b	 434
--	 432
-zh	 422
-ar_	 415
-_m	 414
-_e_	 414
-nn	 384
-el	 376
-_a_	 356
-ur	 350
-o_	 346
-h_	 345
-ve	 340
-nt_	 340
-w	 339
-ke	 338
-de	 333
-añ	 332
-_p	 332
-s_	 327
-he	 325
-on	 318
-le	 318
-ga	 316
-ma	 315
-_ar	 312
-eu	 312
-_n	 310
-an_	 298
-ant	 296
-enn	 285
-z_	 282
-_ar_	 281
-be	 280
-_v	 276
-_r	 272
-al	 270
-en_	 268
-_ke	 267
-l_	 264
-em	 264
-_c	 263
-ñ_	 262
-da	 262
-_s	 261
-ho	 260
-di	 259
-_ha	 252
-ll	 250
-tr	 248
-oa_	 247
-me	 246
-us	 242
-_ga	 234
-la	 231
-ket	 227
-ant_	 219
-_da	 219
-_l	 216
-ur_	 216
-_oa	 215
-in	 214
-ket_	 211
-gan	 211
-_c'	 207
-_u	 207
-_c'h	 207
-ad	 207
-añ_	 207
-ao	 204
-_ma	 204
-_t	 204
-_ket	 201
-_an	 199
-_di	 197
-ezh	 196
-ù	 196
-où	 196
-_de	 195
-ev	 193
-?	 192
-st	 192
-ro	 192
-P	 192
-_ket_	 188
-er_	 188
-f	 186
-na	 186
-ue	 185
-da_	 184
-?_	 184
-_gan	 184
-_da_	 184
-_ne	 183
-ed	 182
-_P	 180
-g_	 180
-pe	 179
-m_	 178
-A	 177
-ri	 176
-us_	 175
-ta	 174
-ze	 174
-gant	 174
-ka	 174
-i_	 172
-d_	 171
-G	 167
-te	 167
-ae	 166
-zh_	 164
-ha_	 163
-_ha_	 163
-_he	 161
-_gant	 159
-do	 159
-oue	 159
-_G	 158
-eus	 158
-eo	 158
-'h_	 157
-_en	 157
-go	 157
-am	 157
-c'h_	 157
-_be	 156
-we	 156
-iz	 154
-_an_	 151
-_A	 150
-eus_	 147
-sk	 147
-li	 146
-as	 146
-_pe	 146
-j	 146
-_oa_	 146
-av	 144
-gant_	 143
-ut	 142
-no	 141
-vez	 140
-va	 140
-_ra	 140
-ge	 138
-ez_	 138
-bo	 137
- 	 137
-_ur	 136
-lo	 134
-he_	 134
-où_	 133
-ù_	 133
-_ur_	 132
-es	 130
-'ho	 129
-ni	 129
-uz	 129
-tra	 127
-se	 126
-it	 125
-ra_	 125
-out	 125
-is	 125
-at	 125
-hi	 125
-eg	 125
-ig	 124
-ko	 124
-io	 123
-k_	 123
-ch	 123
-_w	 121
-or	 121
-Pe	 121
-_ma_	 119
-ma_	 119
-gw	 118
-_em	 118
-_Pe	 118
-un	 118
-eme	 117
-ne_	 117
-nn_	 117
-c'ho	 117
-ol	 116
-ag	 116
-M	 115
-'ha	 115
-_en_	 115
-iv	 115
-vi	 113
-_ka	 113
-K	 113
-ud	 112
-_he_	 111
-ont	 110
-oc	 110
-vo	 110
-ec	 109
-wa	 109
-..	 107
-_M	 107
-_z	 107
-br	 107
-om	 106
-to	 105
-_f	 105
-N	 105
-_c'ho	 104
-ti	 104
-ut_	 104
-D	 104
-_o_	 103
-_la	 103
-_go	 101
-az	 101
-out_	 101
-ba	 101
-enn_	 101
-c'ha	 101
-our	 100
-oc'h	 100
-ell	 100
-oc'	 100
-etr	 99
-el_	 99
-_K	 99
-_D	 99
-:	 99
-:_	 99
-eve	 98
-_d'	 97
-all	 97
-d'	 97
-E	 97
-_ne_	 97
-_me	 95
-eo_	 95
-ak	 95
-bet	 95
-_eu	 95
-rc	 94
-_do	 94
-_gw	 94
-zi	 93
-oz	 93
-aou	 93
-etra	 92
-pa	 91
-ab	 90
-on_	 90
-ei	 90
-tra_	 90
-n,	 89
-zo	 89
-ag_	 89
-_ev	 88
-ul	 88
-'e	 88
-n'	 88
-n,_	 88
-ouz	 87
-v_	 86
-_n'	 86
-_eus	 84
-H	 83
-za	 83
-S	 83
-etra_	 83
-_eo	 82
-t,_	 82
-t,	 82
-il	 81
-ent	 81
-fe	 81
-rc'h	 81
-rc'	 81
-_eus_	 80
-ie	 80
-_bo	 79
-ele	 79
-_ve	 79
-mp	 79
-_bet	 78
-B	 78
-it_	 77
-_vo	 77
-'a	 77
-n.	 76
-_S	 76
-hag	 76
-hoa	 75
-_hag	 75
-len	 75
-_N	 75
-'hoa	 74
-_E	 74
-ir	 74
-hag_	 74
-_hag_	 74
-mañ	 74
-as_	 73
-eze	 73
-ont_	 73
-_.	 73
-iñ	 73
-r,	 72
-pr	 72
-ed_	 72
-n._	 72
-re_	 72
-in_	 72
-r,_	 72
-_H	 71
-'he	 70
-t.	 70
-gou	 70
-em_	 70
-_br	 70
-rae	 70
-rez	 69
-t._	 69
-bet_	 69
-net	 69
-dr	 68
-_eo_	 68
-ll_	 68
-mo	 67
-po	 67
-oul	 67
-rou	 67
-c'hoa	 67
-a-	 67
-vel	 67
-oc'h_	 67
-nna	 66
-_B	 66
-met	 65
-ec'	 65
-ec'h	 65
-R	 64
-den	 64
Index: unk/gsdl/perllib/textcat/bulgarian-iso8859_5.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/bulgarian-iso8859_5.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 11056
-Ð	 3428
-Ø	 3007
-Õ	 2501
-Þ	 2490
-Ý	 2179
-â	 2166
-à	 1596
-á	 1492
-Ò	 1159
-Ð_	 1144
-Ú	 1093
-Û	 918
-Ô	 803
-Ø_	 803
-ÝÐ	 724
-ß	 720
-×	 702
-Õ_	 642
-Ü	 613
-_Ý	 577
-_á	 569
-Þ_	 556
-.	 537
-ÝØ	 534
-âÕ	 473
-._	 467
-ï	 462
-áâ	 455
-_ß	 452
-_ÝÐ	 446
-,_	 440
-,	 440
-Ó	 439
-Ñ	 432
-ÝÐ_	 422
-ê	 405
-ã	 382
-âÞ	 376
-ÕÝ	 360
-àÐ	 360
-ç	 355
-_Ø	 353
-Ðâ	 334
-âÐ	 330
-â_	 324
-Øâ	 322
-_ÝÐ_	 316
-ÐÝ	 310
-àÕ	 308
-àØ	 305
-ÒÐ	 303
-ÝÞ	 301
-Þâ	 281
-_Ò	 278
-_Þ	 275
-ØâÕ	 262
-ÚÞ	 262
-ßà	 262
-_Ú	 250
-âÞ_	 248
-ÚÐ	 242
-àÞ	 236
-ßÞ	 235
-Ðà	 230
-_Ô	 226
-ÝÕ	 222
-Þá	 216
-æ	 214
-Øï	 210
-âÕ_	 203
-âØ	 198
-_Ø_	 196
-Õâ	 196
-_ßà	 195
-áÚ	 189
-ÕÔ	 189
-ØâÕ_	 189
-Ò_	 186
-ÐÒ	 185
-ÔÐ	 185
-_Õ	 184
-×Ø	 178
-ÞÒ	 177
-ä	 175
-ÛØ	 175
-âÐ_	 172
-ØÚ	 171
-ÐÚ	 170
-_à	 169
-_ßÞ	 169
-_Ñ	 165
-ï_	 163
-×Ð	 162
-Ö	 161
-Õà	 160
-ÝØ_	 159
-ÛÕ	 156
-áÕ	 156
-ÒÕ	 155
-ÕÛ	 154
-_Ò_	 152
-_×	 152
-Ø×	 151
-ÚØ	 151
-_Ü	 150
-ÛÐ	 149
-é	 148
-_Þâ	 146
-ØÝ	 145
-æØ	 143
-ÜØ	 141
-_â	 138
-Ð×	 137
-ÓÐ	 135
-Þà	 134
-Õ×	 133
-_×Ð	 133
-ÞÔ	 131
-ÞÑ	 129
-Ù	 128
-ÐÛ	 127
-_Ó	 126
-ÐâÐ	 124
-Þáâ	 123
-ÔØ	 123
-Øï_	 123
-Øá	 122
-Õá	 121
-_áÕ	 120
-ÕÝØ	 119
-ÞÛ	 118
-ÒØ	 116
-ÒÐ_	 115
-âÝ	 113
-ÝÞ_	 112
-¿	 112
--	 111
-Þâ_	 111
-ÜÕ	 110
-ÐâÐ_	 109
-Ýâ	 108
-_Þâ_	 108
-Úâ	 108
-ÐÝØ	 107
-ÔÕ	 107
-ÒÞ	 107
-_ÚÞ	 106
-áÕ_	 105
-çÕ	 103
-_¿	 103
-_áÕ_	 101
-Øà	 101
-âÒ	 100
-_ÔÐ	 99
-"	 99
-ØÕ	 99
-ØÜ	 99
-ÜÐ	 98
-áÚØ	 97
-ÕâÞ	 97
-ÐÝÕ	 97
-_Õ_	 97
-ßàÞ	 96
-ÐÚâ	 96
-è	 93
-ÔÐ_	 93
-ÓÞ	 92
-áØ	 92
-ÐàØ	 92
-ÔÞ	 92
-áÛ	 91
-Øæ	 90
-ÛÝ	 90
-Øç	 89
-Õ×Ø	 89
-×Ð_	 89
-ÞÓ	 88
-ÕâÞ_	 88
-_ã	 88
-ÐÜ	 88
-Ø,	 87
-âÕà	 87
-Ðá	 87
-Ø,_	 87
-_ÔÐ_	 85
-_×Ð_	 83
-êÛ	 83
-áâÒ	 83
-Ðâ_	 83
-å	 82
-ØÛ	 81
-Ú_	 81
-_Ø×	 81
-_Ð	 80
-ßàÕ	 80
-ÝØâ	 79
-ÞÝ	 78
-ïâ	 78
-ÝØâÕ	 78
-âà	 78
-Á	 77
-ÕàØ	 77
-ÝÕ_	 77
-ÑØ	 77
-ÚØ_	 76
-_ÝÕ	 76
-ÓÐà	 75
-Øáâ	 75
-ÛÓ	 75
-ØÒ	 75
-ÝÞá	 74
-ÛÞ	 73
-_àÕ	 73
-ÜÞ	 73
-á_	 73
-àÕÔ	 73
-_ßàÞ	 72
-ÑÐ	 72
-ãç	 72
-ÛÓÐà	 72
-ÛÓÐ	 72
-êÛÓ	 71
-Ðä	 71
-Ð,_	 71
-êÛÓÐà	 71
-ÝØâÕ_	 71
-ÒÐÝ	 71
-êÛÓÐ	 71
-Ý_	 71
-Ð,	 71
-êà	 70
-áê	 70
-àÕ×	 70
-ÐÔ	 70
-àÐÝ	 70
-ÕÚ	 70
-_àÐ	 70
-Û_	 69
-çÝ	 68
-ØàÐ	 68
-Óà	 67
-Ýá	 67
-ØæØ	 66
-ÝØï	 66
-ÝÞáâ	 66
-Ü_	 66
-áÐ	 66
-ÕÜ	 65
-àÐ×	 65
-ÚÐâ	 64
-ÞâÞ	 64
-Ñê	 64
-ÝØÕ	 64
-_ç	 64
-âÕàØ	 63
-ÐÒÐ	 63
-_ÚÐ	 63
-_Á	 62
-_±	 62
-ÚÐ_	 62
-±	 62
-ØÚ_	 62
-_.	 62
-çÐ	 61
-ÞÙ	 61
-Òê	 61
-çØ	 61
-ÞÜ	 61
-_áê	 61
-Õáâ	 60
-ÕÝâ	 60
-(	 60
-)	 60
-áâÕ	 59
-ßÕ	 59
-Þß	 59
-âÝÞ	 59
-äÐ	 59
-Ø.	 58
-À	 58
-áâÐ	 58
-_(	 58
-_ßàÕ	 58
-ÔÝ	 58
-àá	 58
-_Û	 57
-ÞâÞ_	 57
-ÓàÐ	 57
-ßàØ	 57
-ØÝÐ	 56
-Ø._	 56
-Úê	 56
-ÝÐâ	 56
-âÕÝ	 56
-_àÐ×	 55
-×Ò	 55
-áâØ	 55
-ÚâÕ	 55
-_á_	 55
-áà	 55
-_,_	 55
-_ÔÞ	 55
-ÑêÛÓÐ	 55
-ÑêÛ	 55
-ÑêÛÓ	 55
-_,	 55
-ØÕ_	 54
-ÐÚâÕà	 54
-È	 54
-ÐÚâÕ	 54
-_-	 54
-ÚâÕà	 54
--_	 53
-áÚÐ	 53
-ãá	 53
-áâ_	 53
-ÚâÕàØ	 53
-áâÞ	 53
-_áà	 53
-ÕÒ	 53
-_Ñê	 52
-âÕÛ	 52
-ÛÝØ	 52
-_-_	 52
-ØÞ	 51
-_È	 51
-Ðß	 51
-Þ×	 51
-Ô_	 50
-_À	 50
-äÐà	 50
-ÒÐâ	 50
-ØØ	 50
-ž	 50
-_ßàØ	 50
-_áÛ	 50
-_"	 50
-ÞÚ	 49
-_ÑÐ	 49
-áß	 49
-áâÕÝ	 49
-ØÐ	 48
-ÛÕÔ	 48
-áÚØ_	 48
-àØÚ	 48
-ÑÐÚâÕ	 48
-_áÐ	 48
-ÈÐ	 48
-_._	 48
-ÑÐÚ	 48
-àã	 48
-ÑÐÚâ	 48
-Òï	 48
-ØáâÕ	 48
-ÛÐÒ	 47
-Úà	 47
-œ	 47
-äÐàØÚ	 47
-_ÈÐ	 47
-äÐàØ	 47
-ÐäÐ	 47
-ÐäÐàØ	 47
-Ðàá	 47
-ÐäÐà	 47
-ÐàØÚ	 47
-ÈÐä	 47
-àáÚ	 47
-âÝØ	 46
-ÈÐäÐ	 46
-_ÈÐä	 46
-ÐÝÕ_	 46
-ÞÒÕ	 46
-ÈÐäÐà	 46
-_ÈÐäÐ	 45
-ÐâÞ	 45
-Øïâ	 45
-ÞØ	 45
-ïÝ	 45
-ÕÝØÕ	 45
-_áâ	 45
-éÐ	 45
-ÕÝ_	 45
-ÑÞ	 45
-×Øá	 45
-×ØÚ	 45
-âÕÝâ	 44
-ØáâÕÝ	 44
-_ÑêÛ	 44
-áâÕÝâ	 44
-_ÑêÛÓ	 44
-ÚÞ_	 44
-ÝØï_	 44
-ÝáÚ	 44
-àØ_	 44
-ÝÐâÐ	 44
-Â	 43
-×Øáâ	 43
-Ðáâ	 43
-×ØáâÕ	 43
Index: unk/gsdl/perllib/textcat/catalan.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/catalan.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 16604
-e	 5091
-a	 4937
-s	 3120
-r	 3037
-i	 2987
-l	 2747
-n	 2641
-t	 2466
-o	 2274
-d	 1775
-c	 1740
-u	 1515
-a_	 1460
-s_	 1416
-_d	 1116
-e_	 1067
-p	 1014
-m	 995
-es	 985
-de	 972
-_de	 842
-en	 700
-_l	 691
-re	 652
-_e	 637
-de_	 611
-el	 602
-_de_	 601
-_a	 600
-,	 599
-,_	 599
-er	 598
-la	 584
-ar	 583
-_p	 550
-l_	 547
-ci	 522
-n_	 518
-es_	 515
-an	 515
-ra	 499
-nt	 495
-ta	 495
-b	 476
-_c	 452
-al	 450
-v	 440
-g	 428
-.	 420
-on	 420
-or	 404
-t_	 402
-at	 396
-._	 377
-r_	 372
-i_	 371
-la_	 368
-_i	 364
-_la	 351
-_la_	 325
-f	 325
-le	 322
-te	 312
-'	 311
-_s	 308
-st	 308
-se	 305
-ó	 302
-ue	 302
-na	 301
-os	 301
-qu	 300
-q	 300
-el_	 299
-it	 292
-co	 290
-ri	 277
-ca	 277
-ti	 273
-ac	 272
-in	 268
-ll	 264
-ic	 264
-me	 259
-un	 257
-que	 248
-C	 248
-tr	 244
-ns	 242
-ió	 238
-_i_	 236
-ad	 233
-ent	 232
-_el	 227
-ne	 226
-_t	 223
-_co	 221
-_m	 221
-_C	 217
-en_	 217
-li	 217
-ia	 212
-à	 212
-pe	 207
-_a_	 207
-pr	 206
-ció	 203
-ó_	 203
-pa	 203
-ro	 202
-o_	 198
-E	 198
-di	 197
-io	 197
-ls	 196
-h	 192
-_q	 192
-_qu	 192
-_en	 187
-aci	 186
-am	 186
-ec	 183
-to	 183
-as	 180
-om	 180
-ni	 180
-da	 179
-ió_	 179
-si	 178
-ls_	 176
-L	 175
-ma	 172
-res	 172
-ur	 171
-_el_	 162
-rt	 162
-ue_	 160
-A	 160
-os_	 159
-_que	 159
-que_	 158
-_r	 158
-po	 157
-_es	 155
-er_	 155
-_que_	 155
-M	 155
-_se	 153
-va	 153
-del	 153
-ció_	 151
-_pr	 151
-is	 150
-_en_	 149
-P	 147
-_pe	 146
-_del	 145
-ts	 145
-lo	 145
-_M	 144
-ct	 144
-_u	 144
-ol	 143
-ve	 141
-_L	 140
-x	 140
-y	 140
-a,_	 139
-a,	 139
-nc	 138
-men	 137
-al_	 137
-_f	 137
-_re	 137
-_P	 136
-ació	 136
-les	 136
-rs	 134
-est	 133
-tu	 131
-_E	 130
-et	 130
-s,_	 129
-_un	 129
-na_	 129
-_v	 129
-s,	 129
-ion	 127
-per	 126
-so	 125
-em	 125
-at_	 124
-no	 124
-j	 124
-br	 123
-nt_	 122
-ar_	 122
-sa	 121
-_n	 119
-les_	 118
-é	 118
-ce	 117
-il	 117
-ell	 116
-_per	 114
-í	 114
-ob	 113
-re_	 113
-ir	 113
-_A	 112
-ons	 112
-do	 112
-ua	 112
-con	 112
-ment	 111
-gu	 111
-ts_	 110
-ss	 110
-ns_	 109
-ant	 109
-ra_	 109
-Co	 109
-par	 108
-l'	 107
-d'	 107
-_l'	 107
-els	 107
-tat	 107
-sc	 106
-_d'	 106
-an_	 105
-_Co	 105
-vi	 104
-els_	 104
-ica	 104
-ran	 103
-ul	 102
-iv	 102
-S	 102
-_del_	 102
-del_	 102
-mb	 101
-mi	 101
-ita	 101
-nta	 100
-_pa	 99
-_o	 99
-_con	 98
-ació_	 97
-rn	 96
-_in	 96
-ia_	 96
-z	 96
-im	 95
-rr	 95
-art	 94
-ta_	 93
-com	 93
-tre	 92
-_h	 92
-s.	 91
-mp	 90
-ie	 90
-J	 90
-s._	 89
-cio	 89
-_le	 89
-bre	 88
-_ca	 88
-_al	 88
-sta	 88
-_com	 88
-cu	 88
-à_	 87
-pre	 87
-fe	 86
-ba	 86
-tra	 86
-ge	 85
-pro	 85
-_les	 84
-des	 84
-ter	 84
-_po	 84
-_les_	 84
-T	 84
-_J	 84
-nd	 84
-cion	 84
-_S	 84
-ura	 83
-nci	 82
-va_	 81
-ha	 81
-ona	 81
-ent_	 80
-ues	 80
-oc	 80
-ea	 80
-nte	 80
-és	 80
-_di	 79
-ui	 79
-as_	 78
-ut	 78
-ici	 78
-res_	 78
-us	 77
-ot	 77
-ara	 77
-ip	 75
-rm	 75
-ab	 75
-eg	 75
-_per_	 75
-ng	 75
-'a	 75
-I	 75
-per_	 75
-rec	 74
-du	 74
-_tr	 74
-è	 73
-cia	 73
-_no	 73
-b_	 73
-_par	 72
-ep	 72
-id	 72
-lle	 71
-rc	 71
-_pro	 70
-D	 69
-G	 69
-ga	 69
-fo	 69
-una	 68
-El	 68
-lit	 68
-un_	 68
-ques	 68
-amb	 67
-ix	 67
-és_	 67
-_G	 67
-era	 67
-cr	 67
-)	 66
-da_	 66
--	 66
-sp	 66
-y_	 66
-ada	 66
-tor	 66
-(	 66
-_(	 66
-_T	 65
-ment_	 65
-B	 65
-_es_	 65
-Ma	 65
-V	 65
-uc	 65
-ect	 65
-ame	 64
-iu	 64
-_Ma	 64
-orn	 64
-_B	 64
-_D	 64
-Ca	 64
-sti	 64
-_g	 63
-esc	 63
-rd	 63
-una_	 63
-là	 62
-"	 62
-ed	 62
-amen	 61
-mo	 61
-ions	 61
-_El	 61
-_Ca	 61
-Jo	 61
-eu	 61
-ari	 61
-lt	 61
-F	 61
-u_	 61
-ament	 60
-_V	 60
-m_	 60
-fi	 60
-au	 60
-ev	 60
-La	 60
-itat	 59
-_ha	 59
Index: unk/gsdl/perllib/textcat/croatian-ascii.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/croatian-ascii.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 36598
-a	 9456
-o	 9050
-i	 8526
-e	 7955
-n	 5513
-j	 5379
-s	 4971
-t	 4125
-r	 3889
-u	 3423
-je	 3281
-l	 3231
-e_	 3177
-d	 3128
-k	 2992
-v	 2891
-a_	 2835
-o_	 2679
-m	 2645
-p	 2316
-_s	 2212
-i_	 2205
-y	 2174
-c	 1894
-z	 1867
-je_	 1613
-_n	 1593
-g	 1581
-_p	 1490
-b	 1386
-u_	 1382
-,	 1208
-,_	 1208
-st	 1203
-_j	 1202
-na	 1159
-_je	 1118
-_d	 1105
-_i	 1104
-.	 1069
-._	 1058
-ra	 1017
-ko	 981
-ni	 980
-_je_	 918
-ij	 914
-ti	 911
-no	 891
-da	 884
-to	 879
-_k	 863
-_o	 856
-cy	 839
-li	 838
-ne	 790
-sy	 786
--	 785
-pr	 760
-_u	 748
-po	 734
-ta	 711
-_b	 705
-_t	 704
-la	 699
-ja	 699
-an	 691
-m_	 680
-ov	 674
-ije	 673
-_z	 669
-ka	 662
-ri	 652
-lo	 651
-vo	 643
-re	 641
-is	 626
-in	 623
-se	 623
-va	 622
-_m	 617
-oj	 614
-_po	 594
-_pr	 592
-bi	 588
-en	 582
-il	 578
-os	 576
-vi	 572
-nj	 569
-ak	 564
-_na	 558
-im	 558
-da_	 553
-od	 550
-ao	 550
-al	 549
-om	 545
-na_	 533
-_se	 524
-_i_	 523
-h	 517
-_g	 511
-ma	 508
-at	 502
-cj	 501
-og	 497
---	 493
-ro	 493
-on	 485
-av	 480
-_da	 474
-_ne	 474
-ed	 472
-zy	 471
-se_	 466
-_se_	 458
-_bi	 457
-ao_	 452
-ad	 452
-lj	 445
-es	 444
-ji	 441
-_v	 433
-_c	 430
-za	 421
-go	 418
-_r	 413
-_u_	 411
-yi	 410
-ek	 406
-di	 403
-sa	 396
-et	 393
-ic	 391
-io	 390
-_da_	 389
-to_	 389
-as	 386
-_ko	 383
-ye	 378
-ar	 378
-mo	 373
-le	 367
-or	 364
-ju	 363
-el	 354
-tr	 354
-io_	 352
-ve	 345
-lo_	 344
-su	 344
-ol	 344
-am	 344
-iz	 343
-li_	 338
-ti_	 336
-sto	 323
-n_	 321
-it	 319
-_za	 319
-sta	 317
-_ni	 316
-te	 312
-nu	 312
-a,	 309
-a,_	 309
-ya	 309
-do	 304
-om_	 303
-la_	 300
-no_	 299
-_na_	 299
-d_	 297
-ko_	 296
-aj	 294
-ik	 292
-ru	 291
-ga	 291
-em	 288
-nje	 283
-dj	 281
-ne_	 281
-k_	 277
-_st	 276
-koj	 276
-ec	 274
-_ka	 272
-_su	 270
-ob	 265
--_	 263
-az	 261
-sv	 260
-_koj	 260
-im_	 260
-ije_	 259
-pa	 258
-ot	 257
-yt	 256
-ok	 255
-su_	 255
-ih	 254
-me	 253
-dn	 253
-_cy	 253
-iv	 251
-syt	 248
-g_	 247
---_	 246
-_-	 246
-kr	 246
----	 246
-a.	 245
-e,_	 245
----_	 245
-e,	 245
-er	 245
-a._	 244
-_iz	 244
-mi	 243
-_---_	 242
-cyi	 242
-_--	 242
-_---	 242
-jed	 240
-h_	 239
-_a	 239
-_sa	 237
-j_	 236
-_l	 231
-_sv	 229
-_to	 229
-sk	 228
-ih_	 224
-ja_	 223
-pro	 223
-yn	 222
-t_	 222
-ost	 221
-_do	 221
-oc	 219
-gl	 218
-_su_	 216
-og_	 216
-uc	 214
-s_	 214
-bil	 213
-oz	 213
-ki	 212
-ni_	 212
-nij	 209
-ako	 208
-eg	 208
-ut	 205
-pre	 205
-ci	 204
-ji_	 203
-_od	 203
-ilo	 202
-ati	 202
-ac	 201
-ns	 200
-_mo	 197
-rij	 196
-bo	 195
-ovo	 195
-ku	 195
-dje	 194
-ma_	 192
-_bil	 191
-cje	 186
-sti	 186
-_go	 186
-de	 185
-sl	 183
-_pro	 182
-ju_	 182
-nije	 181
-tv	 180
-lje	 179
-isy	 179
-pri	 178
-_pre	 177
-dr	 177
-e._	 177
-e.	 177
-op	 176
-ima	 176
-anj	 175
-jen	 175
-us	 172
-ilo_	 172
-_ra	 170
-S	 167
-ecj	 166
-iti	 166
-sp	 163
-_S	 161
-vr	 161
-i.	 161
-i._	 161
-zn	 161
-ali	 161
-i,_	 160
-i,	 160
-ap	 157
-nije_	 157
-nst	 156
-pi	 156
-ga_	 156
-_sy	 155
-_nj	 155
-jes	 155
-ran	 155
-vo_	 155
-yto	 154
-ev	 153
-_to_	 152
-_pri	 151
-est	 150
-N	 150
-ins	 150
-ist	 149
-ir	 149
-o,	 148
-vj	 148
-vje	 148
-o,_	 148
-B	 148
-zi	 147
-jec	 147
-gov	 147
-yto_	 147
-syto	 146
-ton	 146
-od_	 145
-O	 144
-rije	 144
-lik	 143
-on_	 142
-ocy	 142
-W	 142
-ba	 142
-_W	 141
-kao	 141
-Wi	 141
-_N	 141
-inst	 141
-_nij	 141
-_nije	 140
-_Wi	 140
-syto_	 140
-lic	 139
-P	 139
-ovi	 138
-_tr	 138
-rs	 137
-ez	 137
-edn	 136
-_P	 136
-si	 136
-ili	 136
-du	 136
-Winst	 135
-cye	 135
-nston	 135
-ston	 135
-ud	 135
-kao_	 135
-Wins	 135
-insto	 135
-oji	 135
-nsto	 135
-Win	 135
-raz	 135
-zye	 135
-_Win	 134
-ova	 134
-_Wins	 134
-_on	 133
-ako_	 133
-odi	 133
-cya	 133
-ila	 133
-icy	 133
-oj_	 133
-ke	 133
-va_	 132
-ija	 132
-_is	 132
-jel	 132
-oje	 130
-pu	 130
-cje_	 130
-bi_	 129
-rat	 128
-ce	 128
-tu	 128
-mu	 128
-ve_	 127
Index: unk/gsdl/perllib/textcat/czech-iso8859_2.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/czech-iso8859_2.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 26378
-o	 5870
-e	 5354
-a	 4740
-n	 4462
-t	 3745
-s	 3438
-i	 3187
-v	 3118
-l	 2891
-r	 2754
-k	 2566
-d	 2508
-m	 2198
-u	 2197
-p	 2032
-í	 1924
-c	 1678
-h	 1572
-z	 1544
-á	 1522
-_p	 1299
-e_	 1266
-y	 1231
-a_	 1219
-j	 1219
-_s	 1156
-b	 1079
-o_	 1065
-ì	 1043
-_v	 1038
-,	 952
-,_	 946
-st	 945
-_n	 911
-é	 878
-.	 870
-í_	 848
-ø	 822
-._	 803
-ní	 782
-ov	 757
-_z	 723
-i_	 716
-u_	 684
-ro	 674
-en	 656
-ý	 647
-Ÿ	 639
-po	 630
-ch	 629
-è	 625
-na	 599
-_a	 598
-sk	 592
-¹	 563
-ho	 552
-_d	 551
-ra	 545
-m_	 539
-y_	 530
-_t	 512
-ko	 504
-_k	 503
-le	 502
-_j	 501
-_o	 486
-to	 479
-pr	 471
-ne	 468
-ní_	 462
-je	 458
-é_	 456
-ti	 455
-od	 433
-li	 432
-va	 432
-_po	 429
-_m	 428
-al	 424
-te	 424
-ou	 423
-ed	 418
-se	 415
-la	 410
-no	 397
-os	 382
-lo	 377
-an	 376
-_pr	 375
-ù	 375
-v_	 372
-øe	 370
-_a_	 364
-em	 363
-at	 360
-ta	 359
-do	 357
-t_	 357
-_b	 355
-or	 349
-h_	 345
-_v_	 338
-ch_	 327
-S	 325
-ce	 323
-av	 323
-pø	 322
-ni	 319
-ké	 316
-er	 315
-nì	 315
-_na	 313
-na_	 312
-_ne	 311
-de	 308
-ic	 307
-in	 306
-_se	 306
-l_	 304
-dn	 302
-za	 298
-_pø	 293
-ì_	 291
-ol	 290
-_je	 281
-ob	 280
-is	 277
-ve	 274
-ho_	 272
-es	 270
-ot	 268
-ak	 265
-vo	 263
-ná	 260
-il	 257
-se_	 257
-it	 256
-et	 253
-ad	 250
-by	 249
-P	 242
-_r	 242
-k_	 242
-ost	 241
-_se_	 241
-tr	 238
-me	 237
-pro	 234
-Ÿe	 234
-ka	 230
-_za	 227
-om	 224
-el	 223
-_P	 223
-on	 218
-_pro	 216
-ou_	 216
-tu	 215
-O	 212
-mi	 212
-ku	 211
-_u	 210
-_do	 208
-_l	 207
-_na_	 206
-N	 205
-ské	 205
-ím	 205
-íc	 205
-ý_	 203
-mì	 203
-_S	 200
-oz	 200
-V	 200
-ze	 198
-da	 194
-sl	 192
-á_	 191
-ova	 190
-mo	 190
-re	 189
-so	 187
-vy	 186
-ej	 185
-rá	 184
-ar	 184
-s_	 183
-vì	 183
-A	 181
-ru	 180
-_st	 178
-f	 178
-éh	 177
-ého	 176
-kt	 176
-tn	 175
-g	 174
-bo	 174
-ez	 173
-ci	 172
-ký	 172
-né	 170
-M	 170
-án	 169
-as	 168
-vi	 167
-øi	 167
-ac	 166
-Ÿe_	 165
-ýc	 165
-Ÿ_	 165
-ck	 164
-K	 164
-B	 164
-ých	 164
-vá	 162
-_c	 162
-ého_	 162
-ení	 161
-lá	 160
-_Ÿ	 160
-øí	 160
-pøe	 159
-ec	 158
-ù_	 157
-J	 156
-vn	 156
-_h	 155
-ké_	 155
-ok	 154
-sta	 154
-to_	 152
-vý	 152
-nt	 151
-ých_	 149
-lo_	 149
-_by	 149
-dy	 149
-_pøe	 148
-ce_	 147
-R	 146
-n_	 146
-ád	 146
-pa	 145
-vé	 145
-am	 145
-mu	 145
-ný	 145
-ud	 144
-_è	 144
-_B	 142
-ter	 141
-nì_	 141
-èe	 140
-¹e	 140
-_V	 140
-_ko	 140
-li_	 139
-dì	 137
-hl	 137
-je_	 137
-ji	 137
-ist	 135
-jí	 135
--	 134
-ik	 133
-si	 133
-ál	 132
-em_	 132
-_to	 132
-_vy	 131
-sp	 130
-ut	 130
-_J	 130
-_Ÿe	 130
-_M	 129
-di	 129
-kon	 128
-la_	 128
-tí	 128
-_ro	 127
-ns	 127
-ek	 126
-ick	 126
-T	 126
-yl	 125
-èn	 125
-rn	 125
-_Ÿe_	 124
-op	 124
-sti	 124
-kte	 124
-øed	 124
-edn	 123
-us	 121
-ím_	 120
-"	 119
-z_	 119
-str	 118
-ti_	 118
-ém	 118
-vat	 118
-d_	 118
-_ve	 118
-áv	 118
-ení_	 117
-iv	 117
-oj	 117
-_kt	 117
-ìl	 117
-val	 116
-eb	 116
-_K	 115
-tø	 115
-_kte	 115
-át	 115
-_i	 114
-_N	 114
-D	 114
-kl	 114
-ny	 114
-byl	 113
-ev	 113
-ri	 113
-ú	 113
-ky	 111
-sm	 111
-oh	 111
-E	 110
-ma	 110
-ìt	 110
-ský	 110
-kter	 109
-nu	 109
-le_	 108
-ja	 107
-zá	 107
-tì	 106
-tá	 106
-zn	 106
-let	 105
-aj	 105
-sto	 105
-¹í	 105
-me_	 105
--_	 105
-u,	 105
-sv	 104
-_le	 104
-pol	 104
-L	 104
-_-	 104
-ln	 104
-pod	 104
-H	 103
-zi	 103
-kéh	 103
-kého	 103
-_ná	 103
-ent	 102
-u,_	 102
-_od	 102
-né_	 101
-_-_	 101
-al_	 101
-_kter	 101
-do_	 100
-nos	 100
-cí	 100
-rav	 99
-ran	 99
-_sv	 99
-ká	 98
-eè	 98
-ním	 98
-bu	 97
-_z_	 97
-ích	 97
-_byl	 97
-ání	 96
-rov	 96
-kr	 96
-dá	 95
-ové	 95
-dl	 95
-uj	 95
-nost	 95
-ém_	 95
-ech	 94
-ly	 94
-oc	 94
-vé_	 93
-_o_	 93
-dy_	 93
-ak_	 93
-nsk	 93
-_so	 93
-_ob	 92
-nc	 92
Index: unk/gsdl/perllib/textcat/estonian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/estonian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 20738
-a	 7004
-e	 5699
-i	 5321
-s	 4731
-t	 3769
-l	 3448
-u	 3446
-n	 2902
-k	 2584
-d	 2202
-m	 2043
-a_	 1758
-o	 1684
-r	 1429
-g	 1174
-v	 1151
-e_	 1139
-i_	 1136
-_k	 1136
-s_	 1077
-h	 1009
-,	 995
-,_	 995
-_t	 953
-p	 953
-j	 940
-ä	 900
-is	 896
-st	 851
-se	 841
-_s	 822
-.	 821
-as	 801
-d_	 801
-le	 800
-ta	 794
-in	 793
-_m	 790
-ô	 754
-._	 753
-t_	 746
-ma	 710
-_p	 680
-si	 677
-_v	 660
-es	 636
-al	 626
-us	 619
-el	 602
-_o	 596
-_e	 586
-ja	 580
-_j	 563
-te	 562
-ü	 549
-li	 532
-va	 515
-id	 501
-ol	 498
-tu	 497
-da	 490
-_n	 480
-ku	 478
-ud	 459
-nu	 455
-na	 438
-ei	 432
-ks	 418
-mi	 411
-ee	 411
-u_	 407
-ka	 400
-n_	 394
-b	 394
-ga	 386
-_l	 384
-_a	 380
-an	 366
-ja_	 365
-et	 358
-me	 358
-l_	 350
-at	 348
-la	 341
-ad	 340
-st_	 339
-ne	 336
-ll	 333
-_ta	 332
-ra	 330
-_ja	 328
-ik	 323
-en	 318
-ni	 308
-ul	 305
-sa	 302
-_ol	 302
-nd	 299
-_ja_	 299
-nud	 296
-ii	 291
-ko	 286
-_se	 285
-le_	 283
-aa	 281
-is_	 281
-gi	 270
-_te	 269
-ag	 269
-_va	 268
-_ku	 267
-ed	 262
-em	 255
-_mi	 255
-ma_	 247
-ti	 246
-ri	 245
-_h	 242
-gu	 239
-id_	 238
-ast	 237
-it	 236
-ga_	 236
-un	 232
-de	 230
-ud_	 230
-ha	 230
-ak	 228
-ah	 228
-uu	 228
-il	 227
-ôi	 226
-as_	 223
-ke	 222
-ar	 220
-a,	 220
-am	 220
-_ko	 220
-a,_	 220
-_ka	 220
-ai	 220
-eg	 216
-sin	 214
-est	 214
-ui	 214
-he	 214
-ks_	 213
-ö	 213
-oo	 213
-ju	 207
-är	 205
-ut	 203
-in_	 203
-oli	 201
-ki	 199
-su	 199
-es_	 199
-lt	 198
-ist	 188
-li_	 186
-ea	 186
-vi	 184
-im	 181
-mu	 181
-se_	 180
-ts	 180
-on	 178
-ise	 178
-ta_	 177
-ek	 176
-_oli	 176
-sel	 173
-nud_	 173
-_ü	 172
-a.	 171
-nn	 170
-ema	 169
-ng	 168
-lu	 168
-ge	 167
-_si	 166
-_ei	 165
-_i	 165
-_ei_	 164
-ei_	 164
-_r	 163
-ole	 161
-pa	 160
-lle	 160
-a._	 160
-ust	 159
-du	 156
-er	 156
-vô	 153
-da_	 153
-min	 152
-et_	 151
-d,_	 149
-_M	 149
-ht	 149
-d,	 149
-M	 149
-kui	 148
-_et	 147
-K	 147
-_K	 146
-pe	 145
-gi_	 145
-_vô	 145
-or	 144
-_tu	 142
-lt_	 141
-_ma	 141
-asi	 140
-ve	 139
-us_	 138
-ig	 136
-sin_	 136
-ur	 135
-_ta_	 134
-di	 134
-_et_	 134
-s,_	 132
-tas	 132
-s,	 132
-_kui	 131
-sk	 131
-re	 130
-po	 129
-oli_	 129
-om	 129
-äi	 128
-inu	 128
-_na	 128
-_oli_	 128
-_sa	 128
-aj	 128
-mis	 127
-ui_	 127
-_me	 127
-_pa	 126
-tus	 125
-pi	 125
-te_	 124
-ül	 123
--	 123
-est_	 122
-_on	 121
-kk	 121
-tt	 120
-aga	 119
-na_	 119
-_T	 119
-T	 119
-b_	 118
-al_	 118
-sta	 118
-_mu	 116
-_ju	 116
-ida	 116
-aks	 116
-gu_	 116
-_ni	 116
-s.	 116
-ad_	 116
-_pe	 114
-eks	 114
-ev	 114
-end	 113
-s._	 113
-use	 111
-ära	 111
-_po	 111
-_min	 110
-S	 110
-aja	 110
-_la	 110
-ele	 109
-el_	 108
-on_	 108
-ab	 108
-_S	 108
-av	 107
-ing	 107
-kui_	 106
-_on_	 106
-au	 104
-ne_	 104
-ti_	 104
-ell	 103
-ae	 101
-kô	 101
-ed_	 100
-_ke	 99
-ata	 99
-iis	 99
-!	 98
-!_	 98
-sid	 98
-nda	 98
-eh	 98
-lle_	 97
-pu	 97
-ää	 97
-vôi	 97
-ine	 96
-t,	 96
-e,_	 96
-ale	 96
-_vôi	 96
-t,_	 96
-e,	 96
-eda	 96
-uk	 95
-ast_	 95
-ld	 95
-?	 94
-_kui_	 94
-_sel	 93
-_kô	 93
-tul	 93
-ega	 93
-lg	 92
-sii	 92
-val	 92
-e.	 92
-_su	 92
-ug	 92
-oh	 92
-kü	 92
-d.	 91
-ee_	 91
-see	 91
-e._	 91
-öö	 91
-oma	 91
-_ole	 90
-ses	 90
-stu	 90
-ôt	 90
-üü	 90
-_om	 89
-me_	 89
-ot	 89
-d._	 89
-_sii	 88
-to	 88
-_en	 87
-atu	 87
-?_	 87
-A	 86
-J	 86
-pea	 86
-jä	 85
-_A	 85
-_see	 85
-ime	 84
-_pi	 84
-_ha	 84
-mô	 84
-nä	 84
-_J	 84
-les	 84
-ste	 84
-kas	 84
-_ä	 84
-vä	 83
-E	 83
-pä	 83
-_ve	 83
-_E	 83
-eis	 82
-_jä	 81
-_pea	 81
-_mô	 80
-um	 80
-_kü	 80
-iku	 80
-üd	 80
-all	 79
-eid	 79
-ba	 79
-_vä	 79
-ina	 78
-lj	 78
-sid_	 78
-hu	 78
-tun	 78
-lä	 78
-_oma	 77
-i,_	 77
-i,	 77
-agu	 77
-uh	 77
-lm	 76
-ras	 76
-ss	 76
-kä	 76
-ees	 76
Index: unk/gsdl/perllib/textcat/frisian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/frisian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 46446
-e	 15767
-n	 9616
-i	 7837
-a	 7830
-t	 7562
-r	 7297
-s	 6307
-o	 4784
-n_	 4595
-d	 4564
-e_	 4213
-l	 4032
-k	 3951
-t_	 3079
-en	 2863
-m	 2605
-er	 2492
-y	 2462
-f	 2371
-_d	 2253
-de	 2124
-h	 1943
-in	 1899
-w	 1898
-en_	 1857
-_i	 1815
-u	 1769
-g	 1738
-an	 1690
-j	 1678
-p	 1651
-r_	 1619
-_f	 1602
-.	 1601
-ar	 1561
-te	 1545
-b	 1488
-s_	 1476
-._	 1435
-_s	 1370
-de_	 1235
-_de	 1224
-_w	 1181
-it	 1172
-ie	 1140
-,	 1078
-_o	 1056
-,_	 1056
-oa	 1045
-_e	 1040
-st	 1038
-an_	 1010
-_b	 972
-_de_	 965
-ke	 949
-_m	 947
-_t	 933
-ne	 920
-er_	 895
-at	 863
-sk	 856
-c	 850
-it_	 848
-_h	 838
-ei	 832
-k_	 817
-yn	 790
-ch	 784
-le	 772
-is	 769
-je	 765
-el	 761
-me	 758
-ea	 754
-_k	 740
-fa	 736
-in_	 735
-'	 733
-_it	 733
-_it_	 727
-ge	 727
-re	 725
-al	 724
-_fa	 684
-yn_	 640
-aa	 628
-fan	 626
-_y	 618
-ar_	 617
-et	 616
-ri	 615
-_fan	 613
-_n	 612
-li	 611
-_yn	 610
-_en	 598
-fan_	 594
-oe	 589
-_fan_	 584
-_en_	 583
-at_	 581
-_in	 570
-oar	 565
-_in_	 560
-y_	 555
-F	 549
-es	 540
-_a	 536
-ng	 523
-be	 514
-sj	 512
-nt	 510
-l_	 510
-_F	 506
-ns	 506
-D	 499
-te_	 499
-der	 497
-_yn_	 497
-ti	 493
-ek	 490
-ro	 476
-rs	 474
-rd	 473
-se	 470
-fo	 470
-ys	 462
-op	 461
-û	 461
-we	 456
-ry	 451
-da	 445
-d_	 443
-is_	 442
-_D	 440
-ur	 433
-i_	 432
-ha	 426
-_me	 425
-ear	 422
-_l	 417
-ed	 410
-as	 409
-om	 407
-ei_	 406
-Fr	 405
-nd	 404
-_fo	 394
-_p	 393
-oc	 390
-rys	 389
-ol	 386
-_Fr	 386
-och	 383
-fe	 381
-ik	 379
-ma	 379
-ra	 377
-nn	 374
-_g	 368
-_da	 367
-di	 363
-ts	 362
-ta	 361
-a_	 360
-ko	 359
-et_	 358
-ysk	 356
-Fry	 354
-Frys	 354
-z	 354
-ll	 350
-_be	 349
-ke_	 348
-I	 347
-ing	 346
-_'	 345
-m_	 343
-h_	 340
-ske	 339
-_ha	 338
-sje	 336
-_Fry	 336
-_Frys	 336
-wi	 335
-_op	 334
-p_	 334
-_is	 333
-ch_	 333
-tr	 330
-ten	 328
-ers	 327
-wa	 325
-ter	 322
-ji	 322
-rysk	 319
-_ne	 319
-je_	 312
-foa	 311
-ê	 309
-jo	 307
-_is_	 307
-ste	 307
-_te	 306
-â	 301
-n.	 301
-nne	 300
-rt	 300
-foar	 299
-S	 299
-mei	 299
-_r	 298
-_oa	 297
-wu	 293
-ak	 291
-si	 290
-wur	 290
-ni	 290
-pe	 288
-Frysk	 287
-oan	 286
-n._	 285
-_mei	 284
-der_	 281
-_foar	 281
-_foa	 281
-ht	 278
-cht	 277
--	 275
-ú	 275
-_j	 274
-ne_	 273
-ken	 273
-fer	 271
-ûn	 270
-am	 270
-on	 268
-nde	 264
-_S	 264
-B	 262
-ki	 261
-id	 261
-le_	 261
-dat	 260
-v	 259
-_I	 256
-oar_	 255
-op_	 254
-lle	 252
-la	 244
-tt	 243
-dat_	 242
-_fe	 242
-mm	 240
-inn	 239
-_wi	 239
-_dat	 237
-g_	 236
-mei_	 236
-al_	 235
-_B	 234
-e.	 234
-ld	 231
-_al	 230
-_wur	 230
-urd	 230
-_wu	 230
-_op_	 230
-De	 229
-inne	 228
-ng_	 227
-_mei_	 227
-'t	 226
-ks	 226
-'t_	 224
-_dat_	 224
-_ko	 223
-_st	 220
-ân	 219
-rk	 219
-sa	 219
-e._	 219
-tte	 218
-en.	 218
-n,	 217
-ier	 216
-ten_	 216
-_fer	 215
-mi	 215
-hi	 215
-ien	 214
-_wa	 213
-n,_	 213
-no	 213
-_te_	 212
-ig	 212
-_De	 212
-ske_	 212
-_der	 212
-W	 211
-H	 211
-_oan	 210
-ee	 209
-dy	 208
-ek_	 207
-en._	 207
-ic	 207
-mme	 206
-yk	 204
-pr	 204
-net	 203
-foar_	 203
-he	 203
-wurd	 201
-_der_	 199
-jen	 199
-_dy	 199
-kr	 198
-ka	 197
-im	 196
-_H	 196
-il	 196
-ze	 196
-_ma	 195
-by	 194
-oer	 194
-kt	 193
-us	 193
-M	 193
-sk_	 192
-wo	 192
-_hi	 191
-or	 190
-ing_	 190
-_W	 190
-ich	 189
-De_	 187
-rr	 186
-int	 185
-_ú	 184
-:	 184
-ij	 184
-_ek	 183
-eg	 182
-:_	 180
-gen	 180
-as_	 180
-_se	 179
-e,	 178
-_net	 177
-e,_	 177
-ins	 177
-N	 177
-ls	 176
-st_	 176
-_wurd	 176
-ie_	 175
-E	 175
-nne_	 175
-_De_	 175
-sy	 175
-wer	 174
-gr	 174
-f_	 173
-nk	 172
-och_	 172
-net_	 169
-ad	 169
-_we	 169
-rde	 168
-sl	 168
-bi	 168
-of	 168
-so	 168
-_no	 167
-_ta	 167
-re_	 167
-to	 167
-den	 167
-J	 167
-t.	 166
-It	 165
-út	 165
-inne_	 165
-ysk_	 165
-lik	 164
-sp	 163
-_ek_	 162
-ou	 162
-tsj	 162
-It_	 161
-_sa	 160
-A	 160
-wol	 160
-lâ	 159
-_wo	 159
-ge_	 159
-lân	 159
-ige	 158
Index: unk/gsdl/perllib/textcat/georgian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/georgian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 14926
-À	 7221
-È	 5780
-Ä	 4137
-Ð	 2966
-Ñ	 2908
-Ë	 2607
-Ê	 2372
-Í	 2260
-Å	 2080
-Ã	 2078
-Ì	 2005
-Ç	 1598
-Á	 1383
-Ó	 1363
-È_	 1248
-À_	 1149
-Â	 1145
-ÊÈ	 1009
-Þ	 974
-_Ë	 965
-Ñ_	 964
-ÃÀ	 912
-ÈÑ	 901
-ÀÐ	 897
-Ø	 820
-.	 813
-ÄÁ	 767
-"	 762
-._	 735
-,	 720
-,_	 718
-ÑÀ	 684
-_À	 669
-Ú	 653
-ËÀ	 631
-ÀÌ	 622
-ÄÊ	 575
-ÐÈ	 570
-ÅÄ	 567
-Õ	 551
-_Ã	 550
-Ò	 542
-_Ñ	 526
-É	 518
-ÀË	 517
-ÅÀ	 485
-ÅÈ	 479
-ÂÀ	 478
-_Â	 474
-ÓÊ	 468
-_È	 436
-ÐÀ	 435
-ÀÅ	 420
-ËÈ	 419
-ÌÈ	 418
-ÄÐ	 416
-ÄÌ	 412
-ÈÑ_	 407
-_ÃÀ	 404
-ÃÀ_	 393
-ÀÊ	 384
-ËÍ	 382
-Ü	 376
-_"	 374
-ÊÈ_	 371
-×	 369
-ÐÍ	 364
-ÀÑ	 360
-ÈÇ	 358
-ÀÃ	 353
-ÌÀ	 349
-Ô	 349
-ÁÀ	 342
-Æ	 341
-ËÄ	 335
-ÈÀ	 334
-ÈÊ	 332
-ÐÇ	 326
-_Ð	 322
-ÁÈ	 321
-ØÈ	 319
-_Ä	 319
-_Ø	 319
-ÃÄ	 317
-_ÂÀ	 316
-ÇÀ	 316
-ÄÑ	 306
-Ä_	 299
-_Ç	 288
-ÐÄ	 279
-ÓÊÈ	 273
-ÊÍ	 271
-Ö	 270
-Ì_	 267
-ÌÄ	 267
-_ÑÀ	 266
-ÍÁ	 263
-ÓÐ	 260
-Ç_	 256
-ÄÊÈ	 255
-ÃÈ	 238
-ÊÄ	 238
-ÑÈ	 234
-ÊÀ	 233
-ÍÐ	 230
-ÈÌ	 229
-_Þ	 227
-"_	 225
-ÄÁÈ	 224
-:	 224
-:_	 223
-È.	 221
-_ÃÀ_	 217
-Û	 215
-ÞÄ	 213
-È,	 213
-È,_	 212
-_Ó	 211
-Í_	 209
-_ËÀ	 208
-ÈÑÀ	 208
-ÍË	 206
-_ÀÐ	 204
-ÇÅ	 203
-ÀÐÇ	 203
-ØÄ	 203
-È._	 201
-À.	 200
--	 193
-ÀÞ	 192
-ÅÄÊ	 192
-Ú_	 189
-ÈÃ	 188
-Ù	 188
-ÕÀ	 187
-Ã_	 185
-ÈÊÈ	 183
-ÄÃ	 179
-À._	 177
-Ð_	 177
-ÍÃ	 174
-ÞÀ	 174
-ÈÐ	 173
-ÌÃ	 172
-_ÐÍ	 172
-ÍÑ	 172
-ÄÁÀ	 171
-_ËÍ	 170
-ÐÈ_	 170
-_ËÈ	 170
-_Ü	 169
-ÇÈ	 166
-ÁÄ	 166
-_Õ	 165
-ØÈ_	 165
-ÄÑ_	 163
-ÀÈ	 162
-_ØÄ	 160
-ÄÅ	 158
-_É	 155
-ÀÚ	 154
-ÊÈÑ	 153
-Î	 151
-Ë_	 149
-ÕÀÐ	 148
-À,_	 147
-À,	 147
-ÀÇ	 147
-ÀÂ	 145
-ÕÀÐÇ	 145
-ÈÂ	 143
-ËÀÐ	 143
-ÍÊ	 143
-ÀÊÈ	 142
-ÂÈ	 142
-ÌÄÁ	 141
-ÄË	 140
-ÀØ	 139
-ÓÊÈ_	 139
-ÄÇ	 139
-ÇÓ	 138
-_Ì	 136
-ÈÇ_	 135
-ÀÐÈ	 133
-ÀÌ_	 132
-ÊÄÁ	 131
-×Í	 130
-ÑÄ	 130
-ÈË	 130
-ÐÄÁ	 128
-ÀÕ	 125
-ÆÄ	 125
-ÔÄ	 125
-Ê_	 124
-ÀÅÈ	 124
-ÀÃ_	 124
-ÅÈÑ	 123
-_ËÄ	 123
-ÀËÈ	 122
-_ÕÀ	 121
-ÉÈ	 121
-_Å	 120
-×Å	 120
-ÍÅ	 116
-_Á	 114
-ÀÌÈ	 113
-ÀËÍ	 113
-ÂÀÌ	 113
-ÍÌ	 112
-ÉÀ	 112
-ÈÚ	 112
-ØÀ	 112
-ÀÐÀ	 111
-ÁÓ	 111
-ÞÅ	 109
-ÀÖ	 109
-ÂÍ	 107
-ÁÀ_	 107
-ÌÈ_	 107
-ÅÀÐ	 107
-ÄÊÈ_	 106
-ÐÃ	 106
-ÀÐ_	 106
-_ÀË	 105
-ß	 104
-ÄÐÇ	 104
-_ÄÐ	 104
-ÅÄÌ	 103
-_ÄÑ	 103
-ÐÍË	 103
-ÄÌÈ	 103
-_Ú	 103
-ÁÍ	 102
-_Ù	 102
-ËÈÑ	 102
-ÐÈÑ	 102
-ÞÍ	 102
-_ÐÍË	 101
-_ÕÀÐ	 101
-ÈÅ	 100
-_ÕÀÐÇ	 100
-ÓÐÈ	 99
-ÒÈ	 99
-ÂÄ	 99
-ÈÒ	 99
-ÀÀ	 97
-ÀÒ	 97
-ÁÓÊ	 96
-ÕÅ	 94
-ÈÄ	 94
-_ÇÀ	 94
-Ñ,_	 93
-ÐÑ	 93
-ÅÊ	 93
-_ØÀ	 93
-Ñ,	 93
-_ÑÈ	 93
-ÀÉ	 93
-ÀÆ	 92
-ÍÁÀ	 92
-ÀÑ_	 92
-ÌÍ	 91
-ÄÁÓ	 91
-ÇÕ	 91
-ËÓ	 90
-ÄÌ_	 90
-ÇÀÅ	 89
-ÄÁÓÊ	 89
-ÊÑ	 89
-ÀØÈ	 89
-ÃÄÁ	 89
-ÀÁ	 89
-È"	 89
-Ñ.	 88
-ÚÞ	 88
-ÂÀË	 88
-ÍÑ_	 87
-_ÄÐÇ	 87
-È×	 87
-ÁÈÑ	 87
-ÌÃÀ	 87
-ØÅ	 87
-ÞÄÊ	 87
-ÁÈÇ	 85
-ÑÀ_	 85
-ÇÅÄ	 85
-ÓÌ	 85
-ÒÀ	 85
-_Î	 84
-ÊÈ.	 84
-_ÐÀ	 83
-Ñ._	 83
-_Ô	 83
-_ÂÀË	 83
-ÊÈÀ	 83
-ÊÈ._	 82
-ÄÐÈ	 82
-ÈÀ_	 82
-ÈÀÌ	 82
-ÜÈ	 81
-ÀÚ_	 81
-"Ë	 81
-ÈÓ	 80
-_"Ë	 80
-ÐÇÅ	 80
-_ÄÑ_	 79
-_ÈÂ	 79
-ÀÓ	 79
-ÈÕ	 79
-ÀÐÇÅ	 79
-ÇÈ_	 79
-ÑÀÞ	 79
-ÐÇÓ	 78
-ÊÈ,	 78
-ÚÈ	 78
-ÞÈ	 78
-ÐÇÓÊ	 78
-ÇÓÊ	 78
-ÊÈ,_	 78
-ÀÃÀ	 78
-ÁÑ	 78
-_ÀÐ_	 77
-ÞÊ	 77
-ÐÓ	 77
-ÀÐÇÓÊ	 77
-_ÌÀ	 77
-ÅÈÇ	 77
-ÈÂÈ	 77
-ÀÐÇÓ	 77
-ÜÀ	 76
-ÅÀ_	 75
-_ÞÀ	 75
-ÉÅ	 75
-ÒÄ	 75
-ÐÀ_	 75
-ÅÀÊ	 75
-ÇÅÄÊ	 74
-ÐÇÅÄ	 74
-ÀÐÇÅÄ	 74
-ÄÁÀ_	 74
-ÐË	 73
-ÑÞ	 73
-ÑÒ	 73
-ÅÑ	 73
-ÑÓ	 73
-ÐÇÅÄÊ	 73
-ËÞ	 73
-ÍÊÍ	 72
-ÐÚ	 72
-_×	 72
-ÂÐ	 71
-ÅÄ_	 71
-ÒÍ	 71
-ÇÄ	 71
-ÍÂ	 71
-ÅÄÁ	 71
-ÕÀÐÇÓ	 71
-ÐÀÃ	 70
-ÀË_	 70
-ÅÃ	 69
-ËÀ_	 69
-ÍÄ	 69
-_ÀÐÀ	 67
-à	 67
-ÄÃÀ	 67
-ÇÀÌ	 67
-È×Í	 67
-ÕÀÐÇÅ	 67
-Ò×	 67
-ÂÀËÍ	 66
-_ÂÀËÍ	 66
-ÄÒ	 66
-ÍÃÀ	 66
-ÅÄÊÈ	 66
-ÀÌÀ	 66
-ÄÁÈÇ	 66
-_ÈÂÈ	 66
-ÄÊÍ	 65
-ÄÂ	 65
-ËÈÊ	 65
-ÊË	 65
-ÈÊÈ_	 65
-ÍÁÈ	 65
-ÅÐ	 65
-_ÈÑ	 64
-Ó_	 63
-ËÃ	 63
-",	 63
-ÃÍ	 63
-ÊÍÁ	 63
-ÂÅ	 63
-ÃÂ	 63
-ÄÍ	 62
-À"	 62
-ÀÅÀ	 62
-?	 62
-",_	 62
-!	 62
-_È×	 62
Index: unk/gsdl/perllib/textcat/greek-iso8859-7.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/greek-iso8859-7.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 89284
-á	 19666
-ô	 16086
-ï	 15826
-å	 14848
-é	 12766
-í	 12189
-ð	 8776
-ó	 8653
-ñ	 8399
-ê	 7761
-ì	 7529
-õ	 6850
-Ü	 6284
-_ô	 5918
-ë	 5802
-ò	 5371
-á_	 5272
-ç	 5236
-Ý	 4739
-ß	 4609
-ü	 4489
-ôï	 4461
-ò_	 4111
-ïõ	 4075
-é_	 4033
-å_	 4019
-.	 3916
-_ê	 3897
-ï_	 3836
-._	 3810
-í_	 3661
-_ð	 3414
-_ó	 3333
-"	 3247
-_ì	 3242
-_ôï	 3118
-,	 3106
-,_	 3068
-ã	 3058
-_á	 2912
-ù	 2689
-íá	 2593
-ä	 2455
-ôá	 2420
-÷	 2411
-êá	 2406
-óô	 2406
-_å	 2353
--	 2335
--_	 2192
-ý	 2171
-áí	 2162
-ôç	 2151
-Þ	 2141
-õ_	 2133
-áé	 2100
-è	 2053
-ö	 1989
-ïõ_	 1974
-åé	 1889
-_êá	 1882
-åß	 1864
-ôï_	 1802
-ðï	 1771
-áé_	 1727
-óå	 1709
-_í	 1647
-_"	 1619
-ç_	 1609
-éá	 1602
-íá_	 1518
-ôé	 1501
-ïí	 1501
-ôïõ	 1495
-ìå	 1460
-_ôïõ	 1407
-_Ý	 1405
-_óô	 1396
-þ	 1364
-ðå	 1359
-ôå	 1300
-ìá	 1298
-â	 1274
-ñé	 1252
-ü_	 1241
-_ä	 1231
-î	 1223
-íô	 1220
-_ôï_	 1196
-áð	 1187
-ñï	 1184
-_ã	 1183
-_ôç	 1177
-æ	 1158
-_åß	 1150
-Ü_	 1150
-_íá	 1124
-Ýí	 1115
-êáé	 1110
-_êáé	 1093
-áí_	 1082
-ñá	 1078
-êáé_	 1061
-_íá_	 1060
-_êáé_	 1053
-ìð	 1049
-íï	 1048
-áô	 1036
-éï	 1024
-éá_	 1018
-åñ	 1003
-ïý	 993
-_áð	 984
-óå_	 974
-éê	 973
-_ï	 967
-åí	 947
-ïò	 936
-åé_	 935
-ðü	 901
-ëï	 892
-_ìå	 890
-íå	 884
-ôïõ_	 871
-ïí_	 869
-áò	 865
-_ôïõ_	 854
-áó	 841
-ìå_	 840
-óá	 834
-êï	 833
-áñ	 832
-ðñ	 824
-ßí	 820
-êÜ	 808
-_ðï	 804
-ðé	 796
-Ê	 796
-ìÝ	 783
-ìï	 777
-Ýñ	 772
-áë	 766
-çí	 762
-Ì	 759
-éó	 745
-êå	 742
-ôá_	 740
-óôï	 738
-ù_	 730
-çí_	 728
-Ï	 717
-Ô	 714
-_ö	 711
-åô	 705
-äå	 704
-ðá	 697
-áò_	 688
-ôÜ	 684
-ïò_	 683
-_ü	 680
-_Ê	 675
-ïé	 671
-_÷	 670
-ôçí	 663
-ôçí_	 658
-_óôï	 647
-Þ_	 645
-ðü_	 638
-_è	 633
-_ï_	 631
-",	 630
-_ðñ	 626
-_Ì	 624
-ßð	 624
-Üí	 623
-",_	 623
-áðü	 620
-ðïõ	 619
-üô	 618
-ëá	 617
-ôïí	 617
-_áðü	 616
-ìé	 612
-Ï_	 611
-ñå	 607
-õô	 604
-ëå	 595
-_ë	 594
-ñü	 590
-_ìå_	 586
-éÜ	 580
-ôïí_	 577
-ãé	 577
-_Ï	 575
-áðü_	 572
-Üñ	 570
-ðÜ	 570
-_áðü_	 569
-ñÜ	 562
-ôáí	 554
-Ýíá	 553
-õí	 552
-ðïõ_	 551
-äé	 547
-ôñ	 547
-ôü	 544
-_â	 540
-÷å	 536
-åí_	 534
-çó	 528
-_Ï_	 525
-çò	 520
-".	 519
-_ðïõ	 516
-_Ô	 515
-"._	 513
-ôç_	 512
-ò.	 510
-åßð	 508
-ôáí_	 504
-_åßð	 503
-ò._	 501
-_ôá	 500
-îå	 497
-óôï_	 496
-ëë	 493
-áê	 492
-Á	 491
-_ðïõ_	 490
-Üë	 489
-ßðå	 489
-åßðå	 485
-_åßðå	 483
-_ôçí	 483
-ôé_	 482
-_ôçí_	 481
-Üô	 480
-ëé	 480
-_äå	 479
-Üì	 477
-_óôï_	 475
-óï	 473
-_Ü	 468
-"_	 463
-ìÝí	 463
-éí	 461
-éò	 452
-_áí	 452
-êü	 451
-áõ	 451
-_ôïí	 450
-_ãé	 449
-èá	 447
-åò	 446
-óç	 446
-_ìé	 445
-_ôïí_	 443
-å.	 441
-å._	 441
-ïõò	 439
-ëÜ	 439
-õò	 439
-ïë	 438
-ðéï	 437
-ïñ	 432
-_ðá	 428
-_êÜ	 427
-ôå_	 427
-áì	 423
-;	 423
-_ìï	 422
-óê	 421
-ôçò	 421
-_î	 418
-óôç	 415
-ÊÜ	 411
-íç	 408
-ãéá	 405
-á.	 403
-êñ	 402
-êé	 402
-ò,	 402
-ò,_	 401
-á._	 398
-çê	 397
-_ÊÜ	 397
-åë	 396
-_Ýí	 395
-_Þ	 393
-_ìá	 392
-ßá	 391
-ùò	 391
-ëç	 390
-ßíá	 389
-ðß	 389
-ìïõ	 388
-ìÜ	 388
-_áõ	 387
-çò_	 386
-óõ	 384
-íáé	 384
-Ð	 383
-áõô	 382
-ß_	 376
-ìðé	 375
-ßó	 372
-_ôçò	 370
-_ôá_	 367
-_ãéá	 365
-_Ýíá	 362
-_ìð	 361
-èå	 361
-éïí	 359
-éò_	 358
-ôÞ	 358
-_èá	 354
-_áõô	 354
-Üìð	 352
-ê.	 352
-ê._	 351
-åßí	 351
-ïì	 350
-ßíáé	 348
-íôá	 348
-íáé_	 348
-ùò_	 347
-÷á	 346
-Å	 346
-õ.	 346
-ãéá_	 346
-õ._	 345
-äåí	 345
-Ýíá_	 345
-á,	 344
-á,_	 344
-äåí_	 344
-ýñ	 343
-üí	 343
-á-	 342
-ýó	 341
-_ê.	 340
-óôå	 339
-ÊÜì	 339
-_ê._	 339
-ôÝ	 339
-á-_	 338
-åõ	 338
-éë	 338
-ñß	 338
-ÊÜìð	 338
-_ìïõ	 338
-_ÊÜì	 338
-_ÊÜìð	 337
-õì	 336
-óåé	 336
-ðéïí	 336
-ìðéïí	 336
-ìðéï	 336
-_êï	 334
-ÊÜìðé	 334
-_ç	 334
-Üìðé	 334
-èá_	 333
-íé	 332
-ôçò_	 331
-ø	 331
-üì	 330
-çóå	 330
-_óá	 329
-ìá_	 328
-üò	 328
-Ó	 326
-_äåí	 325
-_äåí_	 325
-óì	 324
-åò_	 324
-ðåñ	 324
-ß÷	 323
-ßíáé_	 323
-ôéê	 322
-_ñ	 321
-Üìðéï	 321
-õò_	 321
-ïõò_	 321
-_ðå	 321
-óù	 320
-_ãéá_	 320
-ðñï	 320
-ãå	 318
-;"	 316
-;"_	 316
-Ä	 315
-ôõ	 314
-ñá_	 313
-_óõ	 312
-ñù	 312
-_èá_	 310
-üó	 309
-ïõ.	 309
Index: unk/gsdl/perllib/textcat/hawaian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/hawaian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 35416
-a	 12973
-i	 6074
-o	 5151
-a_	 5093
-k	 5083
-e	 4551
-l	 3544
-u	 3442
-n	 3100
-_k	 2908
-e_	 2600
-i_	 2556
-h	 2489
-o_	 2245
-m	 2060
-ka	 1994
-'	 1943
-_i	 1899
-_a	 1620
-,	 1539
-,_	 1516
-_m	 1372
-_ka	 1339
-ma	 1338
-na	 1325
-p	 1235
-ä	 1233
-Ô	 1192
-ÿ	 1189
-ka_	 1085
-la	 1070
-ua	 1065
-ak	 997
-_i_	 995
-ai	 989
-ke	 977
-_h	 968
-K	 941
-_'	 938
-_l	 933
-u_	 920
-_K	 912
-_n	 894
-_ka_	 891
-.	 890
-an	 847
-_ma	 836
-ia	 812
-le	 804
-ke_	 753
-._	 749
-na_	 748
-au	 736
-ho	 700
-a,	 674
-ah	 670
-a,_	 666
-_ÿ	 662
-ku	 660
-lo	 654
-hi	 619
-_ke	 617
-_o	 616
-_p	 613
-ia_	 605
-'o	 589
-Ka	 586
-_Ka	 581
-el	 570
-ana	 569
-_a_	 566
-ä_	 564
-la_	 561
-w	 555
-al	 549
-_Ô	 539
-ko	 528
-_ke_	 518
-ik	 515
-_o_	 502
-'a	 495
-a'	 484
-ol	 465
-ha	 462
-ua_	 462
-	 459
-pu	 454
-no	 454
-_'o	 445
-ne	 438
-aku	 432
-le_	 427
-_ia	 422
-am	 420
-ÿo	 419
-wa	 415
-he	 414
-ahi	 412
-li	 410
-_ak	 394
-ai_	 393
-ele	 388
-Ôo	 388
-ki	 382
-H	 382
-on	 381
-'o_	 369
-_ho	 367
-au_	 366
-_aku	 364
-_e	 358
-pua	 357
-_H	 355
-me	 355
-_'o_	 352
-il	 352
-ama	 351
-pa	 348
-in	 346
-mai	 345
-_e_	 345
-O	 342
-_mai	 336
-A	 333
-_ia_	 332
-a.	 331
-oh	 319
-Kam	 317
-_Kam	 316
-P	 310
-aka	 308
-ul	 307
-_me	 307
-ap	 306
-"	 304
-aÔ	 302
-Kama	 299
-_Kama	 298
-ana_	 296
-_P	 294
-a._	 292
-_ko	 291
-i,	 289
-a'a	 288
-i,_	 288
-'i	 285
-Ôa	 278
-_w	 273
-_ÿo	 270
-ei	 269
-ele_	 261
-M	 260
-oa	 259
-ÿo_	 259
-_la	 257
-un	 255
-_Ôo	 253
-lu	 250
-nä	 249
-lä	 248
-apu	 245
-_M	 243
-ea	 243
-Ôi	 243
-ö	 242
-ua'	 241
-ÿa	 240
-Ôo_	 239
-ih	 239
-iki	 238
-_he	 235
-apua	 233
-ua'a	 229
-hi_	 228
-mapu	 226
-Kamap	 226
-amapu	 226
-mapua	 226
-amap	 226
-pua'	 226
-map	 226
-pua'a	 226
-ma_	 222
-_ÿo_	 221
-_wa	 218
-_no	 214
-e,	 214
-ila	 214
-ona	 213
-no_	 213
-he_	 210
-I	 209
-e,_	 209
-ok	 208
-ail	 206
-ula	 206
-lo_	 205
-nä_	 205
-ë	 204
-mak	 204
-me_	 204
-oe	 202
-aila	 201
-nu	 201
-_Ôo_	 200
-_me_	 200
-_lä	 200
-O_	 199
-ÿi	 197
-_iä	 195
-_iä_	 195
-iä_	 195
-_	 195
-iä	 195
-una	 191
-ake	 191
-kä	 189
-_u	 187
-ou	 185
-_nä	 185
-ni	 185
-apua'	 184
-nei	 183
-_ma_	 182
-i.	 181
-kau	 180
-Ma	 180
-iho	 179
-_pa	 176
-ahi_	 176
-mo	 176
-_Ma	 174
-ona_	 174
-oÔ	 173
-"_	 171
-ki_	 171
-_lo	 170
-kah	 168
-ho_	 167
-hu	 167
-'a_	 166
-kua	 165
-_I	 165
-_nä_	 164
-kul	 162
-ne_	 162
-ü	 162
-mai_	 162
-N	 161
-än	 160
-alo	 159
-iki_	 159
-kai	 159
-ila_	 158
-_mai_	 158
-i._	 155
-a'a_	 155
-_mak	 153
-_kä	 153
-aila_	 152
-He	 151
-li_	 151
-akul	 150
-kula	 149
-_pu	 149
-ao	 149
-_akul	 149
-akula	 149
-kon	 148
-na,	 147
-kona	 147
-na,_	 147
-ole	 147
-L	 147
-_ne	 146
-i'	 146
-E	 145
-hik	 144
-_kona	 144
-aÔa	 144
-_kon	 144
-ula_	 144
-loa	 142
-o'	 141
-_nei	 141
-_'a	 141
-_an	 139
-_He	 139
-_ha	 139
-kona_	 138
-_kau	 137
-_N	 137
-oe_	 137
-nak	 137
-_ih	 137
-_A	 136
-hiki	 136
-_ana	 135
-aÿ	 133
-_"	 133
-aka_	 133
-ku_	 132
-ala	 132
-mail	 132
-	 132
-aua	 132
-'i_	 132
-maila	 131
-_mail	 131
-aw	 131
-ha_	 130
-kahi	 129
-Ôi_	 129
-hel	 128
-ea_	 128
-ui	 127
-_L	 127
-_iho	 126
-op	 126
-_al	 126
-I_	 125
-Pe	 125
-wah	 125
-aha	 125
-uk	 124
-lel	 124
-oÿ	 124
-hin	 123
-_Pe	 123
-ali	 123
-hol	 123
-_ai	 123
-po	 122
-akua	 122
-hele	 122
-kula_	 121
-_ÿa	 121
-ola	 121
-ua'a_	 120
-aik	 120
-ou_	 120
-'O	 119
-_wah	 119
-eh	 119
-una_	 119
-u,	 118
-ake_	 118
-kou	 117
-_I_	 117
-Pel	 116
-_he_	 116
-Pele	 116
-'e	 116
-_Pele	 116
-_Pel	 116
-hine	 115
-la,	 115
-ani	 115
-kan	 115
-ine	 115
-aku_	 114
-naka	 114
-A_	 114
-la,_	 114
-ÿe	 113
-_'O	 113
-u,_	 112
-ahin	 112
-_ku	 111
-'O_	 111
-wahi	 111
-ole_	 110
-ahine	 110
-hoÔ	 110
-."	 110
-ono	 110
-_pua	 109
-wai	 109
-i'i	 109
-'u	 109
-_hoÔ	 108
-make	 108
-_O	 108
-_hi	 108
-_'O_	 108
-ek	 107
-oa_	 107
-."_	 107
-_wahi	 107
-	 107
-ola_	 106
-ö_	 106
-ko_	 106
-kë	 106
-ika	 105
-olo	 104
-_no_	 104
-_ua	 104
-_aku_	 104
Index: unk/gsdl/perllib/textcat/hebrew-iso8859_8.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/hebrew-iso8859_8.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 81560
-é	 23072
-å	 19215
-ä	 15606
-ì	 12612
-ø	 11293
-ú	 11070
-î	 10090
-á	 9648
-à	 9601
-ù	 9081
-ä_	 7811
-ð	 6685
-ò	 6326
-_ú	 5878
-í	 5542
-ã	 5019
-ç	 4669
-_í	 4570
-á_	 4267
-ë	 3984
-_ä	 3812
-÷	 3769
-ô	 3699
-ì_	 3693
-íé	 3535
-î_	 3489
-ñ	 3374
-à_	 3362
-úå	 3130
-,	 3067
-_ì	 3037
-_,	 3035
-_é	 2936
-ù_	 2886
-_íé	 2840
-â	 2768
-è	 2626
-ï	 2424
-_ø	 2395
-_úå	 2291
-.	 2256
-ö	 2215
-_.	 2205
-éð	 2144
-ò_	 2003
-_ï	 1959
-_å	 1913
-"	 1815
-éá	 1797
-ìù	 1742
-éì	 1687
-éø	 1665
-é_	 1647
-åé	 1620
-å_	 1578
-åø	 1525
-úà	 1475
-ë_	 1469
-øå	 1411
-æ	 1383
-åð	 1353
-îä	 1351
-úé	 1343
-éé	 1343
-ìå	 1315
-éã	 1285
-øé	 1236
-îä_	 1211
-äì	 1206
-åî	 1192
-ðé	 1163
-øù	 1155
-éà	 1146
-àø	 1138
-_úà	 1137
-ùé	 1134
-éù	 1087
-ð_	 1080
-ìà	 1074
-åç	 1067
-_à	 1062
-ùî	 1059
-éî	 1052
-äé	 1047
--	 1024
-ìù_	 1008
-åä	 973
-øá	 967
-åà	 954
-úà_	 951
-åì	 948
-_ã	 941
-éä	 896
-ðå	 888
-åò	 883
-éë	 873
-åù	 871
-ìò	 867
-àì	 850
-òå	 843
-_-	 830
-ç_	 830
-ãå	 824
-ïå	 820
-ø_	 806
-åá	 805
-_ìù	 799
-éè	 784
-àä	 773
-_ìù_	 748
-éò	 746
-ãé	 743
-_ù	 726
-_úà_	 723
-ê	 720
-_úé	 719
--_	 716
-_-_	 713
-áé	 709
-áå	 706
-åú	 699
-àä_	 690
-øî	 686
-ùä	 683
-åã	 678
-éç	 675
-ô_	 672
-äð	 669
-_á	 668
-_ò	 659
-_ê	 655
-éñ	 652
-ïé	 649
-_ìò	 640
-éå	 635
-àî	 635
-éá_	 632
-ú_	 631
-îà	 628
-ùå	 627
-_ïå	 624
-ìé	 624
-ìò_	 621
-úä	 619
-éú	 600
-äì_	 599
-åë	 599
-éô	 596
-ôä	 595
-å÷	 586
-äù	 578
-òé	 575
-_ïé	 569
-îå	 564
-_ìò_	 561
-÷é	 560
-éâ	 557
-éä_	 557
-øùé	 554
-íå	 548
-àì_	 548
-úåé	 548
-ìàø	 546
-øà	 542
-äø	 540
-"_	 540
-îá	 539
-ùä_	 538
-åô	 538
-àøù	 535
-øò	 534
-çä	 533
-åâ	 532
-àøùé	 530
-ìàøùé	 530
-ìàøù	 530
-àå	 527
-îé	 525
-_éë	 518
-äî	 518
-ôä_	 511
-éë_	 510
-_éð	 509
-ìë	 506
-úî	 502
-îá_	 500
-ñå	 498
-çà	 497
-é÷	 497
-åå	 494
-_÷	 485
-â_	 481
-íéì	 477
-_äé	 477
-ãî	 472
-áä	 470
-,ä	 470
-_,ä	 470
-÷_	 469
-òá	 468
-_íå	 467
-äá	 467
-çä_	 466
-_éë_	 463
-àá	 462
-øç	 462
-_àì	 461
-õ	 455
-îì	 454
-éðé	 454
-ùà	 453
-øä	 453
-éö	 452
-íéø	 451
-_äð	 447
-èé	 443
-ã_	 441
-îò	 440
-íéé	 439
-åä_	 439
-'	 435
-àî_	 430
-.í	 429
-úð	 429
-_.í	 428
-ø÷	 427
-úø	 423
-åñ	 417
-ðù	 417
-_äì	 414
-ñì	 413
-ðú	 408
-ñ_	 405
-ñä	 400
-ìô	 400
-áù	 399
-,í	 399
-_,í	 399
-îî	 397
-ùé_	 396
-ðá	 396
-òä	 394
-úä_	 393
-úåð	 393
-íéð	 389
-_øå	 385
-øîà	 384
-éà_	 384
-ìá	 384
-úá	 381
-áø	 378
-áä_	 377
-èñ	 374
-_õ	 374
-òî	 374
-çé	 373
-øô	 373
-äå	 371
-çå	 370
-áì	 370
-_ìà	 370
-÷å	 367
-_äø	 366
-_íéø	 364
-çî	 363
-æ_	 362
-_ç	 360
-ðë	 360
-_ìå	 360
-ëå	 359
-,ú	 358
-_,ú	 357
-îú	 356
-éðå	 353
-åøé	 353
-åà_	 349
-øã	 348
-úåø	 348
-àé	 345
-ó	 345
-ìùî	 344
-ëé	 340
-_íéì	 340
-åö	 338
-úì	 338
-_íéé	 336
-øçà	 335
-_úåé	 335
-îà_	 332
-ìç	 331
-_úø	 329
-_úåð	 325
-âé	 325
-òä_	 325
-:	 324
-ôì	 324
-àá_	 324
-ùø	 322
-øè	 321
-úù	 320
-ö_	 320
-îò_	 319
-åé_	 319
-_:	 319
-öî	 316
-ùîî	 315
-_ñ	 315
-úéð	 315
-ñî	 315
-äã	 313
-øä_	 312
-åè	 312
-_ó	 310
-ùàø	 309
-øùé_	 305
-àøùé_	 305
-.íé	 305
-_.íé	 304
-äú	 303
-éèñ	 303
-_'	 303
-âä	 302
-ùî_	 302
-_íéð	 301
-ìä	 298
-øâ	 294
-çè	 293
-ãò	 293
-íéã	 292
-àù	 292
-ìùîî	 292
-íò	 292
-éãé	 290
-ùì	 289
-ôå	 289
-ãá	 289
-öå	 287
-_íò	 286
-,íé	 285
-_,íé	 285
-ðî	 284
-ñé	 282
-ùá	 282
-_øù	 281
-ãø	 281
-_úåø	 281
-÷ä	 280
-úåù	 278
-äù_	 276
-îì_	 276
-_àì_	 275
-åäé	 274
-_ìàø	 274
-ôé	 274
-òá_	 271
-ìà_	 271
-áà	 270
-çà_	 269
-çì	 268
-òô	 267
-áò	 267
-.ä	 266
-_øé	 266
-_ìàøù	 266
-åðé	 266
-_.ä	 265
-éèñì	 265
-èñì	 265
-éìà	 265
-úò	 264
-ðä	 263
-÷ì	 262
-ðéè	 260
-_.ú	 260
-.ú	 260
-ôì_	 260
-äå_	 259
-ñìô	 258
-èñìô	 258
-éèñìô	 258
-ðéèñì	 257
-ðéèñ	 257
-åî_	 256
-ñä_	 256
-îù	 255
-éøå	 255
-ðù_	 254
-åîú	 254
-ää	 252
-á÷	 251
-éù_	 251
-_åð	 251
-éøá	 251
-_øá	 249
-_éã	 249
-_íéã	 249
-ëä	 248
-âð	 247
-_ãå	 247
Index: unk/gsdl/perllib/textcat/hungarian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/hungarian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 19186
-e	 5753
-a	 4627
-t	 4522
-s	 3480
-l	 3437
-n	 3137
-k	 3036
-i	 2527
-r	 2437
-z	 2399
-o	 2303
-á	 2039
-é	 1995
-g	 1978
-m	 1695
-y	 1338
-_a	 1256
-b	 1186
-d	 1148
-a_	 1108
-v	 1057
-t_	 901
-sz	 889
-el	 832
-,	 819
-,_	 818
-h	 792
-k_	 769
-.	 767
-et	 743
-gy	 711
-s_	 705
-_m	 702
-_a_	 695
-en	 671
-ö	 662
-n_	 646
-_k	 645
-j	 623
-._	 613
-i_	 606
-eg	 601
-p	 586
-_e	 580
-u	 579
-le	 576
-ó	 542
-er	 495
-f	 485
-ek	 477
-te	 477
-és	 473
-_s	 471
-al	 464
-ta	 458
-í	 453
-_h	 444
-_t	 442
-an	 426
-ze	 425
-me	 406
-at	 405
-l_	 401
-es	 395
-õ	 387
-y_	 381
-z_	 375
-tt	 374
-ke	 372
-_v	 369
-ás	 368
-ak	 367
-_é	 365
-ny	 363
-tá	 359
-c	 358
-re	 350
-to	 347
-A	 343
-e_	 340
-ü	 332
-ne	 330
-os	 326
-ál	 320
-_f	 320
-az	 317
-zt	 317
-ár	 317
-_n	 315
-ko	 312
-_A	 303
-_sz	 302
-is	 301
-ve	 299
-gy_	 297
-ít	 293
-_b	 293
-ra	 291
-or	 289
-ol	 284
-_i	 281
-em	 279
-_l	 274
-la	 264
-ez	 262
-be	 260
-lt	 260
-ok	 260
-ye	 256
-_me	 252
-on	 251
-en_	 247
-ar	 245
-_az	 245
-in	 243
-án	 242
-se	 242
-ég	 238
-egy	 237
-ha	 237
-r_	 237
-té	 237
-ér	 235
-sze	 233
-én	 226
-ly	 224
-g_	 221
-"	 221
-ll	 219
-iz	 214
-de	 214
-ek_	 213
-mi	 212
-rt	 211
-ba	 209
-ho	 209
-A_	 209
-és_	 209
-az_	 205
-va	 204
-ag	 203
-ka	 202
-na	 202
-og	 201
-ik	 201
-nt	 200
-_A_	 199
-ô	 199
--	 198
-tt_	 198
-_az_	 197
-ni	 195
-cs	 194
-ki	 190
-kö	 187
-át	 187
-_eg	 187
-nd	 186
-fe	 185
-_és	 185
-lá	 182
-bi	 181
-nk	 180
-_le	 179
-an_	 179
-_és_	 177
-tás	 175
-ké	 174
-meg	 173
-_egy	 172
-ma	 171
-as	 170
-sa	 170
-sí	 169
-ge	 167
-ot	 167
-za	 167
-E	 166
-m_	 165
-_meg	 165
-_el	 165
-bb	 164
-ro	 164
-zá	 163
-he	 162
-má	 161
-sé	 160
-_r	 160
-sít	 160
-tos	 159
-ti	 159
-st	 158
-_j	 158
-él	 157
-it	 156
-_ho	 156
-ül	 156
-_ha	 155
-vé	 154
-am	 152
-oz	 152
-ele	 151
-ya	 151
-zto	 150
-ú	 149
-biz	 147
-so	 147
-et_	 145
-izto	 144
-izt	 144
-ap	 141
-"_	 141
-ed	 141
-ss	 140
-bizt	 140
-ék	 140
-bizto	 140
-iztos	 139
-ét	 139
-ztos	 139
-osít	 138
-zet	 138
-osí	 138
-mé	 137
-_is	 137
-t,	 136
-tosít	 136
-tosí	 136
-t,_	 136
-ó_	 135
-agy	 135
-ztosí	 135
-li	 134
-om	 134
-_fe	 134
-ere	 133
-ág	 133
-t.	 132
-nek	 131
-vi	 129
-_d	 129
-zo	 128
-k,_	 128
-k,	 128
-_kö	 127
-_p	 127
-M	 126
-let	 126
-ak_	 125
-já	 125
-ett	 125
-û	 124
-si	 124
-ész	 123
-_E	 123
-ép	 123
-vá	 123
-rá	 123
-t._	 123
-is_	 123
-S	 123
-ítás	 122
-ítá	 122
-kor	 121
-ai	 121
-fel	 120
-da	 120
-_mi	 120
-pe	 119
-ogy	 118
-ban	 118
-ad	 117
-ga	 116
-_va	 116
-ott	 114
-_ne	 114
-_ki	 113
-ör	 113
-zé	 112
-ben	 112
-_te	 111
-zi	 111
-sá	 110
-ség	 109
-do	 109
-tó	 108
-em_	 108
-_"	 108
-_ta	 108
-_M	 107
-ogy_	 107
-_á	 107
-k.	 106
-ól	 105
-_ke	 105
-_g	 104
-:	 103
-gye	 102
-ák	 102
-hog	 102
-ri	 102
-mo	 101
-ok_	 101
-:_	 101
-hogy	 101
-il	 101
-el_	 100
-zer	 100
-ete	 99
-nn	 99
-nak	 98
-je	 98
-sítá	 98
-szá	 98
-yo	 98
-osítá	 98
-sítás	 98
-_ké	 98
-_hog	 98
-lé	 97
-_S	 97
-_hogy	 97
-ig	 97
-_-	 96
-hogy_	 96
-ban_	 96
-ese	 95
-_bi	 94
-fo	 94
-ja	 94
-ul	 94
-õ_	 94
-k._	 94
-_c	 93
-ká	 91
-es_	 91
-ná	 91
-ény	 91
-gé	 91
-ás_	 91
-egy_	 90
-áb	 90
-rd	 89
-I	 89
-ány	 89
-_biz	 89
-_fel	 88
-öv	 88
-ala	 88
-szer	 88
-po	 88
-_ma	 88
-leg	 88
-tö	 88
-ket	 87
-un	 87
-di	 87
-ai_	 87
-nek_	 87
-rm	 86
-tal	 86
-év	 85
-_is_	 85
-nem	 85
-ti_	 84
-öz	 84
-szt	 84
-ut	 83
-ter	 83
-dé	 83
-kk	 83
-or_	 83
-b_	 82
-né	 82
-os_	 82
-re_	 82
-rs	 82
-_bizt	 82
-min	 82
-ben_	 81
-ra_	 81
-ik_	 81
-go	 80
-len	 80
-lm	 80
-öt	 80
-ely	 80
-aj	 80
-öl	 80
-_sze	 80
-_be	 79
-ev	 79
-ré	 79
-ssz	 79
-nt_	 79
-gya	 79
-K	 79
-si_	 79
-sza	 78
Index: unk/gsdl/perllib/textcat/icelandic.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/icelandic.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 26104
-a	 6496
-r	 6044
-n	 5160
-i	 5123
-s	 3987
-e	 3891
-u	 3582
-t	 3300
-ð	 3126
-l	 3071
-g	 2726
-m	 2459
-k	 2256
-f	 2230
-r_	 1967
-v	 1641
-ar	 1472
-ð_	 1420
-_s	 1332
-á	 1248
-o	 1221
-í	 1197
-a_	 1155
-in	 1150
-i_	 1114
-h	 1023
-j	 975
-d	 974
-st	 929
-að	 925
-.	 922
-n_	 875
-._	 875
-_v	 874
-m_	 854
-nn	 842
-_f	 840
-ur	 824
-_a	 806
-ó	 785
-_h	 782
-æ	 779
-ið	 771
-er	 765
-um	 727
-g_	 716
-y	 711
-_e	 709
-þ	 672
-b	 672
-ir	 671
-ri	 670
-an	 667
-ö	 650
-_á	 648
-að_	 645
-u_	 633
-na	 631
-í_	 625
-ar_	 622
-_þ	 608
-á_	 606
-_í	 595
-ta	 567
-ei	 566
-la	 558
-_m	 549
-_í_	 549
-um_	 547
-t_	 535
-ti	 529
-_o	 524
-ur_	 523
-_að	 519
-ið_	 512
-ði	 496
-ve	 494
-og	 494
-ú	 482
-og_	 479
-_og	 478
-_og_	 478
-nd	 469
-p	 464
-ra	 455
-un	 454
-ir_	 452
-_að_	 451
-ni	 439
-en	 439
-ðu	 439
-_á_	 436
-ng	 434
-il	 404
-ga	 395
-_t	 395
-nu	 393
-ki	 392
-ja	 383
-inn	 379
-_b	 375
-sk	 352
-s_	 350
-vi	 349
-rð	 347
-ða	 345
-ef	 339
-ag	 336
-_u	 330
-se	 324
-lu	 324
-af	 321
-_ve	 320
-tu	 318
-em	 307
-eg	 304
-nn_	 303
-_l	 303
-va	 301
-_k	 296
-,	 295
-ns	 292
-re	 292
-tt	 291
-,_	 291
-l_	 286
-am	 286
-es	 285
-yr	 285
-al	 281
-da	 277
-S	 275
-gu	 273
-_se	 271
-ver	 268
-_g	 266
-ing	 266
-_n	 262
-is	 258
-_er	 257
-sa	 256
-ður	 255
-le	 255
-_st	 255
-_S	 254
-sem	 254
-ll	 254
-me	 253
-ha	 251
-li	 249
-kk	 249
-rs	 247
-_vi	 247
-rn	 246
-sl	 244
-gi	 243
-ss	 242
-rf	 241
-fy	 240
-ði_	 240
-mi	 238
-ka	 237
-ma	 231
-ld	 230
-é	 229
-rir	 227
-sta	 227
-fyr	 227
-ví	 227
-di	 226
-ru	 224
-var	 224
-_fy	 222
-ku	 221
-em_	 221
-nar	 220
-_sem_	 220
-_sem	 220
-sem_	 220
-he	 219
-yri	 217
-_fyr	 216
-si	 216
-yrir	 215
-au	 212
-er_	 212
-ek	 211
-_ha	 210
-þe	 209
-fyri	 207
-fyrir	 207
-_þe	 205
-fi	 204
-fr	 203
-ge	 201
-or	 200
-ne	 200
-ann	 198
-jó	 198
-_va	 196
-_fyri	 196
-_ver	 194
-fl	 192
-_er_	 191
-_um	 189
-ík	 188
-til	 187
-_he	 186
-fa	 186
-il_	 182
-_ti	 178
-_til	 177
-gar	 176
-_var	 176
-na_	 176
-ý	 175
-eð	 171
-fu	 170
-nni	 169
-_me	 168
-ki_	 167
-við	 166
-ey	 165
-fn	 165
-arf	 164
-til_	 163
-st_	 162
-_til_	 162
-þa	 161
-num	 161
-_þa	 161
-as	 160
-_við	 160
-rt	 159
-el	 158
-uð	 156
-inn_	 155
-_um_	 154
-ra_	 153
-bæ	 153
-tar	 151
-ta_	 151
-erð	 151
-ór	 148
-and	 148
-_sa	 146
-ig	 146
-_en	 146
-nga	 145
-rir_	 145
-us	 144
-jar	 143
-et	 143
-ár	 142
-_sk	 140
-ndi	 140
-æð	 139
-var_	 139
-_r	 138
-av	 138
-æk	 137
-nna	 137
-ður_	 136
-ál	 136
-ko	 135
-nin	 135
-við_	 135
-ól	 135
-ins	 134
-ik	 133
-E	 133
-K	 133
-yrir_	 133
-ns_	 133
-on	 133
-ein	 132
-_við_	 132
-ög	 132
-já	 132
-Þ	 132
-öl	 132
-ðs	 132
-_mi	 131
-f_	 131
-sí	 131
-sj	 131
-stu	 131
-nda	 130
-_var_	 130
-gr	 129
-ús	 128
-tæ	 127
-ri_	 126
-haf	 126
-_sí	 125
-vík	 124
-rin	 124
-te	 124
-r.	 124
-r._	 123
-H	 123
-nes	 123
-ót	 123
-ru_	 123
-kr	 122
-F	 122
-ær	 121
-num_	 121
-k_	 121
-a.	 121
-_H	 121
-_fr	 120
-_ge	 120
-rá	 120
-_E	 120
-_Þ	 120
-ug	 120
-ngu	 119
-an_	 119
-inga	 118
-_K	 118
-_haf	 118
-enn	 117
-ars	 117
-rið	 117
-en_	 117
-sin	 116
-kur	 116
-it	 116
-ða_	 116
-ti_	 115
-rði	 114
-tj	 114
-ni_	 114
-at	 114
-tarf	 114
-br	 113
-slu	 113
-kki	 113
-rg	 113
-má	 113
-kv	 113
-_en_	 113
-a._	 112
-gar_	 112
-du	 112
-ju	 110
-eið	 110
-und	 110
-lag	 110
-tur	 110
-ega	 109
-hú	 109
-íð	 109
-gn	 109
-hef	 109
-kj	 109
-_hef	 109
-_sta	 108
-B	 108
-V	 108
-sam	 107
-_ei	 106
-_B	 106
-ft	 106
-ga_	 106
-G	 106
-_G	 105
-lö	 105
-kki_	 105
-star	 104
-in_	 104
-R	 104
-með	 104
-_ár	 103
-_með	 103
-ekk	 103
-inu	 103
-tö	 103
-_V	 103
-m.	 103
-aði	 103
-jö	 102
-æj	 102
-_bæ	 102
-ess	 102
-hús	 101
-ut	 101
-gs	 101
-aví	 101
-mu	 101
-_R	 101
-_ú	 101
-rst	 100
-æjar	 100
-leg	 100
-æja	 100
-ja_	 99
-avík	 99
Index: unk/gsdl/perllib/textcat/indonesian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/indonesian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 19406
-a	 10666
-n	 5455
-e	 4535
-i	 4387
-r	 2936
-t	 2902
-an	 2853
-u	 2841
-k	 2761
-s	 2311
-m	 2178
-d	 2134
-g	 2105
-l	 1780
-a_	 1506
-n_	 1476
-ng	 1449
-p	 1397
-b	 1275
-an_	 1270
-o	 1246
-h	 1130
-i_	 1108
-er	 1038
-ka	 1032
-_d	 1006
-y	 997
-,	 951
-en	 941
-ar	 914
-,_	 900
-_m	 880
-ya	 842
-ta	 838
-ang	 797
-di	 787
-da	 773
-.	 754
-la	 742
-._	 738
-me	 732
-ak	 728
-_s	 718
-at	 690
-ra	 688
-ga	 683
-_k	 671
-_me	 650
-in	 628
-ah	 601
-_t	 583
-_p	 570
-g_	 551
-_b	 551
-_di	 548
-ng_	 544
-ma	 536
-se	 526
-tu	 511
-na	 506
-al	 500
-ri	 490
-as	 483
-k_	 482
-j	 480
-si	 470
-ny	 467
-h_	 457
-sa	 452
-ang_	 439
-it	 424
-kan	 423
-ti	 418
-_se	 417
-pe	 412
-S	 409
-ba	 407
-ke	 407
-em	 405
-men	 405
-be	 403
-un	 401
-te	 401
-am	 396
-pa	 395
-nya	 390
-_men	 374
-el	 374
-t_	 371
-_a	 360
-_i	 356
-u_	 355
-kan_	 345
-_ke	 339
-is	 335
-ah_	 324
-_S	 324
-eng	 321
-nga	 320
-ia	 318
-_pe	 316
-ha	 313
-ap	 311
-r_	 308
-w	 305
-li	 301
-_da	 300
-s_	 299
-P	 296
-nd	 290
-_be	 287
-ik	 283
-ja	 281
-yan	 281
-ad	 275
-ek	 273
-uk	 272
-di_	 270
-bu	 269
-ya_	 268
-yang	 268
-ak_	 266
-ber	 265
-_y	 265
-_ya	 264
-_P	 263
-ru	 260
-K	 259
-yang_	 256
-_yang	 256
-_yan	 256
-nt	 255
-de	 253
-_te	 250
-wa	 249
-et	 247
-at_	 246
-ara	 245
-gan	 243
-A	 237
-ari	 235
-ala	 230
-itu	 229
-c	 225
-ol	 225
-ni	 225
-us	 225
-dan	 224
-_K	 224
-M	 224
-B	 223
-ata	 222
-ai	 221
-ur	 219
-nya_	 217
-ua	 215
-_ka	 214
-_ber	 210
-eb	 209
-ran	 206
-D	 206
-ela	 206
-_di_	 205
-_l	 204
-ngan	 204
-ter	 203
-re	 201
--	 199
-aka	 198
-l_	 194
-_A	 191
-era	 191
-a,	 191
-e_	 190
-ir	 187
-I	 186
-tan	 185
-_B	 184
-ut	 184
-ku	 183
-a,_	 183
-il	 182
-J	 181
-um	 180
-_it	 180
-_itu	 180
-_ta	 179
-su	 179
-dan_	 177
-es	 177
-on	 177
-or	 177
-_dan	 176
-lu	 174
-_M	 172
-tu_	 172
-_dan_	 172
-enga	 171
-mb	 169
-R	 169
-si_	 168
-per	 168
-gan_	 168
-ngan_	 165
-"	 162
-_ter	 162
-a.	 161
-man	 161
-gk	 160
-a._	 160
-asi	 160
-ngk	 160
-ep	 160
-ag	 159
-ul	 158
-da_	 157
-m_	 155
-du	 155
-ada	 153
-ki	 153
-rt	 150
-mp	 150
-T	 150
-ama	 148
-ing	 148
-na_	 147
-_J	 147
-_D	 145
-ung	 145
-ana	 145
-n,	 144
-ju	 144
-ud	 144
-rin	 143
-gi	 143
-aw	 141
-lah	 138
-lan	 138
-_sa	 136
-ri_	 136
-meng	 136
-_meng	 135
-_ma	 134
-n,_	 134
-awa	 134
-st	 134
-eka	 133
-mi	 133
-mu	 132
-_T	 132
-po	 131
-ge	 131
-ar_	 130
-id	 129
-ko	 129
-le	 128
-_h	 128
-ena	 127
-_j	 126
-emb	 126
-ina	 125
-_r	 124
-itu_	 124
-ay	 123
-ngg	 123
-gg	 123
-rang	 123
-pi	 120
-nan	 120
-_ba	 119
-_la	 119
-apa	 119
-_I	 118
-p_	 118
-bi	 117
-ai_	 117
-ta_	 116
-san	 116
-Ke	 116
-ro	 115
-eri	 114
-kar	 113
-lah_	 113
-_itu_	 112
-aya	 111
-i,	 110
-an,	 110
-ra_	 110
-_per	 110
-im	 110
-ika	 109
-isi	 109
-mem	 109
-tah	 108
-_Ke	 108
-ian	 108
-_mem	 108
-akan	 108
-Se	 108
-to	 107
-ab	 107
-ngka	 106
-rs	 106
-gka	 106
-uk_	 105
-seb	 104
-_de	 104
-pu	 104
-i,_	 104
-ita	 104
-nda	 103
-_ti	 103
-ni_	 103
-ca	 103
-_Se	 103
-ers	 103
-pen	 103
-ini	 102
-an,_	 102
-angk	 101
-uh	 101
-han	 101
-nta	 100
-_in	 99
-f	 99
-nj	 99
-ok	 99
-aga	 99
-_R	 98
-as_	 98
-tr	 98
-mer	 97
-lam	 97
-and	 97
-end	 96
-anga	 96
-ne	 96
-Sa	 96
-ka_	 96
-arin	 95
-gu	 95
-_ha	 94
-Z	 94
-al_	 94
-ga_	 94
-_Z	 93
-_pen	 93
-dar	 93
-Ad	 93
-i._	 93
-ada_	 93
-atan	 93
-tak	 93
-i.	 93
-ia_	 92
-asa	 92
-ap_	 92
-ari_	 92
-kat	 92
-_seb	 92
-_Za	 91
-Za	 91
-den	 91
-n.	 90
-_u	 90
-_Ad	 90
-engan	 89
-ib	 89
-any	 89
-n._	 89
-o_	 89
-Zar	 88
-Zari	 88
-rina	 88
-_Zar	 88
-_Zari	 88
-Zarin	 88
-arina	 88
-ks	 88
-angka	 87
-oli	 87
-eg	 87
-kt	 86
-_Sa	 86
-hu	 85
-ih	 85
-us_	 85
-adi	 85
-om	 85
-eba	 85
-anya	 85
-_bu	 84
-denga	 83
-L	 83
-ed	 83
-dak	 83
-deng	 83
-ma_	 82
-asi_	 82
Index: unk/gsdl/perllib/textcat/irish.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/irish.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 8010
-a	 2622
-i	 1573
-h	 1334
-n	 1247
-r	 968
-_a	 847
-e	 830
-s	 817
-t	 747
-l	 639
-c	 636
-g	 598
-o	 590
-d	 554
-n_	 501
-a_	 487
-m	 432
-an	 415
-u	 413
-b	 379
-h_	 352
-ai	 350
-ch	 350
-ea	 346
-r_	 346
-í	 334
-é	 321
-_s	 309
-á	 306
-in	 281
-ar	 277
-.	 269
-_d	 266
-s_	 254
-ir	 253
-_b	 250
-f	 250
-an_	 246
-,	 241
-,_	 226
-ag	 225
-_an	 221
-bh	 218
-_c	 216
-._	 212
-ac	 210
-ha	 208
-_a_	 201
-"	 199
-_m	 199
-th	 198
-_t	 190
-ach	 182
-_ag	 180
-_an_	 179
-í_	 176
-_l	 168
-na	 168
-nn	 160
-e_	 159
-ar_	 158
-_g	 157
-ú	 156
-_i	 152
-il	 150
-le	 150
-is	 143
-ó	 142
-_bh	 138
-ei	 138
-g_	 135
-_f	 135
-dh	 135
-l_	 126
-t_	 125
-ig	 123
-é_	 122
-_n	 120
-gu	 120
-á_	 120
-mh	 118
-id	 117
-ch_	 117
-ad	 116
-he	 114
-ir_	 114
-ra	 109
-o_	 109
-ach_	 107
-ia	 105
-_ar	 105
-us	 104
-ui	 104
-_"	 101
-us_	 100
-T	 99
-am	 99
-ta	 98
-gus	 98
-gus_	 98
-_le	 97
-gh	 97
-_ch	 97
-agus	 94
-agus_	 94
-agu	 94
-éa	 93
-_agus	 93
-_agu	 93
-ean	 93
-na_	 92
-d_	 92
-ái	 91
-p	 89
-it	 89
-A	 89
-_ar_	 88
-rt	 86
-al	 85
-oi	 84
-sa	 84
-"_	 82
-hai	 81
-_r	 79
-nn_	 79
-hu	 79
-as	 79
-éi	 78
-_T	 78
-ma	 77
-air	 77
-at	 77
-ann	 76
-B	 76
-sé	 76
-hí	 75
-igh	 74
-st	 74
-ga	 73
-go	 71
-ua	 71
-ne	 71
-la	 71
--	 71
-de	 71
-te	 71
-re	 70
-inn	 70
-ith	 69
-eac	 69
-_sé	 69
-in_	 68
-_go	 68
-hi	 68
-each	 68
-dh_	 68
-si	 67
-ag_	 67
-_go_	 66
-hea	 66
-go_	 66
-tha	 64
-om	 64
-_sé_	 63
-sé_	 63
-hí_	 63
-on	 62
-se	 61
-úi	 60
-nt	 60
-C	 60
-D	 59
-i_	 58
-_ag_	 58
-is_	 58
-ío	 58
-_de	 57
-_B	 56
-il_	 56
-or	 56
-_th	 54
-ca	 53
-fa	 53
-amh	 53
-_A	 53
-le_	 52
-?	 52
-S	 51
-io	 51
-_in	 51
-sí	 51
-li	 51
-rai	 50
-hf	 50
-ht	 50
-eo	 50
-sc	 50
-ri	 49
-:	 49
-igh_	 49
-gh_	 49
-_sí	 49
-:_	 49
-há	 49
-_D	 49
-be	 49
-aig	 49
-hé	 48
-oc	 48
-idh	 48
-rt_	 48
-ho	 47
-os	 47
-ann_	 47
-_C	 46
-!	 46
-Bh	 46
-bhf	 45
-_si	 45
-lt	 45
-_bhf	 45
-irt	 45
-ear	 44
-_na	 44
-ta_	 44
-air_	 44
-_p	 44
-im	 44
-aga	 44
-_ma	 44
-_S	 44
-aigh	 43
-án	 43
-_dh	 43
-uai	 43
-ao	 43
-cht	 43
-ain	 42
-bhe	 42
-ait	 42
-fh	 42
-sa_	 41
-m_	 41
-adh	 41
-ile	 41
-_é	 41
-ail	 41
-eir	 41
-ói	 41
-_Bh	 40
-as_	 40
-cha	 40
-idh_	 40
-hái	 39
-_i_	 39
-bh_	 39
-th_	 39
-ad_	 39
-och	 39
-mh_	 39
-tr	 39
-rea	 38
-_se	 38
-ro	 38
-rí	 38
-hair	 38
-_is	 38
-uil	 37
-iú	 37
-áin	 37
-I	 37
-ll	 37
-mé	 37
-_be	 36
-ba	 36
-eann	 36
-tá	 36
-_o	 36
-M	 36
-aid	 36
-aith	 36
-ib	 36
-'	 36
-tea	 36
-_mé	 35
-chu	 35
-ibh	 35
-each_	 35
-ean_	 34
-irt_	 34
-_na_	 34
-N	 34
-ist	 34
-fu	 34
-mha	 34
-bea	 34
-h.	 34
-_bhe	 34
-lá	 34
-ic	 34
-_sí_	 33
-eis	 33
-bhí	 33
-ni	 33
-héa	 33
-_sa	 33
-ith_	 33
-sí_	 33
-har	 33
-_bhí	 33
-ig_	 32
-ur	 32
-aí	 32
-hr	 32
-_am	 32
-_bhí_	 31
-da	 31
-úir	 31
-hfu	 31
-_chu	 31
-ol	 31
-ne_	 31
-_fa	 31
-An	 31
-Bhí_	 31
-Bhí	 31
-n,	 31
-_ac	 31
-bhí_	 31
-_bhfu	 30
-_ó	 30
-ana	 30
-_M	 30
-mé_	 30
-_fh	 30
-aigh_	 30
-bhfu	 30
-_mé_	 30
-tú	 29
-_le_	 29
-tá_	 29
-hean	 29
-háin	 29
-sin	 29
-eir_	 29
-nne	 29
-cé	 29
-_aga	 29
-h._	 29
-Tá	 29
-ibh_	 29
-iste	 28
-An_	 28
-do	 28
-hui	 28
-fui	 28
-ní	 28
-ste	 28
-acht	 28
-n,_	 28
-co	 28
-dea	 28
-ng	 28
-nach	 28
-id_	 28
-hfui	 28
-..	 28
-lei	 28
-nac	 28
-ce	 27
-a.	 27
-c_	 27
-lea	 27
-hfuil	 27
-_Bhí_	 27
-_bea	 27
-adh_	 27
-di	 27
-fuil	 27
-."	 27
-Tá_	 27
-ha_	 27
-ú_	 27
-uil_	 27
-."_	 27
-bhfui	 27
-_Bhí	 27
-éan	 27
-_do	 27
-lta	 27
-aoi	 27
-_lei	 27
-_mh	 26
-dú	 26
-fuil_	 26
-eat	 26
--_	 26
-teac	 26
-ath	 26
Index: unk/gsdl/perllib/textcat/japanese-shift_jis.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/japanese-shift_jis.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-	 9970
-	 2204
-_	 1555
-	 1214
-	 891
-A	 885
-	 846
-Ì	 836
-A	 831
-	 818
-	 815
-Ì	 790
-	 739
-	 729
-	 618
-	 607
-	 589
-	 568
-ð	 566
-	 555
-É	 552
-	 528
-É	 527
-ð	 500
-	 489
-	 481
-µ	 461
-¢	 460
-œ	 453
-	 449
-µ	 449
-Æ	 445
-Í	 440
-B	 419
-Å	 411
-B	 405
-ª	 404
-œ	 404
-¢	 401
-Ä	 396
-È	 389
-Æ	 387
-é	 368
-·	 366
-µ	 363
-Å	 361
-µ	 357
-é	 352
-Í	 352
-Ä	 349
-È	 345
-è	 330
-ª	 321
-	 320
-¢	 320
-¢	 306
-·	 305
-Ü	 292
-©	 284
-@	 282
-_	 281
-Ü	 275
-Ü	 268
-v	 263
-Ü	 258
-È	 256
-ê	 251
-È	 240
-è	 239
-­	 238
-Ä	 234
-à	 232
-Æ	 231
-Å	 226
-@	 220
-œ	 217
-Æ	 214
-Å	 211
-_	 210
-Ä	 205
-©	 204
-©	 203
-œ	 199
-³	 198
-Ì	 195
-ç	 194
-¯	 194
-©	 182
-Á	 182
-è	 181
-ß	 180
-É	 180
-A	 176
-€	 176
-±	 173
-É	 172
-Ì	 172
-v	 169
-»	 169
-·	 167
-ñ	 167
-B_	 166
-N	 166
-B_	 166
-O	 165
-«	 165
-A	 165
-·	 164
-P	 163
-ê	 163
-Á	 159
-æ	 159
-_@	 157
-ê	 156
-·	 155
-[	 153
-ç	 153
-X	 153
-é	 148
-i	 148
-é	 148
-Á	 147
-·B	 146
-±	 146
-·B	 145
-j	 142
-Á	 142
-P	 141
-µÄ	 141
-µÄ	 141
-Í	 141
-à	 141
-·	 137
-V	 137
-ß	 135
-ê	 135
-ú	 134
-u	 133
-[	 132
-€	 131
-l	 129
-å	 129
-s	 128
-Ÿ	 128
- 	 125
-±	 125
-S	 125
-g	 124
-ª	 123
-³	 123
-ü	 123
-±	 122
-	 122
-Ç	 120
-³	 120
-è	 120
-Š	 120
-\	 119
-Í	 119
-u	 119
-v	 119
-œ	 119
-ß	 118
-W	 118
-Í	 117
-Ü·	 117
-R	 117
-œ	 117
-Ü·	 117
-æ	 114
-â	 114
-ã	 113
-	 113
-{	 113
-N	 112
- 	 111
-í	 111
-³	 111
-o	 108
-Ü·	 107
-Ü·	 107
-Q	 106
-	 106
-«	 105
-Ü·B	 104
-à	 103
-«	 103
-ç	 103
-	 103
-ì	 102
-»	 102
- 	 100
-ú	 100
- 	 100
-ß	 99
-µœ	 98
-µœ	 98
-Ê	 97
-¯	 96
-¶	 96
-ð	 96
-I	 95
-[	 95
-[	 95
-ÍA	 94
-å	 94
-ÍA	 94
-€	 93
-Ä¢	 92
-Â	 92
-Ä¢	 92
-­	 92
-E	 92
-Q	 91
-š	 90
-w	 90
-Ä¢	 89
-Ä¢	 89
-Î	 89
-Œ	 88
-ç	 87
-x	 87
-­	 86
-P	 86
-§	 86
-ª	 86
-n	 86
-	 85
-·é	 85
-·é	 85
-€	 84
-ñ	 84
-¿	 84
-Í	 84
-À	 84
-Ÿ	 83
-œB	 83
-œB	 83
-	 83
-¯	 83
-ï	 82
-²	 82
-v	 80
-Ÿ	 80
-P	 80
-©ç	 79
-¡	 79
-A	 77
-Ý	 77
-¬	 77
-Ç	 77
-µÄ	 77
-µÄ	 77
-ñ	 76
-B	 75
-X	 75
-©ç	 75
-«	 74
-c	 74
-Ù	 74
-O	 73
-Š	 73
-š	 72
-i	 72
-ð	 71
-Š	 71
-B	 71
-æ	 70
-ï	 70
-Û	 70
-y	 70
-Ç	 69
-T	 69
-p	 69
-è	 68
-	 68
-	 68
-·B_	 67
-l	 67
-Z	 67
-æ	 67
-	 67
-ü	 67
-®	 67
-·B_	 67
-Ï	 67
-X	 66
-Ð	 66
-à	 66
-¹	 66
-Í	 66
-A	 66
-â	 65
-¯	 65
-A	 65
-U	 65
-š	 64
-í	 64
-í	 63
-èÜ	 62
-C	 62
-Áœ	 62
-èÜ	 62
-R	 62
-µ	 62
-ÁÄ	 62
-ÁÄ	 62
-Áœ	 62
-_	 61
-èÜ	 61
-µ	 61
-ü	 61
-^	 61
-	 61
-èÜ	 61
-é	 61
-l	 61
-é	 61
-»	 60
-üv	 60
-è	 60
-ü	 60
-v	 60
-üv	 60
-Ô	 60
-í	 60
-±Æ	 60
-	 60
-A	 60
-û	 59
-	 59
-ÈÇ	 59
-ÈÇ	 59
-Â	 59
-¯	 59
-W	 59
-ð	 58
-i	 58
-±Æ	 58
-Q	 58
-j	 58
-­	 58
-N	 58
-{	 57
-»	 57
-ª	 57
-	 57
-ð	 57
-Ì	 56
-É	 56
-µA	 56
-e	 56
-g	 56
-µA	 56
-Ê	 56
-@	 56
-Â	 55
-z	 55
-I	 55
-Y	 55
-Å·	 55
-¿	 55
-èA	 55
-A	 55
-š	 54
-¹	 54
-X	 54
-Ÿ	 54
-t	 54
-Å·	 54
-j	 54
-Š	 53
-É	 53
-±Æ	 53
-ã	 53
-±Æ	 53
-º	 53
-I	 53
-	 53
-ª	 53
-A	 53
-U	 53
-~	 53
-¹	 52
-A	 52
-x	 52
-èA	 52
-Ì	 52
-n	 52
-S	 51
-A	 51
-b	 51
-j	 51
-Ç	 51
-Q	 51
-¢œ	 51
-E	 51
-î	 51
-A	 51
-	 51
Index: unk/gsdl/perllib/textcat/latin.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/latin.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 20136
-e	 6892
-i	 5604
-a	 5443
-u	 4581
-t	 4552
-s	 4354
-r	 3923
-n	 3375
-m	 3063
-o	 2921
-c	 2224
-l	 1805
-e_	 1625
-s_	 1503
-p	 1424
-d	 1397
-,	 1285
-,_	 1276
-er	 1077
-qu	 1028
-q	 1028
-a_	 1019
-t_	 1018
-is	 942
-_a	 921
-re	 902
-m_	 891
-v	 858
-b	 821
-um	 808
-_s	 773
-us	 772
-en	 766
-nt	 733
-in	 729
-ue	 727
-te	 720
-g	 718
-_i	 710
-_p	 679
-it	 676
-_c	 669
-et	 653
-que	 652
-_e	 643
-at	 643
-ue_	 616
-ra	 614
-que_	 611
-f	 601
-or	 598
-ri	 576
-ti	 572
-ta	 559
-tu	 552
-an	 551
-ae	 527
-_m	 513
-am	 501
-_t	 493
-us_	 488
-is_	 487
-es	 479
-em	 479
-_f	 451
-um_	 443
-_v	 442
-ia	 442
-li	 438
-_d	 436
-.	 432
-i_	 430
-et_	 429
-ni	 412
-ne	 409
-h	 406
-de	 404
-ur	 396
-._	 392
-ar	 388
-os	 388
-mi	 382
-pe	 382
-la	 376
-st	 371
-s,	 368
-di	 367
-_et	 366
-s,_	 365
-_in	 363
-on	 360
-o_	 359
-_n	 351
-_et_	 351
-as	 346
-im	 336
-na	 327
-se	 320
-ma	 315
-cu	 307
-vi	 306
-si	 303
-ro	 303
-r_	 302
-su	 299
-un	 295
-_l	 291
-to	 291
-ec	 290
-ci	 288
-co	 287
-_r	 287
-ere	 286
-ce	 284
-tr	 280
-re_	 278
-ent	 275
-x	 275
-ct	 274
-ve	 271
-ru	 259
-ul	 256
-me	 255
-ui	 255
-c_	 252
-_o	 250
-ic	 249
-ns	 247
-_qu	 242
-_q	 242
-no	 241
-ant	 235
-am_	 235
-_co	 233
-sa	 231
-ca	 230
-t,	 226
-mu	 225
-t,_	 225
-_re	 223
-el	 222
-ib	 222
-id	 218
-om	 212
-_te	 211
-al	 209
-le	 209
-it_	 208
-mo	 208
-ol	 206
-_u	 203
-;	 199
-_h	 199
-ac	 198
-;_	 198
-bu	 197
-nu	 196
-ua	 195
-n_	 195
-ll	 194
-tis	 191
-A	 189
-rt	 188
-ge	 188
-nd	 187
-au	 187
-lu	 186
-iu	 185
-squ	 185
-per	 185
-sq	 185
-ter	 185
-pa	 183
-_A	 183
-em_	 183
-ia_	 180
-ed	 179
-_pe	 178
-m,	 176
-sque	 175
-_su	 175
-ae_	 175
-m,_	 175
-pr	 175
-bi	 175
-bus	 174
-_vi	 174
-os_	 173
-ta_	 172
-mqu	 171
-mq	 171
-ss	 170
-sque_	 169
-ibu	 167
-ad	 166
-ibus	 165
-I	 164
-nte	 163
-ra_	 163
-mque	 162
-_de	 162
-po	 161
-_se	 160
-ere_	 160
-nc	 160
-qua	 159
-T	 159
-lo	 157
-oc	 156
-mque_	 156
-_T	 155
-_pa	 155
-_pr	 155
-tem	 154
-bus_	 152
-nti	 149
-rum	 149
-er_	 149
-ab	 148
-ir	 148
-da	 147
-_ve	 146
-ibus_	 146
-ex	 146
-ut	 145
-pi	 145
-tur	 145
-_ca	 143
-_me	 142
-es_	 142
-gi	 142
-te_	 141
-_I	 141
-vo	 141
-do	 141
-_si	 140
-tus	 139
-il	 137
-_ar	 136
-du	 133
-nt_	 133
-uc	 133
-fa	 132
-as_	 132
-rr	 131
-ba	 130
-_ad	 128
-ne_	 127
-_ma	 127
-ens	 127
-gn	 126
-s.	 126
-y	 126
-min	 125
-ris	 124
-in_	 123
-tum	 123
-P	 123
-_g	 123
-mp	 123
-e,	 122
-io	 122
-_P	 122
-ea	 122
-hi	 122
-e,_	 121
-era	 120
-sc	 120
-_la	 120
-qui	 120
-unt	 120
-fe	 119
-_in_	 118
-_no	 118
-ore	 118
-iam	 118
-va	 117
-tis_	 117
-s._	 117
-at_	 117
-eri	 116
-d_	 116
-con	 115
-fu	 115
-pu	 114
-cum	 114
-ub	 114
-ng	 114
-ine	 113
-_au	 113
-:	 113
-_di	 112
-ag	 111
-_con	 111
-ect	 111
-i,	 111
-equ	 111
-i,_	 111
-be	 111
-eq	 111
-_po	 110
-so	 110
-:_	 110
-nis	 109
-ha	 109
-uo	 109
-_fa	 108
-na_	 107
-ip	 107
-is,	 107
-_cu	 106
-cr	 106
-ate	 105
-is,_	 105
-ig	 105
-tor	 105
-rat	 104
-_qua	 103
-eg	 103
-a,	 103
-a,_	 102
-tra	 102
-_mo	 101
-sp	 101
-mis	 100
-itu	 100
-D	 99
-ali	 99
-eb	 99
-eni	 99
-_sa	 98
-ie	 98
-imu	 98
-_ex	 97
-_D	 96
-res	 95
-est	 94
-tri	 94
-ene	 94
-_mi	 94
-str	 94
-enti	 93
-t.	 92
-av	 92
-_per	 91
-ur_	 91
-ora	 91
-lt	 91
-umqu	 90
-_vo	 90
-umq	 90
-up	 89
-t._	 88
-quo	 88
-_ne	 88
-gen	 88
-rum_	 87
-tqu	 87
-tq	 87
-_fu	 86
-ep	 86
-ma_	 86
-umque	 86
-it,_	 85
-ine_	 85
-it,	 85
-men	 85
-mus	 84
-ort	 83
-ven	 83
-ina	 83
-us,_	 83
-us,	 83
-tque	 82
-_ge	 82
-per_	 82
-mor	 82
-inc	 82
-are	 81
-tus_	 81
-_an	 81
-rim	 81
-tque_	 81
-ot	 81
-ani	 80
-H	 80
-_tu	 80
-ho	 80
-tem_	 80
-u_	 80
-ser	 79
-um,_	 79
-um,	 79
-S	 79
-ten	 79
-ver	 79
-sti	 79
-ntu	 78
-fer	 78
Index: unk/gsdl/perllib/textcat/latvian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/latvian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 24504
-a	 8735
-i	 7353
-s	 6064
-t	 5176
-e	 4390
-r	 4339
-u	 4200
-n	 3422
-â	 3055
-m	 2817
-p	 2755
-k	 2703
-o	 2643
-s_	 2595
-d	 2131
-l	 2035
-j	 1972
-î	 1958
-ie	 1887
-v	 1822
-as	 1530
-u_	 1396
-_p	 1380
-b	 1357
-z	 1311
-ç	 1267
-a_	 1261
-as_	 1217
-.	 1065
-,	 1048
-,_	 1033
-g	 1010
-ar	 970
-ð	 965
-ti	 962
-c	 922
-_a	 876
-ja	 838
-st	 828
-_i	 822
-_v	 805
-pa	 792
-_t	 775
-._	 774
-um	 760
-_k	 749
-â_	 734
-_n	 728
-es	 712
-i_	 706
-at	 703
-is	 695
-_s	 680
-ai	 649
-ta	 635
-an	 631
-ka	 621
-r_	 615
-îb	 586
-ij	 585
-_u	 568
-_pa	 548
-un	 541
-no	 539
-va	 537
-ma	 525
-ra	 522
-ri	 515
-iz	 512
-in	 509
-vi	 508
-pr	 506
-sa	 487
-ju	 486
-tâ	 483
-ik	 473
-n_	 472
-am	 454
-en	 452
-tie	 440
-na	 432
-ða	 430
-tu	 420
-ija	 420
-ir	 419
-o_	 415
-m_	 414
-li	 411
-ci	 409
-ku	 404
-mi	 401
-_no	 398
-ek	 398
-_un	 397
-t_	 395
-_l	 394
-un_	 393
-_d	 393
-ot	 392
-_un_	 392
-ies	 391
-ar_	 388
-nâ	 387
-da	 387
-ei	 385
-em	 382
-_ti	 382
-pi	 380
-al	 368
-ba	 356
-ts	 355
-_iz	 353
-ap	 350
-jas	 349
-ko	 346
-au	 345
-ðan	 339
-re	 339
-ni	 337
-kâ	 328
-ro	 327
-et	 326
-rî	 325
-ga	 323
-mu	 322
-jas_	 321
-tr	 317
-_va	 312
-te	 310
-_pr	 307
-sp	 298
-sk	 297
-ne	 295
-îba	 293
-âs	 289
-ijas	 287
-_ar	 283
-la	 283
-to	 282
-ad	 280
-dz	 278
-îg	 277
-tî	 277
-çj	 277
-_sa	 277
-jâ	 274
-_m	 273
-ties	 273
-lî	 272
-ijas_	 269
-_at	 269
-ed	 267
-_pi	 267
-ò	 267
-s,	 265
-s,_	 265
-çr	 261
-gu	 258
-f	 258
-si	 257
-mâ	 256
-nt	 254
-tu_	 254
-_r	 253
-ru	 252
-âj	 251
-jum	 251
-âs_	 250
-ât	 249
-iem	 248
-_b	 248
-_vi	 245
-par	 244
-pie	 244
-rt	 243
-vç	 242
-_ne	 240
-âr	 240
-ai_	 239
-_.	 239
-_j	 237
-us	 237
-_ka	 236
-er	 232
-bas	 232
-_tie	 232
-_par	 230
-di	 229
-û	 228
-ms	 228
-âd	 226
-îbas	 224
-om	 220
-bu	 219
-umu	 217
-iek	 216
-kt	 216
-it	 216
-râ	 215
-_ko	 214
-ana	 211
-âk	 211
-or	 210
-de	 210
-inâ	 207
-dî	 204
-ur	 203
-pri	 203
-_c	 202
-ta_	 202
-bas_	 201
-es_	 201
-_pie	 200
-il	 200
-os	 199
-ðana	 199
-id	 198
-L	 198
-_ie	 197
-bi	 194
-ak	 194
-ja_	 194
-îbas_	 193
-çt	 192
-îbu	 192
-_g	 191
-ï	 189
-ma_	 189
-ien	 188
-kum	 187
-	 187
-_ir	 186
-on	 186
-_ties	 185
-zî	 185
-ce	 185
-ied	 184
-ist	 183
-ts_	 183
-_	 183
-_	 182
-âm	 181
-vie	 180
-__	 180
-cij	 180
-ka_	 179
-_ap	 175
-sî	 174
-ir_	 174
-zi	 174
-uma	 173
-âl	 172
-_ir_	 172
-oð	 171
-_da	 169
-î_	 168
-arî	 168
-)	 167
-do	 166
-ve	 166
-(	 165
-ls	 165
-bu_	 164
-val	 164
-mu_	 164
-isk	 163
-uz	 161
-av	 160
-par_	 160
-_vç	 159
-_par_	 158
-vçr	 158
-_ar_	 157
-rie	 157
-_uz	 157
-aj	 156
-îbu_	 156
-oj	 155
-kâ_	 155
-ld	 154
-iet	 154
-iku	 154
-ks	 153
-du	 153
-ep	 153
-ms_	 152
-ec	 152
-V	 151
-ais	 150
-str	 150
-nie	 149
-am_	 149
-ums	 148
-_(	 147
-ju_	 146
-z_	 142
-ru_	 142
-îj	 142
-gum	 142
-u,_	 141
-u,	 141
-iò	 141
-uma_	 141
-çrt	 141
-îgu	 141
-me	 140
-dâ	 140
-ît	 140
-ent	 139
-ikum	 138
-pâ	 138
-em_	 138
-_L	 138
-lie	 136
-sta	 136
-rî_	 136
-lst	 136
-eik	 135
-se	 135
-s.	 134
-pro	 134
-rs	 134
-s._	 134
-tik	 134
-lç	 134
-ska	 133
-pap	 133
-kas	 133
-rm	 133
-âju	 133
-pî	 132
-nu	 132
-T	 132
-pç	 131
-tei	 131
-nas	 131
-_V	 131
-jo	 131
-lîg	 131
-ut	 131
-iem_	 130
-ras	 129
-pu	 129
-_li	 129
-_ga	 128
-dar	 128
-_kâ	 128
-umu_	 127
-îv	 126
-îgum	 126
-kas_	 126
-tîb	 125
-vai	 125
-lîgu	 125
-P	 125
-arî_	 125
-ev	 124
-lai	 124
-îr	 124
-lîgum	 124
-tv	 123
-að	 123
-_arî_	 122
-_arî	 122
-_vie	 121
-S	 121
-_T	 120
-îju	 120
-teik	 120
-cija	 119
-rb	 119
-_ð	 119
-jâ_	 119
-nas_	 118
-tâj	 118
-vçrt	 118
-iec	 118
-_la	 117
-îd	 116
-_vai	 116
-îjum	 116
-vien	 116
-als	 116
-_lî	 116
-apîr	 115
-rts	 115
-isi	 115
-pîr	 115
-papî	 115
-papîr	 115
-apî	 115
-tsp	 115
-mç	 114
-im	 114
-be	 114
-is_	 114
-alst	 114
-_ja	 114
-rtspa	 113
Index: unk/gsdl/perllib/textcat/lithuanian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/lithuanian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 23070
-i	 8196
-a	 7763
-s	 5179
-e	 3458
-o	 3425
-u	 3371
-t	 3344
-r	 3240
-n	 3070
-k	 3019
-l	 2060
-p	 1889
-s_	 1756
-m	 1680
-d	 1640
-v	 1590
-,	 1501
-,_	 1497
-ó	 1400
-g	 1302
-j	 1200
-o_	 1138
-.	 1128
-ai	 1113
-÷	 1075
-_p	 1047
-_k	 1035
-i_	 990
-._	 984
-as	 975
-b	 937
-au	 903
-is	 863
-_n	 815
-ka	 811
-si	 804
-_s	 799
-ia	 796
-ý	 759
-ta	 735
-ie	 731
-ti	 728
-y	 721
-_t	 711
-in	 697
-_i	 686
-us	 675
-pa	 658
-ir	 640
-ar	 633
-ù	 620
-_a	 617
-r_	 609
-ne	 583
-a_	 578
-ri	 569
-_v	 558
-_pa	 541
-al	 540
-ra	 531
-li	 522
-Ý	 509
-u_	 493
-vi	 490
-_ka	 489
-da	 487
-_ne	 482
-_j	 481
-en	 478
-ù_	 445
-os	 444
-ki	 442
-õ	 441
-an	 440
-ik	 434
-ma	 433
-as_	 430
-st	 420
-_d	 420
-ai_	 417
-s,_	 396
-am	 396
-is_	 396
-s,	 396
-_ir	 390
-jo	 387
-ir_	 385
-at	 384
-_ir_	 383
-i÷	 381
-ni	 377
-ga	 376
-_b	 367
-na	 366
-e_	 365
-to	 352
-pr	 337
-_g	 332
-_m	 332
-û	 328
-ß	 326
-io	 323
-ei	 323
-Ý_	 321
-su	 320
-ßi	 320
-uo	 319
-la	 317
-er	 303
-va	 299
-vo	 298
-ýi	 293
-es	 291
--	 290
-ó_	 286
--_	 285
-_vi	 284
-_-	 283
-ko	 283
-_-_	 283
-iau	 281
-sa	 278
-s.	 278
-iu	 276
-et	 274
-nu	 265
-ja	 262
-õ_	 262
-_ta	 262
-s._	 259
-el	 258
-ój	 258
-os_	 256
-im	 255
-it	 254
-_pr	 253
-no	 252
-av	 251
-ur	 251
-_÷	 248
-mi	 246
-ve	 245
-ak	 245
-ku	 243
-ek	 241
-tu	 241
-_ý	 241
-ad	 241
-ñ	 238
-_l	 238
-_i÷	 236
-us_	 236
-_su	 232
-oj	 231
-au_	 231
-ba	 224
-nt	 218
-me	 214
-te	 210
-jo_	 208
-ro	 205
-ós	 204
-iù	 203
-tai	 203
-_õ	 201
-ló	 201
-pas	 200
-ip	 198
-iai	 197
-di	 195
-usi	 194
-vo_	 193
-kai	 190
-i,	 189
-i,_	 189
-sk	 187
-_r	 186
-aus	 184
-ap	 183
-gi	 182
-mo	 182
-uk	 181
-t_	 180
-_da	 177
-be	 176
-ien	 176
-o,	 174
-il	 174
-o,_	 173
-ti_	 173
-re	 172
-_nu	 171
-ßia	 171
-_pas	 169
-pri	 169
-÷_	 169
-ok	 168
-dó	 166
-ól	 162
-bu	 161
-÷i	 160
-on	 160
-asi	 159
-id	 158
-ul	 157
-ji	 157
-aip	 156
-ia_	 155
-_sa	 154
-ot	 154
-gal	 153
-nk	 153
-om	 152
-p_	 151
-_pri	 151
-od	 151
-vis	 150
-_at	 150
-vie	 150
-uv	 150
-ab	 150
-iù_	 149
-ama	 149
-nó	 149
-A	 149
-sta	 148
-kr	 148
-_A	 145
-ais	 144
-rt	 143
-J	 142
-_J	 142
-ójo	 142
-_õ_	 141
-K	 140
-_K	 139
-pi	 139
-avo	 139
-ng	 139
-mas	 138
-du	 138
-ug	 137
-_ga	 137
-ol	 136
-tik	 135
-ali	 135
-..	 135
-_vis	 135
-iek	 134
-ini	 133
-kad	 133
-a,	 133
-le	 133
-kó	 133
-T	 133
-tó	 132
-i.	 132
-_T	 131
-dý	 131
-a,_	 131
-go	 131
-ip_	 131
-aip_	 131
-ró	 129
-a÷	 129
-dýi	 129
-ke	 128
-k_	 128
-d_	 127
-ad_	 127
-_ti	 127
-_ma	 126
-_va	 125
-i._	 124
-z	 123
-÷k	 123
-iau_	 121
-m_	 120
-kar	 119
-um	 119
-tù	 119
-_kad	 118
-uý	 117
-tr	 117
-_kai	 117
-as,	 116
-og	 116
-kad_	 116
-as,_	 116
-_ji	 116
-rie	 115
-yt	 114
-_ja	 114
-_ko	 114
-vó	 114
-ys	 114
-jau	 113
-ar_	 113
-pra	 112
-aý	 112
-ant	 112
-kl	 111
-tas	 111
-gu	 111
-_ku	 110
-si_	 110
-pe	 109
-eb	 109
-N	 109
-ójo_	 108
-_kad_	 108
-se	 108
-_ki	 108
-or	 107
-ly	 107
-lo	 107
-iai_	 107
-_la	 106
-ts	 106
-ñs	 106
-ig	 105
-_N	 105
-ut	 105
-_u	 105
-ós_	 105
-avo_	 104
-ie_	 104
-a.	 104
-kt	 104
-em	 103
-do	 103
-je	 102
-ks	 102
-ats	 101
-_be	 101
-ris	 101
-l_	 101
-_vie	 101
-tin	 101
-ag	 100
-dam	 100
-_st	 100
-a._	 99
-_bu	 99
-?	 99
-V	 98
-io_	 98
-kas	 98
-_jo	 98
-vien	 97
-_gal	 97
-ót	 97
-kia	 97
-lia	 96
-c	 96
-uri	 96
-_V	 96
-?_	 96
-uvo	 95
-ru	 95
-ty	 95
-ep	 94
-nd	 94
-lai	 94
-_tai	 94
-ju	 93
-man	 92
-o.	 92
-buv	 92
-tÝ	 92
-_÷i	 91
-i÷_	 91
-_i÷_	 91
-i÷k	 90
-o._	 90
-_to	 90
-bi	 90
-up	 89
-po	 89
-rs	 89
-_prie	 88
-ù,_	 88
-aik	 88
-ui	 88
-_tik	 88
-ij	 88
-ù,	 88
-pat	 88
-prie	 88
-I	 87
-ies	 87
-tai_	 87
-n_	 87
-pasi	 87
-ius	 87
-÷t	 87
-eik	 86
-_me	 86
-ina	 86
Index: unk/gsdl/perllib/textcat/malay.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/malay.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 87128
-a	 50232
-n	 25424
-e	 18746
-i	 18605
-an	 14419
-u	 12470
-k	 11955
-t	 11875
-r	 11007
-d	 9856
-g	 9545
-m	 9390
-s	 8926
-l	 8631
-n_	 8004
-an_	 7095
-p	 6890
-a_	 6739
-b	 6645
-ng	 6630
-h	 5964
-da	 5153
-_d	 5107
-er	 4625
-ka	 4448
-la	 4339
-y	 4323
-i_	 4295
-en	 4159
-ya	 3800
-ang	 3778
-_m	 3750
-o	 3593
-.	 3539
-._	 3310
-at	 3288
-ah	 3216
-_b	 3199
-_s	 3177
-ta	 3076
-ra	 3036
-_k	 2949
-g_	 2939
-ng_	 2933
-ar	 2915
-_p	 2906
-me	 2884
-ga	 2781
-di	 2778
-ak	 2727
-al	 2705
-_me	 2671
-ang_	 2524
-h_	 2509
-ba	 2508
-pa	 2454
-kan	 2449
-in	 2437
-tu	 2411
-_t	 2376
-sa	 2338
-_da	 2276
-j	 2276
-pe	 2225
-,	 2150
-k_	 2147
-ma	 2143
-se	 2138
-am	 2131
-kan_	 2117
-_di	 2082
-,_	 2079
-ke	 2048
-un	 2004
-be	 1947
-_a	 1925
-na	 1871
-ti	 1868
-ri	 1861
-u_	 1857
-as	 1854
-ny	 1827
-ha	 1789
-te	 1788
-_pe	 1768
-em	 1750
-it	 1737
-_i	 1732
-_ke	 1711
-yan	 1706
-ad	 1698
-ia	 1673
-yang	 1673
-_y	 1668
-_ya	 1655
-yang_	 1653
-_se	 1648
-ah_	 1646
-_yan	 1639
-_yang	 1639
-ala	 1612
-nya	 1587
-el	 1576
-ik	 1571
-t_	 1568
-ai	 1549
-men	 1531
-eng	 1522
-_men	 1464
-nga	 1441
-dan	 1366
-_be	 1365
-si	 1343
-uk	 1328
-ada	 1299
-nt	 1291
-__	 1287
-ap	 1276
-ua	 1265
-___	 1238
--	 1213
-ja	 1211
-ber	 1204
-gan	 1203
-_ba	 1193
-____	 1189
-ni	 1181
-_te	 1169
-c	 1143
-ran	 1141
-_____	 1140
-m_	 1127
-ara	 1118
-per	 1099
-le	 1084
-_dan	 1083
-dan_	 1079
-ngan	 1060
-_dan_	 1050
-ya_	 1046
-at_	 1044
-da_	 1021
-li	 1016
-aka	 1013
-A	 999
-r_	 999
-w	 997
-eb	 995
-lah	 980
-ata	 980
-ak_	 978
-nd	 974
-_ber	 955
-gi	 936
-is	 933
-il	 931
-tu_	 923
-s_	 920
-gan_	 915
-mb	 913
-wa	 904
-ag	 903
-ngan_	 898
-ter	 887
-nya_	 877
-S	 873
-ek	 853
-ru	 852
-_l	 838
-ela	 828
-itu	 824
-ol	 822
-aha	 822
-ada_	 820
-pu	 812
-di_	 807
-bu	 807
-am_	 804
-ur	 801
-tan	 790
-mp	 790
-_per	 786
-_sa	 784
-M	 782
-ut	 781
-us	 779
-era	 779
-lam	 778
-lah_	 775
-asa	 767
-ki	 761
-ir	 759
-de	 756
-enga	 750
-su	 748
-du	 741
-id	 739
-"	 733
-akan	 732
-apa	 728
-_S	 724
-ul	 721
-lu	 717
-ari	 717
-dal	 704
-et	 698
-es	 698
-pad	 688
-_ma	 688
-_M	 685
-ana	 684
-bi	 679
-pada	 673
-dala	 673
-l_	 671
-ep	 664
-f	 662
-_di_	 658
-B	 655
-ing	 655
-_j	 654
-ika	 653
-ku	 650
-_.	 644
-akan_	 642
-ama	 637
-pen	 636
-alam	 634
-eh	 634
-pada_	 633
-ai_	 632
-_ter	 632
-K	 631
-mu	 628
-ju	 628
-P	 626
-mem	 625
-au	 622
-_mem	 614
-lan	 612
-_._	 611
-ntu	 608
-lam_	 605
-um	 601
-on	 600
-gk	 597
-_in	 597
-ngk	 597
-a.	 584
-meng	 582
-_meng	 578
-alam_	 577
-_A	 576
-aa	 575
-uk_	 572
-_pen	 569
-ban	 569
-or	 569
-st	 566
-ay	 566
-dar	 565
-_pa	 564
-a._	 564
-_h	 562
-bah	 562
-_P	 560
-D	 559
-ri_	 558
-ini	 552
-_de	 551
-rt	 550
-aan	 545
-_it	 542
-_itu	 542
-nda	 540
-eri	 540
-dalam	 537
-_B	 533
-_dal	 532
-ip	 532
-_dala	 532
-ta_	 528
-_u	 527
-ung	 525
-ih	 524
-aw	 520
-_n	 519
-atu	 517
-ila	 513
-mi	 513
-leh	 513
-ian	 512
-tuk	 509
-awa	 508
-gu	 506
-ert	 506
-engan	 505
-ole	 504
-_K	 501
-seb	 497
-ca	 496
-gg	 493
-_ta	 489
-ra_	 488
-ngg	 488
-itu_	 487
-emb	 482
-ni_	 482
-ida	 482
-nj	 482
-_ti	 479
-man	 478
-den	 477
-_D	 474
-_ka	 473
-aj	 470
-oleh	 468
-n.	 468
-n._	 464
-ngka	 464
-gka	 464
-dak	 464
-anga	 461
-ena	 459
-san	 458
-pat	 458
-rk	 458
-(	 455
-ent	 454
-agi	 453
-)	 451
-ia_	 450
-ge	 450
-ab	 449
-im	 447
-_ini	 446
-ntuk	 445
-I	 445
-ar_	 440
-N	 439
-aan_	 436
-_la	 433
-pi	 432
-baha	 431
-deng	 430
-han	 430
-bag	 429
-eh_	 429
-hu	 429
-denga	 428
-_o	 427
-na_	 427
-T	 425
-leh_	 422
-_den	 422
-ka_	 419
-any	 415
-ud	 415
-rang	 414
-anya	 413
-gi_	 412
-angan	 412
-a,	 411
-_deng	 410
-ita	 409
-kat	 408
-re	 408
-_(	 406
-tuk_	 403
-aga	 401
-ne	 400
-and	 399
-aya	 398
-_dar	 397
-a,_	 396
-ro	 396
-ntuk_	 393
-eba	 392
-aran	 390
-_"	 387
-ed	 385
-end	 384
-ko	 383
-sa_	 381
-p_	 381
-ara_	 380
-_seb	 379
-alah	 379
-oleh_	 379
-an.	 378
-dak_	 378
-eg	 378
-hi	 376
-dari	 375
-an._	 375
-au_	 373
-bo	 373
-ti_	 371
-ula	 371
Index: unk/gsdl/perllib/textcat/manx.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/manx.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 36004
-e	 9455
-a	 8302
-y	 6395
-n	 6395
-h	 5736
-r	 4939
-s	 4799
-o	 4429
-i	 4129
-l	 3462
-y_	 2896
-g	 2731
-n_	 2549
-d	 2232
-t	 2160
-_a	 1836
-m	 1823
-sh	 1774
-e_	 1746
-h_	 1645
-yn	 1550
-c	 1531
-ee	 1515
-gh	 1461
-s_	 1460
-_s	 1388
-ey	 1345
-_e	 1316
-ag	 1312
-a_	 1201
-r_	 1173
-agh	 1165
-in	 1148
-as	 1136
-_d	 1136
-u	 1124
-he	 1060
-yn_	 1025
-oo	 1012
-ey_	 1005
-_m	 1002
-er	 965
-v	 949
-_y	 941
-_v	 895
-_c	 891
-_as	 880
-'	 869
-,	 866
-_n	 832
-ll	 828
-,_	 827
-_sh	 818
-.	 802
-hi	 797
-as_	 770
-ee_	 768
-ne	 767
-_as_	 764
-b	 762
-re	 735
-ay	 730
-._	 730
-an	 726
-ar	 725
-gh_	 722
-ny	 709
-en	 703
-_r	 697
-ch	 688
-agh_	 687
-dy	 686
-t_	 677
-le	 667
-k	 658
-er_	 616
-oi	 612
-ea	 607
-_t	 601
-yr	 596
-_er	 585
-ra	 574
-_dy	 572
-in_	 570
-l_	 564
-f	 557
-_l	 556
-ha	 551
-_g	 548
-_ny	 534
-nn	 530
-"	 528
-_ch	 527
-_y_	 524
-ie	 514
-dy_	 514
-_dy_	 513
-aa	 510
-_f	 509
-j	 504
-sh_	 487
-oa	 480
-is	 478
-_h	 470
-rr	 468
-ny_	 467
-_ny_	 463
-_er_	 454
-ish	 445
-ho	 442
-ai	 441
-d_	 435
-ro	 423
-ht	 418
-ei	 417
-shi	 416
-il	 409
-me	 408
-_ay	 403
-_b	 403
-la	 400
-_j	 400
-my	 394
-va	 391
-ns	 386
-on	 385
-_o	 381
-ys	 380
-_shi	 379
-ia	 377
-ayn	 373
-_va	 371
-hen	 362
-she	 356
-ri	 345
-lle	 342
-ooi	 342
-mee	 340
-ley	 335
-_me	 331
-el	 330
-rt	 328
-ie_	 327
-eh	 324
-w	 316
-_ayn	 313
-al	 311
-g_	 309
-ish_	 308
-lley	 307
-mee_	 305
-_mee	 304
-ill	 301
-es	 299
-na	 299
-je	 298
-yns	 296
-C	 294
-_my	 291
-_she	 290
-ley_	 282
-V	 280
-_yn	 278
-_"	 278
-_mee_	 277
-ta	 272
-_V	 271
-ys_	 268
--	 268
-lley_	 265
-hin	 264
-_ro	 259
-shin	 256
-_yn_	 255
-_je	 255
-do	 253
-va_	 253
-ne_	 253
-_va_	 252
-ns_	 252
-_shin	 251
-yns_	 250
-ayns	 248
-en_	 247
-che	 246
-_ayns	 246
-eh_	 246
-_do	 242
-ad	 241
-ney	 240
-o_	 240
-ym	 240
-ed	 239
-yr_	 239
-ayns_	 237
-ur	 237
-st	 234
-_C	 234
-rt_	 234
-'n	 232
-m_	 232
-p	 231
-li	 231
-or	 230
-ow	 228
-hin_	 225
-da	 225
-shen	 223
-"_	 223
-'n_	 223
-Va	 221
-ght	 220
-shin_	 219
-tr	 217
-_Va	 217
-ry	 216
-ve	 216
-_shen	 215
-ty	 214
-mo	 206
-_'	 205
-_ve	 205
-ma	 203
-be	 203
-te	 203
-hie	 203
-hey	 203
-nag	 202
-ll_	 201
-yl	 200
-w_	 200
-ss	 200
-aa_	 198
-nagh	 198
-an_	 197
-io	 195
-ow_	 194
-it	 194
-sy	 193
-ayr	 193
-ney_	 192
-E	 192
-sht	 192
-ni	 191
-_k	 190
-ha_	 190
-ain	 189
-u_	 189
-hy	 189
-aght	 188
-oo_	 188
-ree	 188
-lh	 187
-_tr	 186
-esh	 186
-_che	 183
-yrt	 182
-_da	 182
-oar	 182
-doo	 181
-k_	 181
-se	 180
-au	 180
-ille	 179
-ar_	 179
-_lh	 179
-ki	 177
-arr	 176
-ec	 176
-ol	 175
-_doo	 175
-T	 175
-row	 175
-_row	 174
-ge	 173
-so	 172
-oy	 171
-oil	 170
-_re	 170
-_ag	 170
-'e	 169
-rey	 169
-illey	 169
-ck	 168
-ad_	 168
-ann	 168
-n,	 166
-eea	 166
-_ta	 166
-ht_	 165
-ae	 162
-_row_	 162
-!	 162
-row_	 162
-ane	 161
-fe	 161
-dd	 160
-go	 159
-tyn	 159
-oin	 158
-ooa	 158
-n.	 158
-eg	 156
-_ec	 156
-_ma	 156
-_agh	 155
-n,_	 154
-_fe	 154
-Ch	 154
-nyn	 153
-fo	 152
-eay	 152
-nagh_	 152
-n._	 152
-_go	 151
-S	 150
-ke	 150
-hey_	 150
-enn	 150
-cha	 149
-rre	 149
-_fo	 149
-ghe	 149
-raa	 149
-G	 148
-lan	 148
-mm	 147
-ym_	 147
-A	 146
-c_	 146
-oill	 145
-hee	 144
-ooar	 144
-_E	 144
-nne	 143
-tey	 142
-ir	 141
-de	 141
-hyn	 140
-_he	 140
-nyn_	 140
-'s	 139
-_gh	 139
-_cha	 138
-L	 138
-yrt_	 138
-_Ch	 137
-e,	 137
-lla	 136
-Va_	 136
-ooin	 136
-ell	 135
-a'	 135
-os	 135
-_oo	 134
-am	 134
-rish	 133
-th	 133
-_mo	 133
-ris	 133
-iag	 133
-gg	 133
-_Va_	 132
-iagh	 132
-_G	 132
-e,_	 132
-ass	 132
-!_	 132
-my_	 132
-hoo	 131
-_T	 131
-nee	 130
-a'n_	 129
-rag	 129
-a'n	 129
-_'s	 129
-_so	 128
-co	 128
-rey_	 128
-_eh	 126
-_my_	 126
-nni	 126
-ou	 126
-_'sy	 125
-'sy	 125
-_p	 125
-vo	 125
-_S	 125
-H	 125
-_agh_	 125
-tra	 124
-moo	 124
-hu	 123
-ooy	 123
-ragh	 123
-al_	 123
-it_	 123
-hia	 122
-id	 122
Index: unk/gsdl/perllib/textcat/marathi.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/marathi.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-þ	 17815
-_	 14534
-þþ	 4035
-þ_	 3087
-·	 2180
-ø	 1762
-·þ	 1669
-ú	 1654
-¡	 1534
-¥	 1480
-¡þ	 1433
-Å	 1342
-£	 1289
-	 1237
-	 1163
-­	 1158
-¬	 1153
-þþ_	 1133
-¿	 1099
-š	 1084
-	 1062
-	 1059
-ú_	 1054
-¥þ	 1054
-Å	 1050
-¡þþ	 1039
-þú	 989
-	 983
-þ	 968
-	 965
-¹	 949
-_	 936
-.	 936
-šþ	 915
-þ¿	 859
-þ£	 842
-¬þ	 838
-þ	 836
-þ·	 769
-þ	 764
-µ	 710
-þ¥	 710
-þ	 684
-þ·þ	 681
-._	 670
-þú_	 637
-œ	 609
-þ	 578
-_	 578
-_þ	 569
-_	 543
-þ	 530
-_·	 530
-µþ	 524
-_	 523
-	 511
-	 504
-ø_	 495
-·þ_	 477
-þ¥þ	 476
-þ­	 474
-_¹	 474
-_¬	 457
-_Å	 447
-_þ	 447
-¡þþ_	 446
-þø	 444
-ž	 438
-þ	 423
-¥þþ	 422
-þ	 409
-þš	 388
-Åþ	 387
-þþ	 381
-£_	 366
-Åþ	 359
-é	 339
-þšþ	 334
-_¬þ	 332
-þµ	 331
-þ	 324
-þþ	 320
-_þ	 320
-þþ	 318
-ª	 315
-_­	 315
-þ_	 314
-Û	 313
-þ¹	 306
-þ£_	 303
-þ¬	 301
-þ	 297
-	 297
-þþ	 295
-ªþ	 284
-þ¡	 280
-§	 274
-¿_	 272
-þþ·	 270
-þ¡þ	 268
-¥þþ_	 268
-£þ	 264
-þ	 264
-­ú	 263
-,	 258
-þþ·þ	 256
-þ¥þþ	 256
-þ·þ_	 256
-,_	 255
-þÅ	 255
-Ù	 249
-¬þþ	 247
-þþ¿	 243
-þþ£	 241
-_	 234
-_·þ	 233
-·þþ	 232
-þ	 232
-·¡	 231
-þ¿_	 231
-þþ	 230
-þ¬þ	 228
-Ä	 227
-	 226
-þµþ	 225
-œ_	 223
-·¡þ	 221
-­œ	 220
-_	 220
-¥ø	 219
-µþ_	 218
-šþþ	 217
-þ.	 216
-þ	 215
-_þ	 213
-..	 209
-_þþ	 209
-þþþ	 205
-þþ	 205
-·¡þþ	 204
-	 204
-·þú	 203
-þ¥þþ_	 202
-Å_	 202
-þþ¥	 201
-ê	 198
-_š	 198
-þ	 193
-_¡	 191
-þþ	 190
-þ._	 189
-¡þ	 188
-¡	 188
-¡þþ	 187
-Ï	 186
-ø·	 186
-	 185
-­ú_	 180
-þ_	 180
-_þ	 180
-þ	 179
-Ú	 178
-_Åþ	 176
-_·¡þ	 175
-_·¡þþ	 175
-­þ	 175
-_·¡	 175
-þþ	 174
-þ­ú	 171
-¥¡	 170
-_	 170
-...	 168
-¥¡þ	 167
-þú	 166
-_¥	 164
-þþ	 164
-þ­	 163
-¥¡þþ	 163
-þ	 162
-ø·þ	 162
-_þ­	 162
-¡þþ_	 161
-­ø	 160
-Å_	 159
-þþ¥þ	 159
-þ­œ	 157
-þþ	 154
-þ	 154
-_þ	 154
-_ž	 154
-ø¥	 153
-þþ	 153
-þ	 151
-þ£þ	 151
-_	 151
-þ­œ	 150
-þ§	 150
-·ø	 150
-ø.	 149
-_þ­œ	 149
-¬	 148
-¥þú	 148
-£ú	 147
-Ï	 147
-Å£	 146
-þú_	 146
-_¬	 145
-ø._	 145
-þþš	 144
-þÄ	 143
-	 142
-	 140
-¡þþ	 140
-¹šþ	 139
-¹š	 139
-þþ­	 137
-þþ	 136
-_­ø	 136
-­	 136
-_¡þ	 135
-ú.	 135
-·þø	 135
-'	 135
-Å£	 134
-_¥þ	 132
-þþšþ	 131
-þþ·þ_	 131
-µþþ	 129
-'_	 129
-_þþ	 129
-ú._	 128
-þÛ	 127
-....	 127
-	 127
-¿	 126
-þþ¬	 125
-_šþ	 124
-¡þ_	 123
-þ·þþ	 123
-«	 122
-;	 122
-_Ï	 121
-_¡þþ	 119
-»	 118
-¬þ¿	 115
-¥þ¿	 114
-¥þ_	 114
-þþ	 113
-þ¥¡þ	 113
-þ¥¡	 113
-b	 113
-þ£ú	 112
-_'	 112
-s	 111
-&	 111
-þþ	 111
-¬þ	 111
-þþú	 111
-p	 111
-ê	 111
-_£	 110
-þ¥¡þþ	 110
-bs	 109
-êþ	 109
-n	 109
-º	 109
-_¬þ	 108
-&n	 107
-bsp;	 107
-nbsp;	 107
-sp;	 107
-nb	 107
-bsp	 107
-nbs	 107
-sp	 107
-nbsp	 107
-&nb	 107
-&nbsp	 107
-p;	 107
-&nbs	 107
-þþþ	 106
-_'_	 106
-þ¥ø	 106
-·þ£	 106
-ø¥þ	 106
-þþ_	 105
-šþ£	 104
-þ¿	 104
-þ	 104
-þž	 104
-_þ	 103
-þ¬þþ	 103
-ø	 103
-­ø·	 102
-þþþ	 101
-þþ­ú	 100
-þþþ	 99
-þ,	 99
-_	 98
-þ,_	 98
-_Å£	 98
-þ	 98
-þþú_	 98
-_þþ	 97
-;&	 97
-_þ	 97
-þþ	 97
-_þþ	 96
-þ	 96
-¡þþþ	 96
-¬þ·	 96
-	 96
-;&nb	 95
-p;&nb	 95
-;&n	 95
-p;&	 95
-;&nbs	 95
-bsp;&	 95
-.....	 95
-êþ_	 95
-sp;&n	 95
-sp;&	 95
-p;&n	 95
-°	 94
-_	 94
-	 94
-¥¡þþ_	 94
-þþ¬þ	 93
-þú	 93
-þµþ_	 93
-£ú_	 93
-þµ	 93
-_	 92
-µ¡	 92
-_­ø·	 92
-þ­ú_	 92
-µ¡þ	 92
-·þú_	 91
-¹­	 91
-­œ_	 90
-_¬þþ	 90
-_þþ	 90
-þþ¥þþ	 90
-	 90
-µ¡þþ	 90
-þ	 89
-¹·	 89
-þ¡þ	 89
-þ£ú_	 89
-þÚ	 89
-þ¡	 89
-þÅþ	 89
-¿	 89
-þþ	 89
-_­	 88
-œÅ	 88
-þ¡þþ	 88
-_¹š	 88
-_¹šþ	 88
-­ø·þ	 87
-ø	 87
-œ	 87
-þþ­ú	 87
-_	 87
-­µ	 87
-þþ­	 87
-þµþ	 86
-¥þú_	 86
-_þ¹	 85
-þ¹	 85
-£·	 85
-_	 85
-¹·þ	 85
-_þþ­	 84
-¡ø	 84
-þ¹µþ	 83
-þþµ	 83
-¹µþ	 83
-¹µ	 83
-þ¹µ	 83
-þþ_	 83
-_ª	 82
-_þ¹µ	 82
-þ¹µþ_	 82
-þþ_	 82
-þ¹µþ	 82
-þ¹µ	 82
-þú_	 82
-_þ	 82
-¹µþ_	 82
-þþ£_	 81
-ø	 81
-œ._	 80
-¿þ	 80
-_·þ£	 80
-œ.	 80
-ú	 79
-_þ	 79
-þµþ_	 79
-²	 79
Index: unk/gsdl/perllib/textcat/middle_frisian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/middle_frisian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 60524
-e	 20138
-n	 10664
-t	 8674
-i	 7833
-a	 7549
-o	 7278
-r	 6963
-n_	 5391
-s	 5087
-d	 4731
-t_	 4327
-l	 4306
-e_	 4271
-en	 4068
-k	 3483
-m	 3346
-g	 2990
-er	 2965
-en_	 2835
-y	 2597
-w	 2481
-h	 2475
-j	 2441
-_d	 2375
-r_	 2250
-u	 2059
-s_	 1921
-ie	 1780
-_h	 1725
-z	 1710
-de	 1666
-_m	 1652
-_w	 1629
-_i	 1611
-et	 1550
-te	 1540
-b	 1538
-.	 1517
-er_	 1481
-in	 1420
-an	 1408
-p	 1392
-f	 1311
-,	 1280
-,_	 1273
-k_	 1266
-._	 1258
-y_	 1238
-_z	 1230
-oe	 1162
-v	 1144
-et_	 1138
-ne	 1131
-ee	 1125
-st	 1120
-_o	 1107
-_s	 1107
-_e	 1076
-_n	 1068
-_b	 989
-_t	 988
-l_	 983
-oo	 981
-ge	 975
-je	 963
-_g	 952
-at	 949
-me	 946
-ij	 943
-is	 913
-he	 899
-'	 892
-aa	 882
-el	 870
-_v	 864
-re	 843
-ar	 837
-_de	 805
-on	 800
-ke	 796
-de_	 788
-ei	 782
-_a	 776
-_'	 770
-le	 744
-at_	 742
-it	 741
-_k	 738
-or	 734
-an_	 729
-in_	 723
-da	 715
-te_	 703
-_he	 680
-_l	 664
-H	 661
-al	 652
-_H	 652
-a_	 650
-_da	 648
-D	 648
-d_	 646
-_D	 643
-es	 617
-g_	 608
-is_	 606
-æ	 596
-_f	 594
-'t	 591
-_'t	 584
-'t_	 583
-_me	 580
-c	 576
-_'t_	 576
-ri	 571
-_en	 564
-yn	 563
-_en_	 559
-ze	 538
-m_	 535
-om	 535
-ik	 522
-_de_	 522
-ed	 521
-be	 517
-wi	 509
-ch	 509
-ol	 498
-ar_	 498
-ha	 496
-_ne	 495
-we	 494
-ou	 486
-nd	 474
-ma	 474
-ik_	 470
-J	 459
-_ik	 456
-_ik_	 451
-_J	 451
-ll	 450
-M	 446
-li	 443
-wa	 442
-_M	 442
-ien	 435
-ro	 432
-di	 421
-nn	 418
-ste	 415
-wo	 415
-yn_	 415
-_r	 413
-_ha	 411
-it_	 409
-tt	 408
-ve	 407
-S	 404
-_j	 399
-_S	 398
-_in	 395
-as	 395
-der	 395
-hi	 389
-_al	 388
-uw	 384
-tte	 384
-ng	 381
-_wi	 381
-nne	 381
-het	 380
-_het	 378
-lle	 376
-nt	 374
-ns	 373
-op	 373
-je_	 367
-E	 366
-ek	 363
-B	 363
-dat	 362
-_B	 362
-_ma	 362
-_in_	 361
-_dat	 359
-_wo	 359
-ier	 358
-og	 357
-_E	 354
-_ge	 352
-dat_	 349
-ne_	 349
-eer	 349
-het_	 348
-_het_	 348
-_is	 348
-_dat_	 348
-ey	 347
-W	 346
-_W	 343
-_te	 339
-eg	 337
-ra	 335
-rs	 335
-!	 332
-zi	 332
-gt	 329
-_He	 327
-He	 327
-_be	 324
-j_	 320
-ij_	 320
-u_	 319
-f_	 317
-_di	 316
-;	 315
-_we	 315
-_is_	 314
-rt	 313
-!_	 313
-;_	 312
-n.	 311
-p_	 310
-la	 310
-_wa	 310
-ea	 308
-_u	 308
-pe	 304
-ta	 304
-il	 301
-my	 300
-ig	 300
-n,	 300
-n,_	 298
-iet	 297
-sc	 297
-ter	 296
-sch	 296
-oor	 295
-no	 294
-_my	 293
-n._	 291
-ti	 290
-_zi	 289
-st_	 288
-el_	 283
-gen	 282
-se	 280
-K	 279
-_oo	 278
-ui	 278
-e,	 275
-ten	 274
-net	 274
-oon	 274
-ho	 274
-jn	 273
-e,_	 273
-ijn	 272
-ien_	 272
-ko	 272
-N	 271
-ni	 271
-_N	 269
-den	 269
-za	 268
-_net	 267
-i_	 266
-wol	 266
-een	 264
-va	 264
-am	 264
-do	 263
-ol_	 262
-le_	 261
-_te_	 260
-rd	 260
-ke_	 259
-ey_	 259
-ers	 258
-_K	 255
-_ie	 255
-ver	 254
-to	 254
-_hi	 253
-nde	 253
-:	 253
-der_	 252
-jo	 251
-net_	 251
-al_	 250
-_wol	 250
-_p	 250
-_no	 250
-aar	 248
-_za	 245
-_net_	 245
-nk	 242
-est	 241
-om_	 241
-_va	 241
-ak	 241
-tj	 239
-ae	 238
-_op	 237
-mo	 236
-tr	 236
-_st	 233
-ier_	 233
-_ve	 233
-mm	 232
-T	 231
-eu	 229
-_ze	 228
-:_	 228
-mi	 228
-ag	 227
-zo	 227
-_ko	 226
-vo	 225
-_T	 225
-nne_	 225
-F	 224
-..	 224
-fo	 224
-_F	 223
-en,	 223
-oe_	 222
-wie	 222
-en,_	 221
-kk	 221
-_ien	 220
-on_	 218
-wol_	 218
-_fo	 218
-I	 217
-_do	 216
-eit	 214
-ei_	 214
-mme	 214
-G	 213
-_I	 213
-as_	 213
-or_	 211
-A	 211
-_G	 210
-_A	 210
-lle_	 209
-Da	 208
-_Da	 207
-_wol_	 207
-ren	 206
-_ee	 206
-e.	 205
-van	 205
-jen	 205
-een_	 205
-_van	 204
-kke	 204
-en.	 204
-O	 204
-_vo	 204
-V	 203
-_O	 203
-_V	 203
-ken	 203
-_mo	 203
-ot	 202
-ie_	 201
-ou_	 201
-ur	 201
-tte_	 200
-em	 200
-_van_	 199
-L	 199
-van_	 199
-_zo	 199
-op_	 199
-_L	 197
-iet_	 196
-of	 194
-ten_	 194
-oer	 193
-_ien_	 193
-e._	 193
-oed	 192
-hie	 192
-zy	 191
-en._	 191
-De	 191
-_ver	 191
-_ho	 189
-_De	 189
-oa	 189
-den_	 188
-_zy	 188
-lo	 187
-dan	 187
-nt_	 186
Index: unk/gsdl/perllib/textcat/mingo.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/mingo.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 3156
-'	 991
-a	 829
-t	 788
-k	 788
-n	 752
-e	 640
-h	 602
-ë	 551
-s	 495
-w	 466
-ö	 422
-y	 403
-u	 397
-'_	 368
-_n	 330
-i	 269
-.	 269
-._	 240
-e'	 238
-ô	 219
-a'	 209
-ne	 209
-e_	 194
-_ne	 184
-wa	 172
-_k	 164
-kw	 162
-á	 154
-e'_	 146
-_t	 145
-'t	 141
-"	 141
-ë'	 134
-ê	 132
-_h	 131
-é	 129
-ak	 129
-ne_	 126
-ta	 123
-_ne_	 123
-at	 121
-u'	 121
-hu	 118
-_u	 108
-ka	 107
-í	 106
-nö	 105
-N	 103
-ö'	 100
-hs	 95
-ha	 95
-te	 94
-ya	 93
-_ë	 92
-kh	 90
-'k	 86
-ú	 85
-æ	 84
-ni	 84
-'.	 84
-wë	 83
-ny	 83
-sh	 80
-_N	 80
-'._	 76
-ö_	 76
-kë	 72
-_"	 71
-ën	 70
-th	 69
-yu	 66
-_w	 66
-ëh	 66
-t_	 66
-ô_	 66
-Ne	 65
-Ne'	 65
-'s	 64
-ne'	 64
-"_	 64
-_.	 63
-_._	 61
-Ne'_	 61
-,	 60
-ne'_	 58
-në	 58
-kwa	 57
-_ne'	 57
-öt	 57
-a't	 57
-ek	 56
-s_	 56
-ët	 55
-i'	 55
-_hu	 54
-T	 54
-ë_	 54
-_s	 54
-_Ne	 53
-të	 53
-tö	 53
-_Ne'	 53
-_ne'_	 53
-ht	 53
--	 53
-ts	 52
-ya'	 52
-ë'_	 51
-_wa	 51
-_Ne'_	 51
-'ö	 50
-íy	 50
-_ka	 50
-as	 50
-ní	 49
-un	 49
-ê_	 49
-ty	 48
-hu_	 48
-ke	 48
-u_	 48
-,_	 47
-yô	 46
-he	 46
-ye	 46
-kê	 45
-si	 45
-nô	 44
-khu	 44
-a'k	 44
-_a	 43
-ák	 43
-wat	 42
-'ë	 42
-nö'	 42
-wá	 42
-aw	 41
-an	 41
-we	 41
-ôt	 41
-i_	 41
-_kh	 41
-tak	 41
-_te	 41
-ik	 41
-_khu	 40
-ës	 40
-yö	 40
-k_	 39
-khu_	 39
-yu'	 38
-hö	 38
-wën	 38
-n-	 38
-ëhs	 38
-_ha	 38
-wa'	 38
-_n-	 37
-sa	 37
-?	 37
-_T	 37
-æ'	 37
-_un	 36
-hô	 36
-wé	 36
-ah	 36
-_khu_	 35
-iy	 35
-ëk	 35
-ut	 35
-ök	 35
-öh	 35
-te'	 35
-u'_	 35
-_kë	 34
-yô_	 34
-ha'	 34
-st	 34
-ti	 34
-ta'	 34
-u't	 33
-ya't	 33
-'t_	 33
-'ö_	 33
-akw	 33
-ôk	 33
-níy	 32
-'ta	 32
-ku	 32
-ui	 32
-_sh	 32
-aa	 31
-én	 31
-ay	 31
-ënö	 31
-â	 30
-se	 30
-tw	 30
-yë	 30
-(_	 29
-_(_	 29
-_)_	 29
-us	 29
-_ëhs	 29
-(	 29
-kö	 29
-_ëh	 29
-ae	 29
-hë	 29
-_)	 29
-)_	 29
-_(	 29
-sy	 29
-)	 29
-ëë	 28
-ôn	 28
-sk	 28
-tá	 28
-té	 28
-tk	 28
-ên	 28
-kê_	 28
-a_	 28
-án	 27
-_huik	 27
-ön	 27
-_hui	 27
-kwé	 27
-huik	 27
-ék	 27
-hui	 27
-uik	 27
-_na	 27
-na	 27
-a'_	 26
-uikê	 26
-_ni	 26
-."	 26
-ææ	 26
-wi	 26
-huikê	 26
-ikê	 26
-nya	 25
-."_	 25
-?"	 25
-të'	 25
-íyu	 25
-awë	 25
-sn	 25
-në_	 24
-ö'_	 24
-ikê_	 24
-ekh	 24
-'ke	 24
-uikê_	 24
-?"_	 24
-tek	 24
-êt	 24
-',	 24
-"N	 23
-_ta	 23
-'a	 23
-hk	 23
-tê	 23
-tsi	 23
-wö	 23
-yu'_	 23
-_"N	 23
-íyu'	 23
-níyu	 23
-a'ta	 23
-é'	 23
-níyu'	 23
-shô	 22
-wëní	 22
-kwa'	 22
-ëní	 22
-kwë	 22
-_u'	 22
-ey	 22
-ëníyu	 22
-K	 22
-ai	 22
-_shô	 22
-úw	 22
-aö	 22
-ëht	 22
-ëníy	 22
-kwe	 22
-wëníy	 22
-_he	 22
-_te'	 21
-ún	 21
-s.	 21
-nöh	 21
-ëö	 21
-_ëk	 21
-'sh	 21
-kë'	 21
-htö	 21
-H	 21
-ata	 21
-U	 20
-'h	 20
-_ha'	 20
-ææ'	 20
-ae_	 20
-a'ke	 20
-ény	 20
-unö	 20
-we'	 20
-wë'	 20
-i'_	 20
-kës	 20
-ya'ta	 19
-es	 19
-awëní	 19
-hô_	 19
-uk	 19
-awën	 19
-hw	 19
-ë'.	 19
-ô'	 19
-tö'	 19
-sé	 19
-ë'ë	 19
-ë'._	 19
-'ëë	 19
-hkw	 19
--a	 19
-twa	 19
-'kw	 18
-he_	 18
-_K	 18
-nöt	 18
-hsa	 18
-hsi	 18
-ôni	 18
-aya	 18
-is	 18
-ëë'	 18
-kæ	 18
-skw	 18
-uw	 18
-',_	 18
-e't	 18
-kææ	 18
-ka'	 18
-nae	 17
-shô_	 17
-sat	 17
-niy	 17
-ëts	 17
-ath	 17
-ye'	 17
-í_	 17
-'ëë'	 17
-'u	 17
-_ët	 17
-ës_	 17
-_kës	 17
-_y	 17
-kak	 17
-ö'ö	 17
-kat	 17
-_th	 17
-'ë_	 17
-út	 17
-u'k	 17
-_H	 17
-tekh	 17
-s._	 17
-wê	 17
-_nae	 17
-kwá	 17
-_shô_	 17
-yê	 17
-öte	 16
-sha	 16
-ke_	 16
-k.	 16
-si'	 16
-hö'	 16
-yá	 16
-hta	 16
-kn	 16
-_nae_	 16
-hse	 16
-ké	 16
-ë'ë_	 16
-unë	 16
-nya'	 16
-nae_	 16
-nê	 16
-á'	 16
-ás	 16
-tô	 16
-a's	 16
-a'u	 16
Index: unk/gsdl/perllib/textcat/nepali.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/nepali.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 7044
-f	 2698
-]	 1196
-g	 933
-s	 815
-l	 781
-/	 698
-;	 662
-k	 645
-d	 635
-]_	 630
-f_	 611
-sf	 549
-f]	 541
-n	 526
-t	 460
-o	 412
-j	 399
-f]_	 374
-L	 365
-_;	 364
-x	 356
-_k	 353
-{	 337
-b	 323
-u	 321
-'	 303
-df	 299
-sf]	 290
-_l	 283
-sf]_	 265
-g]	 245
-G	 232
-e	 231
-|	 227
-a	 222
-/_	 222
-L_	 211
-_g	 210
-c	 207
-df_	 207
-{_	 207
-_c	 201
-g_	 201
-kf	 184
-f/	 177
-_u	 171
-/f	 168
-P	 163
-_/	 162
-k|	 161
-_s	 161
-}	 159
-+	 158
-h	 151
-fn	 150
-n]	 145
-of	 141
-tf	 140
-:	 136
-p	 136
-t_	 134
-.	 133
-_k|	 133
-._	 133
-_e	 131
-_d	 131
-_f	 129
-_._	 127
-_.	 127
-n]_	 123
-;f	 119
-lj	 118
-O	 118
-?	 118
-q	 118
-nf	 118
-y	 116
-_a	 113
-m	 111
-Ps	 110
-r	 110
-fg	 106
-w	 105
-sf_	 103
-lg	 102
-g]_	 100
-gf	 94
-_g]	 91
-Psf	 90
-x?	 89
-fd	 88
-fO	 88
-_lj	 85
-]s	 85
-z	 85
-s_	 84
-_p	 82
-_sf	 80
-D	 79
-kl	 78
-_;f	 78
-f/_	 77
-cf	 77
-}_	 76
-Psf]	 76
-jf	 76
-,	 75
-fl	 75
-\	 75
-_x	 74
-kfn	 74
-f{	 74
-_/f	 74
-]k	 73
-of]	 73
-,_	 72
-v	 72
-lt	 72
-_cf	 72
-_b	 71
-O{	 70
-i	 69
-xf	 68
-]kf	 68
-_/_	 68
-Psf]_	 68
-_h	 67
-g]kfn	 67
-g]k	 67
-d_	 67
-g]kf	 67
-O{_	 67
-]kfn	 67
-_g]k	 66
-g'	 66
-_g]kf	 66
-o_	 64
-"	 64
-;b	 63
-Gq	 63
-f+	 63
-n_	 63
-fk	 62
-sf/	 62
-/L	 62
-_kl	 62
-I	 61
-T	 61
-/s	 61
-If	 61
-dG	 60
-_j	 60
-]sf	 60
-;_	 59
-u_	 59
-yf	 59
-dGq	 58
-fO{	 58
-af	 57
-eP	 57
-fs	 57
-fO{_	 57
-fj	 56
-f;	 56
-qL	 56
-l/	 55
-\_	 55
-;D	 54
-dGqL	 54
-GqL	 54
-;+	 53
-g\	 53
-/sf	 52
-nfO	 51
-_kf	 51
-ug	 51
-pg	 51
-:t	 51
-fp	 50
-_ug	 50
-u/	 50
-lg_	 49
-ePs	 49
-fdf	 48
-cl	 48
-nfO{_	 48
-nfO{	 48
-;/	 48
-_cl	 47
-F	 47
-'/	 47
-g\_	 47
-_r	 47
-fo	 47
-_eP	 47
-]{	 46
-Z	 46
-/L_	 46
-_f_	 45
-ePsf	 45
-gd	 45
-_;D	 45
-if	 45
-Gb	 44
-lb	 44
-Q	 44
-_n	 44
-fsf	 44
-]sf]	 43
-+;	 43
-nL	 43
-lx	 43
-_t	 43
-_:	 42
-+;b	 42
-_o	 42
-fdf_	 42
-bf	 42
-hf	 42
-_lg	 42
-ePsf]	 41
-j_	 41
-ln	 41
-ef	 41
-/]	 41
-_df	 41
-To	 40
-klg_	 40
-_klg_	 40
-]sf]_	 40
-klg	 40
-_klg	 40
-_u/	 40
-f{_	 40
-_ePs	 40
-'g	 40
-Gg	 39
-:y	 39
-_g\	 39
-f}	 39
-kf_	 39
-:tf	 38
-]{_	 38
-fpg	 38
-b'	 38
-hg	 38
-g]{	 38
-jZ	 38
-_;+	 37
-gs	 37
-wf	 37
-o{	 37
-GqL_	 37
-l_	 37
-qL_	 37
-dGqL_	 37
-gf_	 37
-];	 37
-_ePsf	 36
-x'	 36
-?_	 36
-!	 36
-fx	 35
-u|	 34
-;d	 34
-_lb	 34
-fn_	 34
-_P	 34
-fg_	 34
-=	 34
-bn	 34
-Zj	 34
-o;	 34
-g]{_	 34
-_g\_	 34
-kIf	 33
-dl	 33
-kI	 33
-ljZj	 33
-jZj	 33
-rf	 33
-+u	 33
-]d	 33
-ljZ	 33
-nL_	 32
-f+;	 32
-fnL	 32
-gL	 32
-;/sf	 32
-tf_	 32
-wfg	 32
-_;/	 32
-Qm	 32
-fb	 32
-f;_	 32
-ld	 32
-;/sf/	 32
-/sf/	 32
-_x'	 32
-;/s	 32
-;f+	 32
-_;f+	 32
-fu	 32
-x?_	 32
-;f+;	 31
-_k|:t	 31
-s'	 31
-_kI	 31
-_k|:	 31
-of]_	 31
-_kIf	 31
-_;f+;	 31
-]l	 31
-k|:	 31
-bg	 31
-_;/s	 31
-|:	 31
-f+;b	 31
-_;/sf	 31
-|:t	 31
-|]	 31
-k|:t	 31
-m_	 31
-;f+;b	 31
-Jo	 30
-k|wf	 30
-|w	 30
-|wf	 30
-k|w	 30
-km	 30
-J	 30
-k|wfg	 30
-|wfg	 30
-]t	 30
-@	 30
-;f]	 30
-b_	 29
->	 29
-kfn_	 29
-fn]	 29
-gsf	 29
-sf+	 29
-Zjf	 29
-]kfn_	 29
-jif	 29
-ji	 29
-jf;	 29
-_k|w	 29
-fgd	 29
-_k|wf	 29
-Zjf;	 29
-ljZjf	 28
-jZjf;	 28
-]n	 28
-_z	 28
-_s'	 28
-_dG	 28
-|];	 28
-_;d	 28
-jZjf	 28
-u|]	 27
-gdGq	 27
-gdG	 27
-?n	 27
-x'g	 27
-|wfgd	 27
-wfgd	 27
-gdGqL	 27
-+u|]	 27
-f+u	 27
-fgdG	 27
-u|];	 27
-+u|];	 27
-wfgdG	 27
-dfg	 27
-a}	 27
-_dGq	 27
-f+u|	 27
-fgdGq	 27
-sf+u|	 27
-_sf+u	 27
-f+u|]	 27
-+u|	 27
-sf+u	 27
-_sf+	 27
-x?n	 27
-S	 26
-_To	 26
-]kfnL	 26
-_!	 26
-_T	 26
-ul	 26
-/f]	 26
-fsf]	 26
-af_	 26
-;s	 26
-kfnL	 26
-|:tf	 26
-k|:tf	 26
Index: unk/gsdl/perllib/textcat/persian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/persian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 12318
-?	 5938
-€	 2613
-?_	 1815
-¢	 1745
-þ	 1569
-ø	 1546
-õ	 1422
--	 1333
-÷	 1155
-ù	 991
-š	 841
-_ù	 778
-ö	 761
-î	 693
-ü	 664
-_ö	 663
-ª	 660
-€?	 631
-õ_	 624
-_?	 601
-?€	 598
-¥	 589
-_€	 565
-??	 564
-ý	 513
-¢_	 486
-_ü	 473
-_ý	 469
-þ?	 459
-û	 428
-ø_	 427
-_¢	 398
-î_	 392
-ó	 390
-ê	 384
-ö?	 379
-÷?	 361
-_ø	 337
-_-	 334
->	 327
-ú	 324
-_ö?	 319
-ù?	 313
-_ø_	 308
-ð	 305
-€¢	 303
-€_	 297
-?õ	 290
-š?	 285
-¢÷	 272
--_	 271
-S	 266
-_ù?	 265
-ô	 259
--š	 255
-¡	 255
-??_	 255
-ý?	 254
-¥?	 250
-Y	 246
-€¢_	 245
-ì	 243
-_ý?	 238
-?¢	 234
-_¥	 229
-ò	 229
-_S	 228
-€ø	 216
-ø€	 215
-?þ	 215
-?š	 214
-_€¢	 214
-ñ	 208
-þ?_	 207
-¢€	 203
-?-	 202
-_ô	 199
-ù?_	 199
-öþ	 195
-š_	 190
-š?_	 190
-_??	 189
-õ?	 188
-.	 188
-_€¢_	 185
-_ñ	 183
-?ø	 181
-_öþ	 180
-¢?	 177
-*	 176
-÷_	 176
-_ù?_	 174
-?û	 173
-€þ	 172
-ª_	 170
-þõ	 164
-ä	 161
-¯	 158
--š?	 156
-û_	 155
-€?_	 155
-_¥?	 152
-üõ	 151
-ý€	 150
-_€?	 146
-¥?_	 144
-þ€	 143
-¢ø	 141
-?€_	 140
-*_	 138
-ü÷	 137
-?÷	 136
-¬	 133
-ùî	 132
-_ý€	 131
--ª	 131
-ø?	 130
-?ú	 129
-_.	 129
-þó	 129
-¡_	 128
-ù¢	 124
-€õ	 121
-€-	 120
-ùî_	 120
-_ùî	 120
-_??_	 119
-ª?	 119
--š?_	 119
-ã	 118
--?	 118
->_	 116
-öþ?	 114
-ê_	 111
-¢þ	 109
-_¥?_	 109
-_ü÷	 109
-_ùî_	 108
-_öþ?	 107
-ö?€	 107
-©	 106
-_¢÷	 106
-.¢	 104
-?¥	 103
-_?€	 103
-€ê	 103
-ó?	 103
-þ¢	 103
-ñ?	 102
-ªî	 100
-?î	 100
-?€?	 98
-ð_	 98
-ý?û	 96
-€ú	 95
-öþ?_	 95
-_©	 94
-§	 94
-Y_	 94
-_ö?€	 93
-_ý?û	 93
-¥ø	 92
-øª	 91
-_ñ?	 91
-_öþ?_	 91
-?š_	 90
-÷?_	 90
-óþ	 90
-õ?_	 90
-ü-	 90
-øõ	 89
-:	 89
-ªî_	 88
-ü÷?	 88
-öø	 88
-_ù¢	 87
--ê	 86
-þ÷	 85
-_öø	 83
-,	 82
-þõ_	 82
-þš	 82
-?¢_	 80
-®	 80
-?€þ	 79
-_ü÷?	 79
-¢ª	 77
-???	 77
-øþ	 76
-_-?	 75
-÷î	 75
-?ª	 75
-?ì	 75
-€î	 74
-_€ø	 73
-ä_	 73
-þóþ	 73
-û?	 73
-óþõ	 72
-þóþõ	 71
-ù€	 71
-?>	 71
-ê?	 70
-_?€_	 70
-_.¢	 70
-ø¡	 69
-à	 69
-_§	 68
-¥ø€	 68
-þóþõ_	 67
-_ü-	 67
-€øª	 67
-óþõ_	 67
-õû	 67
-€ê_	 67
-šõ	 67
-€õ_	 66
-?-_	 65
-ù÷	 65
-ý?€	 65
-öøþ	 64
-€þ?	 64
-¬_	 64
-?ð	 63
-?-š	 63
-ø-	 63
-_ý?€	 62
-ø?_	 62
-ø€_	 62
-_-š	 61
-õþ	 61
-øþóþõ	 60
-øþóþ	 60
-øþó	 60
-?ù	 60
-øªî	 60
-_¢ø	 60
-€øªî	 60
-_öøþ	 60
--ª?	 60
-ì_	 60
-š€	 60
-ý€?	 60
-÷þ	 59
-öøþóþ	 59
-¯?	 59
-_¢?	 59
-öøþó	 59
-¢ª_	 59
-€??	 58
-€?¥	 58
-_üõ	 58
-.-	 58
-?¡	 58
-ø÷	 57
-í	 57
-¢€î	 57
-?€?_	 57
-þ?€	 57
-ù-	 57
-üõ_	 56
-ñ?š	 56
-øõ_	 56
-?€þ?	 56
-ú?	 56
-î€	 56
-€?¢	 56
-õû_	 55
-ô?	 55
-ª?¢	 55
-_öøþó	 55
--ª?¢	 55
-þ_	 55
-ö?€þ	 55
-€î_	 55
-S€	 55
-üþ	 54
-_S€	 53
-øªî_	 53
-_ù€	 53
-ò¢	 53
-€ò	 53
-€øªî_	 53
-ø¡_	 52
-¢÷?	 52
-û€	 52
-üþ?	 52
-õ>	 52
--õ	 52
-¢€?	 52
-üð	 52
-ì?	 52
-_í	 52
-î?	 52
-üó	 52
-??€	 52
-ð÷	 51
-€ò¢	 51
--þ	 51
-_ý€?	 51
-¡?	 50
-_¢€	 50
-¢€î_	 50
-.-š	 50
-ö?õ	 50
-ë	 50
-_ô?	 50
-ø¢	 50
-_ñ?š	 49
-.¢÷	 49
-÷€	 49
-ý?€?	 49
-ú-	 48
-_üð	 48
-_ö?€þ	 48
-€þ?_	 48
-ò¢_	 48
-ûù	 48
-ú?_	 48
-€ò¢_	 47
-ê€	 47
-â	 47
-.-š?	 47
-_¢þ	 47
->÷	 47
-úª	 47
-÷?õ	 47
-£	 47
-?€þ?_	 47
-?ûù	 47
-€¯	 46
-_.-	 46
-_ý?€?	 46
-õ€	 46
-õó	 46
--€	 46
-_üþ	 46
-¥þ	 46
-€ð	 45
-ôþ	 45
-_üó	 45
-ö?-	 45
-§þ	 45
-_ë	 45
-f	 45
-õ-	 44
-_ù-	 44
-úõ	 44
-_üþ?	 44
-ü-ª	 44
--î	 44
-ð¢	 44
-ö?€þ?	 44
-õª	 44
-.-š?_	 44
-šõ_	 44
-€ª	 44
-_-š?	 44
-€?î	 43
-ä?	 43
-é	 43
-?õ_	 43
-_€øªî	 43
-þª	 43
-?ê	 43
-?î_	 43
-_€øª	 43
-¯_	 43
-€š	 43
-þ??	 42
-Y?	 42
-¥_	 42
-÷÷	 42
-÷õ	 42
-_¥ø	 42
-þš?	 42
-¢õ	 42
-/	 42
-_â	 42
-???_	 42
-_¥ø€	 42
-_ù÷	 42
-s	 42
-¢÷÷	 42
-ö?-š	 41
-÷ø	 41
-ù÷?	 41
-?*	 41
-S€ò¢	 41
-_ö?õ	 41
-ñþ	 41
-_.-š	 41
-îþ	 41
-÷¢	 41
-ùõ	 41
-S€ò	 41
-ªø	 41
-ý?€?_	 40
-€úª	 40
Index: unk/gsdl/perllib/textcat/quechua.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/quechua.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 5766
-a	 4900
-n	 1941
-i	 1666
-u	 1384
-s	 1032
-t	 995
-y	 939
-h	 929
-k	 915
-q	 909
-p	 882
-a_	 847
-an	 821
-r	 783
-m	 740
-c	 705
-l	 695
-ta	 637
-ch	 613
-ay	 587
-qa	 557
-pa	 490
-ha	 486
-e	 474
-ma	 457
-o	 441
-na	 434
-ku	 411
-j	 409
-un	 367
-w	 358
-in	 353
-,	 345
-,_	 344
-cha	 318
-ar	 317
-n_	 315
-as	 291
-wa	 289
-ta_	 269
-ll	 259
-man	 255
-_k	 248
-._	 243
-.	 243
-nt	 227
-am	 224
-pi	 222
-la	 222
-ka	 217
-ac	 214
-ni	 214
-at	 213
-aq	 213
-i_	 208
-ri	 207
-qa_	 204
-una	 204
-y_	 192
-aj	 192
-_p	 192
-is	 188
-_m	 181
-lla	 175
-ach	 174
-rq	 173
-us	 172
-an_	 171
-_ka	 171
-ata	 169
-rqa	 165
-sq	 163
-hu	 162
-sp	 161
-_w	 157
-nk	 157
-hay	 157
-_s	 156
-sqa	 155
-ki	 153
-kun	 152
-_c	 152
-al	 150
-nta	 149
-ap	 147
-ant	 146
-yk	 146
-ay_	 144
-spa	 141
-hi	 137
-_ch	 136
-_n	 136
-ya	 135
-'	 134
-j_	 133
-uy	 132
-ra	 132
-a,_	 132
-a,	 132
-ti	 130
-_a	 125
-nc	 125
-kuna	 122
-s_	 121
-su	 121
-ak	 121
-_ma	 118
-ana	 118
-ari	 115
-_t	 114
-ama	 114
-chi	 114
-ñ	 113
-a._	 111
-a.	 111
-nch	 111
-iy	 111
-all	 110
-aw	 110
-_r	 110
-anta	 109
-ayk	 109
-na_	 109
-chay	 108
-sa	 104
-_wa	 104
-si	 103
-chu	 102
-pa_	 101
-acha	 101
-_cha	 101
-pi_	 101
-qan	 100
-_pa	 99
-_q	 97
-aj_	 97
-awa	 97
-ank	 95
-nku	 95
-im	 94
-q_	 92
-uk	 92
-C	 92
-mu	 90
-tu	 89
-J	 89
-_ni	 88
-taj	 87
-_J	 87
-nin	 86
-_chay	 86
-u_	 86
-_C	 84
-wan	 83
-nta_	 81
-_j	 81
-mant	 80
-ut	 79
-in_	 79
-ik	 79
-manta	 79
-asq	 79
-yt	 78
-n,	 78
-asqa	 78
-n,_	 78
-pay	 78
-li	 77
-yn	 77
-nq	 76
-yta	 76
-ic	 76
-up	 76
-_Ch	 75
-yku	 75
-Ch	 75
-he	 75
-hay_	 74
-nan	 74
-ina	 74
-ur	 73
-er	 72
-S	 72
-arq	 72
-or	 72
-_l	 71
-_u	 71
-aq_	 70
-os	 70
-yp	 70
-anc	 69
-man_	 69
-mi	 69
-ich	 68
-_i	 68
-st	 67
-_S	 67
-arqa	 66
-it	 66
-anch	 66
-ru	 66
-aku	 65
-pu	 65
-ña	 65
-alla	 64
-mp	 64
-sqa_	 64
-'a	 64
-ayku	 63
-es	 63
-A	 63
-ia	 63
-_man	 63
-_Cha	 61
-Cha	 61
-taj_	 60
-api	 60
-_ll	 60
-wi	 60
-ayp	 60
-aman	 59
-g	 58
-anku	 58
-yki	 57
-ima	 57
-yni	 57
-oj	 57
-mana	 57
-anta_	 57
-_su	 57
-uc	 56
-isp	 56
-ispa	 56
-uch	 56
-M	 56
-ir	 56
-_h	 55
-nqa	 55
-kuy	 55
-ayt	 54
-_M	 54
-b	 54
-_y	 53
-_mana	 53
-:	 53
-uku	 53
-:_	 53
-nm	 53
-au	 52
-ayta	 52
-io	 52
-qo	 51
-an,_	 51
-apa	 51
-spa_	 51
-erq	 51
-_wi	 51
-erqa	 51
-_sa	 51
-an,	 51
-el	 50
-um	 50
-ana_	 50
-han	 50
-il	 50
-on	 49
-chay_	 49
-sta	 49
-_D	 49
-D	 49
-iku	 49
-aqa	 49
-che	 48
-en	 48
-yta_	 48
-Ma	 47
-P	 47
-_lla	 47
-_Je	 47
-yq	 47
-Je	 47
-ita	 47
-rqan	 47
-ypi	 46
-har	 46
-Jes	 46
-_Jes	 46
-ios	 46
-ayq	 46
-Dio	 46
-un_	 46
-kus	 46
-_Dio	 46
-taq	 46
-_Dios	 46
-_Ma	 46
-_Di	 46
-Dios	 46
-Di	 46
-d	 46
-kan	 45
-Chay	 45
-oq	 45
-_Chay	 45
-_pay	 45
-upa	 45
-mun	 45
-ata_	 44
-_tu	 44
-nis	 44
-re	 44
-paq	 44
-yo	 44
-ej	 44
-qay	 43
-ncha	 43
-ha_	 43
-_A	 43
-I	 43
-_kan	 43
-_nis	 43
-_P	 43
-nman	 43
-nma	 43
-ataj	 42
-ara	 42
-ku_	 42
-nata	 42
-nat	 42
-i,	 41
-tin	 41
-qh	 41
-t'	 41
-orq	 41
-nki	 41
-_ru	 41
-_ku	 41
-i,_	 41
-ip	 40
-ham	 40
-usq	 40
-_ya	 40
-qank	 39
-orqa	 39
-ayn	 39
-mana_	 39
-ray	 39
-ym	 39
-uma	 39
-_pu	 39
-par	 39
-kay	 39
-n.	 38
-qa,_	 38
-n._	 38
-sus	 38
-aypi	 38
-usqa	 38
-qanku	 38
-ill	 38
-qa,	 38
-was	 38
-pa,	 38
-pa,_	 38
-asp	 38
-qa._	 37
-_mu	 37
-paj	 37
-amp	 37
-hin	 37
-uti	 37
-rin	 37
-_im	 37
-_ima	 37
-ja	 37
-_ri	 37
-rqa_	 37
-taq_	 37
-qa.	 37
-sh	 36
-spa,_	 36
-cha_	 36
-spa,	 36
-achi	 36
-una_	 36
-rqank	 36
-jt	 36
-K	 36
-amu	 36
-aspa	 35
-_Jesu	 35
-Jesus	 35
-nispa	 35
-ki_	 35
-waw	 35
-ko	 35
-ne	 35
-esus	 35
-int	 35
Index: unk/gsdl/perllib/textcat/romanian.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/romanian.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 20674
-a	 6376
-e	 5815
-i	 5746
-t	 3396
-r	 3280
-n	 3103
-u	 2835
-s	 2611
-c	 2582
-e_	 2235
-l	 2224
-o	 2149
-a_	 1974
-d	 1629
-m	 1528
-p	 1410
-i_	 1358
-in	 1308
-_c	 1167
-_s	 1118
-_d	 999
-re	 905
-ar	 898
-,	 791
-,_	 786
-_p	 785
-de	 771
-_a	 754
-te	 687
-_i	 667
-at	 654
-ti	 645
-ca	 639
-n_	 630
-ta	 617
-si	 614
-_de	 609
-f	 606
-st	 583
-ri	 581
-u_	 567
-nt	 553
-.	 542
-ra	 540
-_m	 534
-g	 528
-v	 516
-ul	 516
-de_	 513
-_in	 503
-b	 492
-_de_	 474
-._	 472
-le	 459
-l_	 444
-un	 443
-_si	 440
-es	 437
-tr	 426
-ea	 420
-t_	 412
-ce	 412
-ma	 407
-cu	 402
-er	 398
-_ca	 397
-si_	 388
-_f	 387
-_l	 383
-z	 382
-la	 381
-ne	 370
-sa	 364
-as	 360
-_e	 357
-in_	 356
-an	 352
-it	 351
-te_	 346
-or	 345
-el	 345
-ci	 339
-_si_	 333
-_n	 330
-are	 324
-pe	 319
-re_	 317
-al	 310
-_t	 309
-se	 304
-ic	 295
-ie	 290
-_u	 290
-ul_	 290
-ni	 289
-int	 285
-_o	 280
-en	 279
-ta_	 279
-ur	 261
-pa	 256
-co	 255
-_pe	 254
-ia	 252
-mi	 251
-pr	 249
-_ma	 249
-oa	 249
-me	 246
-lu	 246
-li	 241
-im	 238
-_in_	 237
-da	 237
-na	 237
-_sa	 235
-ac	 234
--	 234
-ii	 232
-est	 231
-r_	 231
-h	 230
-_cu	 230
-le_	 229
-ai	 229
-ca_	 227
-il	 226
-ru	 223
-sc	 223
-_v	 221
-nu	 220
-tu	 220
-_un	 220
-nd	 220
-di	 219
-are_	 216
-to	 215
-am	 214
-on	 213
-o_	 208
-is	 208
-sa_	 203
-la_	 200
-_b	 200
-ste	 195
-et	 194
-ec	 191
-_r	 186
-car	 185
-ui	 180
-un_	 179
-lo	 178
-cu_	 177
-ei	 176
-e,	 175
-e,_	 175
-pe_	 171
-m_	 167
-_la	 166
-a,	 165
-a,_	 164
-_ce	 164
-rt	 163
-_co	 163
-ent	 162
-ro	 162
-ele	 162
-_pe_	 160
-po	 160
-ea_	 159
-"	 158
-ntr	 158
-_cu_	 158
-_pr	 157
-ut	 157
-nc	 156
-ata	 155
-care	 154
-um	 153
-au	 151
-va	 151
-_o_	 150
-_car	 150
-ii_	 145
-ind	 145
-_un_	 144
-os	 144
-ad	 141
-_la_	 140
-I	 140
-este	 138
-ste_	 138
-care_	 138
-ir	 137
-ga	 136
-ap	 136
-ol	 136
-ra_	 136
-_di	 134
-D	 134
-_care	 133
-se_	 133
-om	 133
-ara	 133
-ati	 133
-fi	 133
-_sa_	 131
-zi	 130
-vi	 130
-_ca_	 129
-_se	 128
-_nu	 128
-ai_	 127
-ch	 127
-pi	 124
-ve	 123
-fa	 122
-ot	 121
-_a_	 120
-este_	 120
-du	 119
-ine	 119
-s_	 118
-fo	 118
-_ci	 118
-ui_	 118
-ba	 118
-i,	 117
-i,_	 116
-ne_	 115
-us	 115
-_g	 115
-a.	 115
-fe	 114
-A	 114
-pu	 114
-ce_	 113
-ar_	 113
-_pa	 113
-oc	 112
-sta	 112
-lui	 112
-ns	 112
-em	 112
-'	 112
-oar	 112
-din	 111
-iu	 111
-_int	 111
-ate	 111
-mu	 111
-hi	 110
-ele_	 110
-mp	 109
-_D	 109
-S	 109
-sti	 108
-bi	 108
-ata_	 107
-ti_	 107
-tra	 107
-C	 107
-c_	 106
-tre	 106
-_al	 105
-rea	 105
-mai	 105
-j	 104
-a._	 104
-gi	 104
-e.	 103
-d_	 103
-_fa	 103
-E	 102
-mo	 102
-at_	 101
-_e_	 101
-nte	 101
-lt	 101
-sp	 101
-za	 100
-mai_	 100
-su	 99
-na_	 98
-tat	 97
-sin	 97
-ez	 96
-tru	 96
-e._	 96
-ie_	 96
-ia_	 96
-_re	 96
-tul	 96
-_fo	 96
-ina	 95
-art	 95
-_C	 95
-no	 95
-nu_	 94
-_es	 94
-_po	 94
-cr	 94
-inc	 93
-_da	 92
-_mai	 92
-lui_	 92
-_din	 92
-_est	 92
-pre	 91
-_mai_	 91
-io	 91
-chi	 91
-ge	 90
-pri	 90
-eu	 90
-uri	 90
-az	 90
-_nu_	 89
-_me	 89
-ct	 89
-au_	 88
-esc	 88
-ev	 88
-ei_	 88
-min	 87
-ace	 87
-op	 86
-ng	 86
-ici	 86
-_lu	 85
-ari	 85
-_mi	 84
-ita	 84
-_S	 84
-_tr	 84
-ere	 83
-or_	 83
-ast	 83
-ist	 83
-nt_	 83
-_se_	 82
-ou	 82
-tin	 82
-intr	 82
-con	 82
-do	 81
-_fi	 81
-str	 81
-am_	 80
-rat	 80
-ru_	 80
-ri_	 80
-par	 80
-oi	 80
-uc	 79
-ze	 79
-pl	 79
-res	 78
-_ac	 77
-ulu	 77
-din_	 76
-va_	 76
-ada	 76
-ului	 75
-_con	 75
-id	 75
-inte	 74
-ile	 73
-cit	 73
-_din_	 73
-lor	 73
-_"	 72
-ig	 72
-rin	 72
-da_	 72
-_st	 72
--_	 71
-_-	 71
-it_	 71
-ani	 71
-nd_	 71
-ci_	 70
-ag	 70
-eri	 70
-i.	 70
-tru_	 70
-_ne	 70
-rm	 70
-P	 69
-_este	 69
-nta	 69
-bu	 69
-une	 69
-ma_	 69
-nti	 69
-imp	 68
-_-_	 68
-iv	 68
-ind_	 68
Index: unk/gsdl/perllib/textcat/rumantsch.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/rumantsch.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 10888
-a	 3490
-e	 2268
-i	 2196
-s	 2169
-n	 1961
-t	 1555
-r	 1510
-l	 1281
-u	 1249
-a_	 1155
-c	 1060
-d	 954
-o	 815
-s_	 744
-g	 726
-m	 686
-h	 620
-p	 617
-n_	 559
-v	 493
-_s	 480
-er	 476
-ch	 469
-_d	 457
-in	 455
-da	 418
-_c	 404
-r_	 388
-_e	 377
-.	 358
-_p	 340
-as	 333
-l_	 328
-,	 327
-._	 320
-_i	 320
-,_	 315
-la	 313
-en	 312
-sc	 310
-an	 301
-ta	 300
-_da	 285
-f	 282
-_t	 268
-_a	 262
-nt	 259
-_m	 252
-un	 248
-ra	 247
-i_	 247
-na	 245
-ma	 245
-ia	 241
-ar	 234
-sch	 228
-b	 228
-da_	 217
-es	 214
-ai	 213
-st	 212
-'	 209
-e_	 208
-as_	 208
-er_	 200
-t_	 199
-re	 199
-_l	 195
-al	 193
-_n	 193
-el	 192
-tg	 192
-te	 188
-z	 187
-ha	 180
-_f	 180
-sa	 174
-_da_	 172
-ve	 169
-ei	 168
-_v	 165
-at	 165
-ss	 161
-is	 161
-_ch	 161
-on	 160
-la_	 158
-cu	 158
-ad	 158
-he	 156
-in_	 147
-va	 147
-_in	 146
-gl	 145
-ns	 141
-ur	 140
-ü	 140
-u_	 138
-ts	 138
-pe	 136
-li	 134
-gi	 133
-et	 133
-de	 132
-ig	 132
-or	 130
-ti	 129
-il	 127
-d_	 126
-che	 123
-ut	 122
-us	 122
-cha	 121
-di	 120
-ia_	 120
-_b	 118
-_la	 117
-na_	 116
-ain	 115
-per	 115
-to	 115
-_cu	 113
-_sc	 112
-se	 111
-ls	 109
--	 108
-iu	 108
-ca	 107
-si	 104
-ir	 102
-rt	 102
-ie	 102
-_g	 102
-un_	 102
-nd	 101
-av	 101
-ni	 100
-q	 99
-au	 97
-ls_	 97
-ll	 96
-qu	 96
-_pe	 96
-le	 96
-rs	 95
-pa	 95
-ri	 95
-_ma	 94
-_per	 93
-am	 93
-eg	 92
-_r	 92
-gn	 92
-me	 92
-pi	 91
-an_	 91
-en_	 91
-ga	 91
-ent	 90
-hi	 90
-_e_	 90
-it	 89
-ta_	 88
-ter	 87
-ns_	 86
-iv	 86
-igl	 86
-a.	 85
-em	 85
-I	 85
-chi	 84
-_en	 84
-int	 84
-ue	 83
-su	 82
-tt	 82
-a,	 82
-a,_	 82
-o_	 82
-_ve	 82
-a._	 82
-_q	 81
-_qu	 80
-ge	 80
-"	 80
-_la_	 80
-ar_	 80
-vi	 79
-gl_	 79
-tu	 78
-ng	 78
-ro	 76
-mi	 76
-sta	 75
-ed	 75
-lla	 74
-ei_	 73
-_o	 73
-ic	 73
-el_	 73
-_il	 73
-_in_	 72
-g_	 72
-pr	 71
-nu	 70
-ina	 70
-_h	 69
-scha	 68
-mai	 68
-pl	 68
-il_	 68
-os	 68
-ha_	 68
-be	 67
-uo	 67
-cun	 67
-ra_	 67
-_pa	 65
-ts_	 64
-s.	 64
-co	 64
-_u	 64
-fi	 64
-_I	 63
-sa_	 63
-s._	 63
-_re	 62
-ün	 62
-_nu	 62
-?	 62
-S	 62
-_se	 61
-no	 61
-nt_	 61
-E	 61
-tr	 61
-mp	 60
-igl_	 60
-_su	 60
-_st	 60
-ess	 60
-im	 60
-zi	 59
-?_	 59
-nc	 59
-_E	 58
-_-	 58
-_cun	 58
-_te	 58
-_sa	 58
-ant	 58
-main	 58
-eu	 57
-ssa	 57
--_	 57
-iun	 57
-_-_	 57
-aint	 56
-op	 56
-al_	 56
-dal	 56
-j	 56
-ama	 55
-_tg	 55
-ua	 55
-M	 55
-per_	 55
-tsc	 54
-nta	 54
-tsch	 54
-um	 54
-fa	 54
-za	 54
-_di	 54
-pia	 54
-_per_	 54
-T	 54
-_M	 53
-ne	 53
-era	 53
-A	 53
-que	 53
-_dal	 53
-cr	 53
-_de	 53
-lla_	 53
-_che	 52
-h'	 52
-_me	 51
-ot	 51
-_pr	 51
-_pl	 51
-_sch	 51
-ch'	 50
-_S	 50
-opi	 50
-ou	 50
-tta	 50
-mo	 50
-ada	 50
-ba	 50
-_an	 49
-top	 49
-id	 49
-è	 49
-he_	 49
-C	 49
-va_	 49
-uto	 49
-ins	 48
-topi	 48
-L	 48
-ir_	 48
-ist	 48
-c_	 48
-_il_	 48
-P	 48
-ss_	 48
-ag	 47
-_no	 47
-res	 47
-las	 47
-_vi	 46
-s,	 46
-schi	 46
-_en_	 46
-tg_	 46
-s,_	 46
-_si	 46
-_que	 45
-_T	 45
-az	 45
-'i	 45
-cun_	 44
-_fa	 44
-_mi	 44
-utop	 44
-utopi	 44
-sche	 44
-_C	 44
-ur_	 44
-tge	 44
-po	 44
-es_	 44
-x	 44
-nz	 44
-_L	 44
-_cun_	 44
-man	 44
-_ch'	 43
-_fi	 43
-pu	 43
-ell	 43
-opia	 43
-_igl	 43
-_ig	 43
-sp	 43
-topia	 43
-ava	 42
-egn	 42
-che_	 42
-on_	 42
-ci	 42
-_P	 42
-ev	 42
-ond	 41
-_"	 41
-à	 41
-us_	 41
-_ha	 41
-D	 40
-_co	 40
-etg	 40
-'e	 40
-las_	 40
-est	 40
-ura	 40
-uel	 39
-ed_	 39
-vo	 39
-gia	 39
-bu	 39
-mu	 39
-nn	 39
-gli	 39
-_A	 39
-lu	 39
-cha_	 39
-ul	 38
-mal	 38
-_ün	 38
-ina_	 38
-_bu	 38
-_ca	 38
-_ü	 38
-uc	 38
-nts	 38
-tra	 38
-_tu	 37
Index: unk/gsdl/perllib/textcat/russian-iso8859_5.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/russian-iso8859_5.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 76249
-Þ	 19732
-Õ	 16714
-Ð	 14389
-Ø	 13942
-â	 13160
-Ý	 12444
-á	 9867
-à	 8461
-Ò	 7895
-Û	 7330
-Ú	 6498
-Ü	 5935
-.	 5725
-ã	 5287
-Ô	 5019
-ß	 4877
-ï	 4083
-,	 3899
-,_	 3878
-ë	 3656
-ì	 3376
-Ø_	 3167
-_ß	 3144
-Õ_	 3135
-Þ_	 3098
--	 3019
-×	 2983
-_Ò	 2952
-._	 2930
-_á	 2919
-ç	 2887
-Ó	 2876
-Ñ	 2797
-áâ	 2672
-_Ý	 2631
-âÞ	 2585
-..	 2407
-_Ø	 2316
-ÝÞ	 2300
--_	 2294
-Ù	 2281
-Ð_	 2249
-ÝÐ	 2057
-ï_	 2029
-ÞÒ	 1981
-ÝØ	 1950
-_â	 1944
-å	 1874
-ÕÝ	 1856
-_Þ	 1774
-...	 1744
-àÐ	 1709
-ÝÕ	 1685
-ßÞ	 1636
-_-	 1625
-ÚÞ	 1616
-âÕ	 1595
-àÞ	 1584
-_Ú	 1558
-_-_	 1531
-Ù_	 1521
-Õâ	 1518
-Ö	 1509
-_Ø_	 1454
-âÐ	 1433
-ÐÝ	 1419
-Õà	 1396
-Þâ	 1389
-ì_	 1381
-ÓÞ	 1375
-ÐÛ	 1370
-_ßÞ	 1364
-àÕ	 1345
-ÚÐ	 1338
-ßà	 1337
-ÒÐ	 1329
-âØ	 1306
-ÛØ	 1300
-_Ô	 1297
-_Ü	 1290
-Õá	 1284
-ÒÞ	 1271
-çÕ	 1256
-Þà	 1245
-....	 1232
-âì	 1219
-Þá	 1212
-è	 1192
-î	 1187
-Ò_	 1168
-.....	 1167
-ÞÝ	 1147
-ÐÚ	 1144
-æ	 1109
-ÞÓ	 1101
-ÛÞ	 1099
-â_	 1093
-àØ	 1076
-Ü_	 1074
-_ßà	 1063
-ÞÛ	 1062
-Ûì	 1045
-_ÝÕ	 1034
-ÕÛ	 1029
-_Ñ	 1026
-ØÝ	 1000
-ÞÔ	 998
-ÞÜ	 996
-ÜÕ	 993
-ë_	 975
-ÒÕ	 968
-áÚ	 968
-_ÝÐ	 966
-ÔÕ	 946
-Ýë	 943
-_à	 931
-_ç	 923
-Ðâ	 913
-ÕÜ	 910
-ã_	 907
-×Ð	 898
-å_	 898
-ÛÕ	 889
-âÞ_	 881
-Øâ	 878
-ÞÙ	 875
-áÕ	 862
-_Ò_	 833
-_×	 816
-ÚØ	 816
-âà	 807
-"	 786
-âì_	 769
-ÕÔ	 767
-ÝÕ_	 762
-áï	 754
-ÛÐ	 748
-ÞÑ	 747
-ÜÞ	 741
-ÔÐ	 730
-ÓÞ_	 715
-Ú_	 713
-Øá	 711
-_ã	 702
-ÞÙ_	 697
-ØÛ	 694
-ÜÐ	 692
-ÝÝ	 687
-ÔÞ	 662
-Ðá	 660
-ÐÜ	 656
-Øï	 649
-ÖÕ	 646
-Ð×	 638
-áÞ	 629
-ÝÐ_	 619
-_Ó	 615
-ÜØ	 612
-_Ð	 610
-í	 609
-Òá	 608
-.._	 605
-Òë	 604
-ÞÓÞ	 604
-ØÜ	 604
-_ÚÞ	 600
-ÐÒ	 597
-áÛ	 594
-ØÕ	 593
-_ÝÕ_	 589
-_Õ	 587
-_âÕ	 583
-âã	 583
-Øç	 583
-àã	 575
-Þáâ	 571
-é	 571
-Û_	 570
-_í	 569
-_ï	 559
-°	 556
-ÕÝØ	 544
-Ø×	 540
-ÕÚ	 536
-ÞÒÐ	 533
-ä	 525
-:	 519
-²	 513
-ÐÝØ	 511
-_Òá	 510
-ØÙ	 510
-œ	 508
-_ÚÐ	 508
-!	 503
-?	 501
-ÔØ	 498
-ÛØ_	 489
-¿	 488
-ßàÞ	 486
-_àÐ	 485
-áØ	 484
-Øà	 484
-_áâ	 484
-ìÝ	 484
-ÛìÝ	 484
-:_	 484
-áï_	 480
-_×Ð	 477
-ÑÞ	 470
-_Û	 469
-..._	 465
-Ñë	 464
-Øå	 464
-ž	 462
-ÕÓ	 461
-âÒ	 459
-ÝØï	 458
-ïâ	 454
-çâ	 454
-íâ	 445
-çÕá	 442
-_âÞ	 442
-Øï_	 441
-ØÚ	 440
-ÒØ	 437
-ÐÚ_	 436
-áâÐ	 436
-ÞÓÞ_	 435
-_²	 434
-ØçÕ	 433
-æØ	 431
-çâÞ	 431
-ëå	 429
-_íâ	 429
-Á	 425
-_çâ	 424
-_°	 424
-î_	 423
-ßÕ	 422
-Ýï	 422
-_çâÞ	 422
-Ûï	 419
-ÒáÕ	 418
-Ôã	 418
-ÕáÚ	 415
-Ýâ	 413
-ÚÐÚ	 411
-áâÞ	 411
-_Òë	 409
-Ýã	 408
-âá	 406
-Ý_	 406
-_¿	 401
-Œ	 401
-ÝÞ_	 399
-_ßàÞ	 398
-_.	 397
-àÞÒ	 396
-æÕ	 396
-Úâ	 394
-Õáâ	 394
-_"	 393
-èÕ	 393
-á_	 392
-_Þâ	 392
-Ÿ	 391
-_ÝÐ_	 391
-àÕÔ	 391
-çÕáÚ	 390
-Þ-	 390
-ÒÐÝ	 388
-Ð,	 385
-ÐÔ	 384
-Ðï	 384
-_ï_	 383
-Ð,_	 383
-âë	 383
-?_	 383
-_ÞÑ	 380
-_ÒáÕ	 380
-_âÐ	 378
-_ÚÐÚ	 376
-åÞ	 375
-âÐÚ	 375
-ÐÛì	 374
-ÞÖ	 373
-ëå_	 372
-ÞÒÞ	 372
-ØÒ	 371
-_ÒÞ	 369
-Üã	 369
-_œ	 369
-ÕÙ	 368
-ßàÕ	 368
-×Ý	 366
-ØçÕá	 365
-ßØ	 365
-ÕÓÞ	 362
-_áÞ	 360
-ÞÕ	 360
-!_	 360
-Ðâì	 360
-áâØ	 358
-Øå_	 358
-âÝ	 358
-ÜÕÝ	 358
-âáï	 356
-ØÕ_	 356
-ØçÕáÚ	 354
-ÑÕ	 352
-_Ñë	 352
-áâà	 349
-Úã	 349
-_ÜÞ	 348
-Õâ_	 348
-Â	 346
-_ÜÕ	 344
-ÕÒ	 344
-ßàØ	 343
-çØ	 342
-ÜÝ	 341
-ÝØï_	 339
-Ðà	 338
-ÝÝÞ	 337
-ÞÒÐÝ	 334
-Úá	 334
-ãà	 328
-_çÕ	 328
-ÞÛì	 328
-ãâ	 327
-çâÞ_	 324
-ÞÜ_	 323
-Þß	 323
-àÜ	 322
-°_	 322
-_çâÞ_	 322
-íâÞ	 322
-Þç	 321
-Þ,_	 320
-Þ,	 320
-áÚÞ	 319
-ÚÞÝ	 319
-ÛÞÒ	 318
-ëÙ	 318
-ãá	 317
-Þâ_	 316
-ØàÞ	 315
-áâÒ	 314
-Ø,	 314
-ØÙ_	 313
-áá	 313
-Ø,_	 313
-âÞÜ	 312
-ÐÕ	 312
-ÕÝÝ	 311
-Õ×	 311
-ÝÞÙ	 311
-_íâÞ	 310
-º	 309
-áÐ	 309
-àÐ×	 309
-Õß	 309
-_ÔÞ	 308
-ÞÛÞ	 308
-áâì	 308
-ãÔ	 307
-ÔÕÛ	 307
-_ž	 305
-ÐÑ	 305
-áì	 303
-ÐÛìÝ	 302
-ÞÚ	 300
-áÚØ	 300
-Ýëå	 300
-_ßàØ	 298
-çÐ	 297
-_Ö	 297
-Õ,	 297
-Õ,_	 297
-_°_	 296
-_ÝØ	 296
-_._	 295
-âáï_	 295
-ØØ	 294
-×ÝÐ	 293
-ï,	 292
-ï,_	 292
-_ßàÕ	 291
-_Á	 290
-ÝÞÙ_	 290
-Ðï_	 288
-_Ÿ	 288
-ÐÛØ	 286
-ÖÕ_	 285
-áß	 285
-Øáâ	 285
-Ýëå_	 285
-×_	 283
-_Œ	 283
Index: unk/gsdl/perllib/textcat/russian-koi8_r.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/russian-koi8_r.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 28256
-Ï	 8957
-Å	 7206
-Á	 6230
-É	 5966
-Ô	 5385
-Î	 5338
-Ó	 4464
-Ò	 3984
-×	 3504
-Ì	 3335
-Ë	 2700
-Í	 2441
-Ð	 2324
-Ä	 2230
-Õ	 1840
-Ñ	 1562
-Ù	 1540
-_Ð	 1505
-,	 1492
-,_	 1492
-Ø	 1437
-Ï_	 1423
-Å_	 1335
-ÓÔ	 1286
-Ú	 1283
-Ç	 1233
-Â	 1232
-É_	 1193
-ÔÏ	 1175
-_Ó	 1146
-Þ	 1143
-_×	 1118
-_Î	 1062
-Á_	 1032
-.	 999
-ÎÏ	 996
-ÅÎ	 920
-Ï×	 911
-._	 908
-Ê	 907
-ÎÁ	 893
-ÒÏ	 869
-ÒÁ	 851
-ÎÉ	 844
-Ñ_	 808
-ÐÒ	 786
-ÐÏ	 775
-ËÏ	 768
-Ö	 763
-_Ï	 735
-ÎÅ	 730
-ÏÓ	 723
-_É	 721
-È	 696
-ÒÅ	 667
-_ÐÒ	 629
-_Ë	 626
-×_	 621
-ÔÅ	 620
-Ø_	 616
-×Ï	 599
-Ê_	 597
-_ÐÏ	 592
-ÇÏ	 589
-ÅÒ	 584
-ÌÉ	 579
-ÔÁ	 576
-ÅÔ	 566
-Í_	 562
-ÅÓ	 548
-ÏÒ	 545
-ÅÌ	 545
-ÁÌ	 544
-×Á	 535
-ÔØ	 533
-ÌÅ	 528
-_Ä	 522
-ÏÍ	 520
-ËÁ	 520
-À	 518
-Û	 510
-_Ô	 507
-ÏÔ	 502
-ÏÌ	 500
-ÁÎ	 498
-ÌØ	 486
-ÏÄ	 476
-ÁÔ	 475
-ÔÉ	 471
-ÉÔ	 458
-ÏÎ	 457
-ÏÇ	 450
-Ã	 450
-ÌÏ	 449
-Ô_	 448
-_ÎÁ	 447
-ÎÙ	 443
-ÄÅ	 442
-_Í	 438
-ÌÁ	 431
-_×_	 430
-ÓË	 428
-_ÎÅ	 424
-ÒÉ	 400
-ÅÍ	 396
-_Â	 392
-_Þ	 388
-ÞÅ	 388
-ÁË	 388
-_É_	 385
-_Ò	 382
-ÔÏ_	 381
-ÉÎ	 380
-ÍÅ	 374
-ÄÁ	 362
-Ù_	 361
-×Å	 350
-ÔØ_	 348
-ÐÒÏ	 347
-ÏÊ	 346
-ÚÁ	 338
-È_	 336
-ÁÓ	 335
-ÏÂ	 328
-ÓÑ	 326
-ÉÍ	 323
-ÔÒ	 321
-ÎÁ_	 321
-ÓÏ	 320
-ÅÄ	 320
-ÏÓÔ	 318
-ÉÅ	 318
-ÍÏ	 317
-ÎÎ	 316
-ÓÅ	 314
--	 314
-Á×	 309
-ÖÅ	 308
-Õ_	 307
-ËÉ	 306
-ÎÅ_	 305
-ÇÏ_	 302
-_Ú	 300
-ÉÌ	 295
-_ÐÒÏ	 291
-Ý	 289
-Ô×	 288
-ÉÓ	 285
-_Õ	 275
-_ËÏ	 274
-ÅÎÉ	 274
-Ü	 273
-ÎÏ_	 272
-ÉÒ	 271
-_Ç	 271
-ÁÚ	 267
-ÁÒ	 266
-ÄÉ	 265
-ÏÊ_	 264
-ÏÇÏ	 263
-ÁÍ	 260
-ÐÅ	 258
-×Ù	 255
-ÍÉ	 254
-ÄÏ	 254
-ÓÔ×	 247
-ÉÚ	 246
-ÃÉ	 246
-î	 244
-Æ	 240
-_Ü	 239
-_Á	 239
-Ë_	 238
-ó	 237
-ÅÓÔ	 237
-_ÎÅ_	 236
-ÂÙ	 234
-ÉÑ	 234
-ÒÕ	 229
-ÅË	 228
-ÓÉ	 226
-ÔÅÌ	 224
-ÉË	 224
-ÌÉ_	 222
-ÅÊ	 222
-ÓÑ_	 222
-ÎÔ	 220
-ØÎ	 218
-ÞÔ	 216
-ÌØÎ	 216
-ÏÅ	 214
-ÍÁ	 213
-_ÚÁ	 211
-Ï×Á	 211
-ÂÏ	 210
-_Ì	 210
-ÞÁ	 209
-_î	 208
-ÓÌ	 205
-ÞÔÏ	 204
-_ÞÔ	 204
-ÅÔ_	 203
-_ÞÔÏ	 203
-ÜÔ	 202
-Ó_	 202
-×É	 201
-ÁÑ	 199
-ÅÎÎ	 199
-ÔÏÒ	 199
-_ÎÁ_	 199
-ÓÔÁ	 198
-ÏÖ	 198
-ÉÅ_	 197
-_ó	 197
-_ÓÏ	 195
-ÐÒÉ	 194
-ËÔ	 193
-Ì_	 193
-×Ó	 191
-ÏÍ_	 190
-ÏÇÏ_	 187
-_Ö	 187
-ÅÇ	 186
-_ÔÏ	 186
-ÁÄ	 186
-_ÒÁ	 185
-_ÜÔ	 184
-_ËÁ	 184
-ÓÔÉ	 183
-_Å	 182
-Å×	 182
-ÔÓ	 181
-_ÓÔ	 180
-ÌÑ	 180
-ÔÎ	 180
-ÓÐ	 173
-ÉÉ	 172
-ÏÞ	 172
-À_	 172
-ÐÒÅ	 172
-ÏË	 172
-ÁÔØ	 171
-ÂÉ	 171
-ÛÅ	 170
-ÁÅ	 169
-á	 169
-ÏÒÏ	 168
-ÙÈ	 167
-Ï×Ï	 166
-ÏÌØ	 166
-ÁÎÉ	 165
-ÞÔÏ_	 164
-_ÞÔÏ_	 163
-÷	 163
-ÁÑ_	 163
-ÉÈ	 162
-Ï,_	 160
-Ï,	 160
-ÓÓ	 160
-ÅÚ	 159
-ÎÉÅ	 158
-ÚÎ	 157
-ÜÔÏ	 157
-ÄÎ	 156
-ÒÏ×	 156
-ð	 155
-Á,	 155
-ÓËÏ	 155
-_×Ï	 155
-Á,_	 155
-_ÂÙ	 154
-ÙÅ	 154
-ÝÅ	 154
-_ÏÂ	 154
-É,_	 153
-É,	 153
-ÎÎÏ	 152
-_ÐÒÉ	 151
-ÔÙ	 150
-ÓÔÏ	 150
-ÉÑ_	 150
-ÍÕ	 150
-É×	 150
-_-	 149
-ÒÅÄ	 148
-ÉÔÅ	 147
-_ÜÔÏ	 146
-ÍÅÎ	 146
-ÏÐ	 146
-_ÐÒÅ	 145
-	 145
-ÉÊ	 145
-ÅÌØ	 145
-_÷	 144
-_Ó_	 144
-ÉÞ	 144
-__	 144
-_	 144
-_	 144
-ÈÏ	 143
-ÅÇÏ	 143
-ÑÔ	 142
-ÔÓÑ	 142
-ÐÅÒ	 142
-ÙÊ	 142
-ÐÁ	 141
-ÏÔÏ	 140
--_	 140
-ÁÐ	 139
-ÏÚ	 139
-ÓËÉ	 138
-ÙÈ_	 138
-ï	 137
-ÓÁ	 137
-ÙÅ_	 137
-_ð	 136
-Å,	 136
-Å,_	 136
-ÒÙ	 136
-Î_	 135
-_á	 135
-ÇÉ	 134
-_×Ù	 134
-ÓÔØ	 134
-ÁÓÔ	 133
-ÖÅ_	 133
-ÞÉ	 133
-ÎÉÑ	 133
-ÕÔ	 133
-ÁÌÉ	 132
-_-_	 131
-ËÕ	 131
-ÓØ	 131
-_ÄÏ	 129
-ÄÕ	 129
-ÒÁÚ	 129
-ÖÎ	 129
-ÁÅÔ	 129
-_ÍÏ	 127
-ÖÉ	 127
-_ÄÅ	 127
-ÓÔÒ	 127
-ØÎÏ	 126
-ÔÕ	 126
-_×Ó	 126
-ÌØÎÏ	 126
-ÌÅÎ	 125
-ÁÌØ	 125
-Ï×_	 124
-×Ì	 123
-ÉÂ	 123
-ÁË_	 123
-_ÐÅ	 123
-ÔÅÌØ	 123
-Ú_	 122
-×Î	 122
-ÁÀ	 122
-ÅÎÔ	 121
-ÐÏÌ	 121
-ÉÈ_	 121
-ÙÊ_	 121
-ÓÎ	 121
-ÎÏÇ	 121
-ÃÅ	 120
-_ÏÔ	 120
-ÅÍ_	 119
-ÉÏ	 119
-_ÔÅ	 118
-ËÁË	 118
-_ÎÏ	 117
-ÉÉ_	 117
-ÉÔØ	 117
-ë	 116
-_ÉÚ	 116
-ÕÓ	 116
-ÎÏÓ	 115
-ÂÅ	 115
-ÕÄ	 115
-ÅÒÅ	 114
-ÂÌ	 114
-ÉÔÅÌ	 113
-ÅÇÏ_	 113
-ÙÍ	 113
-ÁÂ	 113
-ÎØ	 113
-ÎÏÊ	 112
-ÎÉÅ_	 112
-_Æ	 112
-ÒÏÓ	 111
-ËÒ	 111
-_ËÁË	 111
-ÛÉ	 111
-Í,	 111
-ÎÏ×	 111
-Í,_	 111
-ÔÏÍ	 110
-ÅÅ	 110
-ÔÏ×	 109
-Ó×	 109
Index: unk/gsdl/perllib/textcat/sanskrit.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/sanskrit.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-a	 15017
-_	 14975
-h	 5028
-i	 3820
-t	 2976
-s	 2788
-r	 2599
-|	 2437
-n	 2432
-aa	 2276
-ha	 2007
-m	 1982
-a_	 1802
-v	 1799
-d	 1768
-u	 1629
-y	 1599
-_|	 1470
-|_	 1470
-e	 1403
-k	 1371
-sh	 1330
-ra	 1243
-p	 1213
-va	 1152
-A	 1134
-ya	 1120
-ma	 1097
-na	 1091
-ar	 1080
-ta	 1054
-M	 1050
-.	 1047
-am	 1037
-an	 1006
-||	 967
-||_	 965
-_||	 965
-_||_	 963
-at	 962
-M_	 946
-as	 910
-_s	 882
-o	 848
-b	 844
-i_	 827
-aM	 764
-aM_	 685
-c	 630
-ch	 629
-sa	 623
-N	 616
-ad	 612
-H	 601
-pa	 595
-H_	 584
-g	 580
-_n	 579
-l	 554
-bh	 552
-hi	 547
-ka	 542
-it	 536
-ii	 535
-ama	 519
-_|_	 505
-e_	 477
-_p	 475
-dh	 475
-av	 469
-ak	 445
-aH	 444
-da	 440
-aH_	 439
-ay	 437
-j	 437
-_na	 432
-ana	 430
-hh	 428
-ti	 426
-ara	 425
-aa_	 410
-_k	 394
-shh	 389
-_v	 388
-_sa	 381
-.h	 379
-ah	 369
-_b	 368
-h_	 363
-.h_	 363
-cha	 362
-haa	 361
-_t	 358
-ri	 352
-sha	 345
-ap	 333
-vi	 330
-is	 329
-^	 321
-o_	 321
-_m	 320
-ai	 311
-_d	 311
-la	 302
-na_	 301
-.n	 298
-ava	 295
-al	 294
-_sh	 291
-ja	 288
-a.	 280
-aan	 277
-ish	 274
-aN	 273
-aya	 273
-ash	 266
-ha_	 265
-ga	 264
-st	 255
-ni	 255
-ii_	 254
-hu	 253
-Na	 253
-R	 248
-R^	 248
-^i	 247
-R^i	 247
-a.n	 243
-th	 241
-_c	 240
-_ch	 239
-maa	 238
-bha	 237
-vaa	 233
-ab	 228
-ir	 226
-\	 226
-ita	 223
-uu	 222
-dha	 220
-har	 218
-_a	 216
-_bh	 216
-nam	 212
-u_	 212
-he	 212
-m.h_	 211
-m.	 211
-m.h	 211
-ur	 210
-es	 209
-ata	 208
-te	 206
-yaa	 205
-_ma	 204
-esh	 202
-aka	 200
-id	 199
-pr	 199
-aha	 198
-hy	 198
-T	 197
-aat	 197
-_OM_	 196
-OM	 196
-_O	 196
-_OM	 196
-OM_	 196
-O	 196
-ti_	 195
-ari	 194
-raa	 193
-ag	 192
-_y	 192
-aas	 190
-_ta	 190
-_j	 189
-I	 189
-_na_	 187
-am.h_	 185
-am.h	 185
-am.	 185
-_pa	 183
-iv	 182
-de	 182
-ada	 178
-nd	 178
-_cha	 177
-_h	 176
-ati	 175
-taa	 173
-ev	 172
-nt	 171
-rii	 171
-ishh	 170
-ya_	 168
-_vi	 166
-ast	 165
-tr	 164
-abh	 164
-kh	 162
-ala	 160
-tha	 160
-apa	 160
-asa	 158
-naa	 158
-_nam	 156
-ru	 156
-A_	 155
-_ka	 154
-aar	 153
-_pr	 152
-_g	 151
-pra	 150
-ham	 150
-hha	 149
-aana	 149
-di	 149
-ra_	 147
-ik	 146
-.a	 144
-yat	 143
-ks	 143
-hA	 143
-hya	 143
-ksh	 143
-ut	 142
-sy	 141
-nama	 140
-_va	 140
-.\	 140
-paa	 140
-han	 139
-eva	 138
-U	 138
-mi	 138
-_r	 136
-_ja	 136
-asy	 135
-hr	 135
-sya	 134
-cha_	 132
-rv	 132
-tv	 130
-asya	 130
-kar	 130
-ho	 129
-yo	 129
-in	 128
-adh	 127
-yA	 127
-va_	 126
-su	 125
-_ya	 125
-shha	 124
-pu	 124
-R^it	 123
-sta	 123
-mu	 123
-^it	 123
-ty	 123
-_nama	 121
-ac	 120
-rii_	 120
-ach	 120
-aNa	 119
-tas	 119
-shi	 119
-iva	 119
-hav	 119
-tra	 118
-var	 118
-par	 118
-haM	 117
-aad	 117
-kaa	 117
-hch	 117
-mas	 117
-ai_	 117
-hc	 117
-sar	 116
-aam	 116
-_bha	 115
-_pra	 114
-et	 114
-haM_	 113
-aay	 113
-aj	 113
-ye	 113
-o.	 113
-An	 111
-arii	 111
-t.h	 110
-t.	 110
-ath	 110
-t.h_	 109
-man	 109
-te_	 108
-o.a	 108
-hara	 108
-rA	 108
-rva	 108
-tva	 108
-asta	 108
-up	 108
-shr	 107
-daa	 104
-me	 104
-dr	 104
-ram	 104
-arii_	 102
-_ni	 102
-arv	 102
-iH	 102
-hit	 101
-ras	 101
-aga	 101
-Am	 101
-mA	 101
-ba	 101
-amas	 100
-tu	 100
-yaM	 100
-ant	 99
-ud	 99
-uk	 98
-iH_	 98
-yaM_	 98
-kha	 98
-au	 98
-ira	 97
-shhT	 97
-rah	 97
-hT	 97
-hhT	 97
-D	 96
-_sar	 96
-re	 96
-eshh	 95
-sarv	 94
-amaa	 94
-and	 94
-arva	 94
-_ra	 93
-_dh	 93
-tt	 92
-tad	 92
-hm	 92
-raM_	 91
-dev	 91
-raM	 91
-C	 91
-ani	 91
-_sarv	 90
-atha	 89
-Ad	 89
-chi	 89
-tA	 88
-sarva	 88
-avi	 88
-taM	 87
-hava	 87
-anaa	 86
-vA	 86
-dd	 86
-nA	 85
-Ar	 85
-hv	 85
-taM_	 85
-dhi	 84
-ksha	 84
-ip	 84
-ma_	 84
-_sha	 84
-ati_	 83
-yai	 83
-vat	 83
-At	 83
-kR	 82
-kR^	 82
-bhi	 82
-_shr	 82
-to	 82
-ta_	 82
-br	 82
-ek	 82
-kR^i	 82
-tat	 81
-nta	 81
-hma	 81
-aaya	 80
-tam	 80
-en	 80
-us	 79
-bra	 79
-ke	 79
-kt	 79
-ddh	 79
-mo	 79
Index: unk/gsdl/perllib/textcat/scots.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/scots.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 11688
-e	 3223
-a	 2469
-t	 2269
-i	 1928
-n	 1903
-r	 1414
-o	 1406
-h	 1369
-s	 1249
-l	 929
-n_	 890
-_t	 862
-_a	 843
-d	 818
-e_	 798
-th	 704
-w	 661
-he	 625
-an	 612
-t_	 606
-u	 592
-_th	 575
-c	 508
-s_	 471
-the	 470
-,	 469
--	 458
-in	 455
-m	 445
-,_	 440
-b	 434
-g	 429
-er	 409
-ee	 408
-_the	 407
-k	 402
-an_	 402
-f	 385
-_w	 378
-he_	 376
-the_	 364
-_an	 362
-_o	 360
-y	 358
-_the_	 354
-_s	 353
-_an_	 342
-a_	 335
-r_	 327
-_b	 316
-d_	 303
-i_	 278
-en	 277
-p	 270
-ei	 245
-A	 236
-wa	 232
-_A	 231
-re	 229
-in_	 229
-ui	 218
-oo	 217
-le	 217
-ai	 216
-et	 212
-ti	 209
-it	 209
-_f	 206
-te	 204
-_a_	 203
-_m	 202
-ha	 200
-as	 193
-on	 188
-at	 184
-_i	 183
-_wa	 183
-_c	 182
-o_	 180
-or	 178
-_h	 176
-_g	 169
-ch	 165
-A_	 159
-_l	 158
-_A_	 157
-st	 156
-_d	 155
-_ti	 148
-.	 148
-._	 146
-ke	 144
-ti_	 143
---	 143
-_o_	 142
-ow	 142
----	 140
-ed	 138
-----	 138
-_r	 137
-as_	 137
-y_	 136
-er_	 136
------	 136
-ir	 135
-aa	 135
-la	 131
-een	 130
-ae	 129
-_ti_	 128
-ra	 126
-es	 125
-nd	 124
-de	 120
-h_	 120
-ie	 120
-ar	 119
-ll	 119
-nt	 118
-ot	 118
-en_	 115
-ma	 115
-eet	 113
-her	 112
-el	 112
-is	 112
-'	 112
-at_	 111
-ic	 109
-se	 108
-or_	 106
-wu	 104
-me	 104
-ne	 103
-fo	 102
-on_	 101
-was	 99
-_was	 98
-et_	 98
-ri	 98
-_e	 97
-_ma	 97
-v	 97
-_n	 97
-!	 97
-li	 97
-ht	 93
-hi	 92
-_wu	 92
-ng	 91
-ro	 91
-it_	 90
-ck	 90
-_fo	 90
-tha	 90
-k_	 89
-il	 89
-cht	 86
-eet_	 86
-_p	 86
-we	 86
-_was_	 85
-was_	 85
-rt	 84
-ed_	 83
-ter	 83
-id	 83
-ga	 82
-;	 82
-;_	 81
-ther	 79
-tt	 76
-air	 76
-e,	 75
-un	 75
-ho	 75
-for	 74
-ge	 74
-_st	 73
-_y	 72
-_he	 72
-wh	 71
-_on	 71
-sh	 70
-z	 70
-e,_	 69
-bi	 68
-_tha	 68
-wui	 67
-!_	 67
-ad	 67
-een_	 66
-l_	 66
-ts	 66
-_for	 66
-n,	 66
-_wh	 65
-re_	 65
-be	 65
-eh	 64
-hat	 64
-ns	 64
-br	 64
-g_	 64
-ui_	 64
-rr	 64
-wui_	 63
-ni	 63
-_wui	 62
-ay	 62
-s,	 62
-pe	 61
-n,_	 61
-bo	 61
-al	 61
-ye	 61
-_bi	 60
-oot	 60
-na	 60
-ang	 60
-s,_	 59
-es_	 59
-ill	 58
-that	 58
-_wui_	 58
-nn	 58
-eh_	 58
-oa	 57
-han	 57
-_that	 56
-_br	 56
-ca	 56
-_ga	 56
-ng_	 56
-um	 55
-hat_	 55
-oon	 55
-od	 55
-for_	 55
-no	 55
-ree	 55
-_for_	 54
-_le	 54
-ht_	 54
-ot_	 54
-_k	 53
-rd	 53
-ki	 53
-aw	 53
-nd_	 53
-_on_	 53
-_it	 53
-ik	 53
-t,	 53
-_be	 52
-that_	 52
-ve	 52
-rn	 52
-'s	 51
-au	 51
-co	 51
-ich	 51
-to	 51
-lo	 51
-t,_	 51
-ea	 51
-tee	 51
-lan	 50
-fi	 50
-_at	 50
-am	 50
-_in	 50
-ere	 50
-ur	 50
-le_	 50
-nt_	 49
-'s_	 49
-hin	 49
-yi	 49
-hr	 49
-ts_	 49
-_ca	 48
-"	 48
-ta	 48
-cht_	 48
--_	 48
-_as	 47
-T	 47
-ang_	 47
-lei	 46
-_ma_	 46
-tr	 46
-_ro	 46
-fe	 46
-ma_	 46
-icht	 46
-_as_	 46
-der	 46
-cl	 46
-e-	 45
-n-	 45
-thr	 45
-ba	 45
-m_	 45
-st_	 45
-rt_	 45
-_u	 45
-do	 45
-_T	 45
-im	 44
-_se	 44
-sk	 44
-_la	 44
-eik	 44
-bit	 43
-ike	 43
-B	 43
-kee	 43
-tte	 43
-di	 43
-eed	 43
-_B	 42
-_aa	 42
-her_	 42
-da	 42
-ff	 42
-tu	 42
-ie_	 42
-_cl	 42
-_ba	 42
-oot_	 42
-bu	 41
-eike	 41
-oc	 41
-hu	 41
-_thr	 41
-ther_	 41
-_co	 41
-aa_	 41
-so	 41
-_me	 41
-H	 41
-_H	 40
-ke_	 40
-ert	 40
-lu	 40
-ist	 40
-si	 40
-iz	 40
-ar_	 39
-uc	 39
-thi	 39
-ad_	 39
-ru	 39
-owe	 39
-gi	 38
-_bit	 38
-_do	 38
-int	 38
-bl	 38
-ld	 38
-_at_	 38
-lt	 38
-ac	 38
-_ha	 38
-ae_	 38
-rs	 37
-here	 37
-ei_	 37
-han_	 37
-p_	 37
-is_	 37
-eth	 37
-fa	 37
-_sk	 37
-ll_	 37
-ss	 36
-bra	 36
-wha	 36
-gl	 36
-ck_	 36
-pl	 36
-lin	 36
-ir_	 36
-ab	 36
-_ther	 36
-_da	 35
-ce	 35
-rin	 35
-_oo	 35
-rl	 35
-wee	 35
-and	 35
-sa	 35
-_yi	 35
-_bra	 35
-'d	 35
-ds	 35
-_bo	 35
Index: unk/gsdl/perllib/textcat/scots_gaelic.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/scots_gaelic.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 12634
-a	 5353
-h	 3268
-i	 2898
-n	 2792
-e	 1651
-r	 1563
-d	 1455
-_a	 1425
-c	 1245
-n_	 1236
-s	 1165
-l	 1152
-an	 1121
-t	 980
-ai	 979
-g	 962
-u	 905
-ch	 902
-ha	 836
-h_	 833
-a_	 829
-ea	 821
-o	 794
-dh	 726
-an_	 711
-b	 639
-m	 585
-na	 514
-nn	 506
-ac	 498
-r_	 495
-s_	 482
-ir	 480
-ach	 466
-id	 458
-_an	 450
-_c	 427
-th	 403
-à	 388
-he	 383
-in	 379
-bh	 367
-idh	 358
-ad	 342
-_n	 341
-il	 332
-nn_	 323
-_t	 322
-_d	 319
-ar	 317
-e_	 311
-dh_	 307
-_an_	 303
-_b	 302
-_na	 294
-air	 289
-ig	 279
-.	 275
-ir_	 272
-ag	 272
-_ai	 272
-,	 270
-gu	 269
-,_	 269
-._	 265
-ean	 264
-ch_	 261
-f	 259
-?	 258
-_s	 255
-ann	 250
-ra	 241
-ei	 241
-_a_	 241
-ha_	 241
-d_	 238
--	 235
-_m	 231
-gh	 230
-hea	 228
-le	 226
-_f	 224
-ui	 223
-is	 223
-as	 218
-adh	 218
-l_	 216
-g_	 208
-ài	 207
-ò	 207
-hai	 205
-cha	 205
-air_	 204
-na_	 201
-inn	 198
-tha	 190
-C	 189
-G	 188
-ann_	 187
-_ag	 186
-_air	 186
-eac	 185
-_g	 185
-_na_	 184
-ach_	 184
-_C	 183
-us	 183
-_ch	 183
-la	 182
-_G	 182
-each	 181
-us_	 178
-al	 178
-gus	 176
-gus_	 176
-_th	 169
-_air_	 168
-_agus	 167
-agus_	 167
-_agu	 167
-agus	 167
-agu	 167
-ta	 164
-aid	 163
-hi	 163
-hd	 163
-chd	 160
-T	 157
-A	 156
-ic	 152
-_T	 152
-adh_	 150
-idh_	 148
-mh	 147
-?_	 146
-ar_	 145
-oi	 144
-da	 143
-aidh	 143
-_bh	 139
-ean_	 138
-sa	 138
-ig_	 138
-_r	 136
-_A	 134
-ì	 134
-te	 134
-achd	 131
-hu	 131
-_e	 130
-aig	 130
-_l	 130
-_ann	 129
-ain	 127
-ne	 127
-dhe	 125
-_dh	 125
-àid	 123
-o_	 121
-hl	 119
-acha	 119
-ga	 118
-àidh	 118
-on	 118
-it	 117
-aidh_	 116
-de	 115
-nan	 115
-ua	 115
-_ann_	 115
-ich	 115
-il_	 114
-m_	 114
-eil	 114
-ri	 112
-at	 112
-ma	 111
-li	 109
-ao	 109
-re	 109
-inn_	 108
-_tha	 107
-fh	 106
-as_	 106
-bh_	 106
-nan_	 103
-lea	 103
-lt	 103
-S	 103
-a?	 103
-a?_	 102
-io	 102
-E	 101
-am	 101
-'	 100
-_a?	 100
-igh	 100
-_a?_	 99
-_gu	 99
-idhe	 99
-t_	 99
-se	 99
-si	 98
-ba	 97
-ù	 97
-tha_	 96
-bha	 95
-B	 94
-is_	 94
-u_	 94
-_B	 94
-_i	 93
-ile	 92
-aic	 91
-hei	 91
-ia	 90
-ho	 89
-Th	 88
-ath	 88
-_Th	 88
-rt	 87
-ib	 87
-Gàid	 86
-_Gài	 86
-_Gà	 86
-Gài	 86
-òr	 86
-Gà	 86
-Gàidh	 86
-_Gàid	 86
-had	 85
-ibh	 85
-_fh	 85
-p	 84
-ad_	 83
-_?	 83
-_E	 83
-hd_	 82
-dhea	 82
-chd_	 82
-ear	 81
-ith	 81
-_tha_	 80
-h-	 79
-eal	 78
-hean	 78
-sg	 77
-rea	 77
-_S	 76
-ais	 75
-ll	 75
-han	 74
-hà	 74
-achd_	 74
-ead	 74
-idhea	 73
-am_	 72
-dha	 72
-_nan	 71
-_nan_	 71
-hadh	 71
-gh_	 71
-ail	 70
-hui	 70
-Ch	 69
-eachd	 69
-h.	 69
-aich	 69
-hli	 69
-chai	 69
-om	 68
-fa	 68
-chad	 68
-I	 67
-h._	 67
-_Ch	 67
-tea	 67
-nea	 66
-chadh	 66
-achad	 66
-rai	 66
-lig	 66
-haid	 66
-dea	 66
-rt_	 65
-àr	 65
-dhl	 65
-ana	 64
-eann	 64
-Ei	 64
-le_	 64
-hn	 64
-ilt	 64
-uid	 64
-_fa	 63
-_Tha	 63
-Tha	 63
-ob	 63
-_si	 62
-ro	 62
-cu	 62
-ainn	 62
-un	 62
-dhli	 61
-idhli	 61
-lean	 61
-idhl	 61
-àidhl	 61
-hlig	 61
-dhlig	 61
-in_	 60
-_à	 60
-st	 60
-rr	 60
-_cu	 60
-hr	 60
-_aig	 60
-bhe	 59
-i_	 59
-aigh	 59
-Tha_	 59
-è	 59
-_ri	 59
-_Tha_	 59
-lb	 58
-che	 58
-ran	 58
-nac	 58
-haidh	 58
-hadh_	 58
-aig_	 58
-Gh	 58
-ilea	 58
-_Gh	 58
-lte	 58
-_le	 58
-ru	 58
-àidhe	 57
-_I	 57
-ilte	 57
-eadh	 57
-M	 56
-hlig_	 56
-L	 56
-chu	 56
-nach	 56
-_ma	 56
-lig_	 56
-h,_	 55
-th_	 55
-ibh_	 55
-_aig_	 55
-D	 55
-atha	 55
-_Ei	 55
-h,	 55
-gu_	 54
-_gu_	 54
-im	 54
-eil_	 54
-eu	 53
-_M	 53
-Al	 53
-irt	 53
-_L	 53
-iad	 53
-sea	 52
-lba	 52
-Alba	 52
-F	 52
-Alb	 52
-uai	 52
-ich_	 52
-_F	 51
-ilean	 51
-has	 51
-tai	 51
-each_	 50
-eacha	 50
-har	 50
-ni	 50
-_de	 50
-irt_	 50
-n,_	 50
-mha	 50
-n,	 50
-_e_	 50
-ide	 49
-neach	 49
-neac	 49
-ur	 49
-rd	 49
-_h	 49
-hean_	 49
-oc	 49
-eò	 49
-te_	 49
-han_	 49
-on_	 49
Index: unk/gsdl/perllib/textcat/serbian-ascii.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/serbian-ascii.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 34122
-a	 9113
-o	 8135
-i	 7736
-e	 7535
-n	 5207
-s	 4860
-j	 3995
-t	 3797
-r	 3660
-u	 3224
-l	 3065
-d	 3061
-e_	 2941
-v	 2786
-a_	 2746
-k	 2701
-m	 2492
-o_	 2328
-y	 2238
-p	 2151
-_s	 2148
-i_	 2094
-je	 1887
-c	 1854
-z	 1731
-_n	 1437
-_p	 1432
-g	 1418
-b	 1368
-u_	 1333
-je_	 1237
-,	 1226
-,_	 1214
-_i	 1130
-st	 1105
-na	 1076
-.	 1056
-_d	 1033
-._	 1030
-_j	 967
-ra	 934
-ko	 908
-ni	 900
-cy	 893
-sy	 875
-_je	 871
-_o	 824
-ta	 799
-no	 780
-_u	 777
-re	 766
-_b	 764
-_k	 763
-da	 760
-ne	 754
-li	 750
-ti	 745
-se	 722
-po	 713
-to	 713
-_je_	 696
-an	 688
-ja	 683
-pr	 665
-va	 651
-lo	 634
-_z	 626
-m_	 625
-is	 625
-il	 622
-ov	 621
-la	 621
-_m	 615
-bi	 604
-_t	 603
-_po	 594
-en	 586
-_se	 578
-os	 578
-in	 576
-od	 576
-ka	 552
-ve	 548
-ij	 538
-_pr	 536
-al	 536
-vo	 535
-om	 530
-_i_	 525
-nj	 515
-ed	 509
-_na	 507
-na_	 503
-og	 499
-oj	 498
-ma	 493
-_bi	 492
-on	 489
-ak	 482
-im	 481
-ye	 481
-ro	 480
-vi	 473
-sa	 469
-ri	 464
-da_	 451
-av	 450
-at	 449
-se_	 447
-es	 446
-h	 443
-ao	 441
-ji	 437
-yi	 436
-_da	 433
-ad	 432
-_se_	 430
-lj	 428
-zy	 426
-za	 426
-_ne	 425
-de	 422
-tr	 417
-cj	 415
-_u_	 414
-_c	 412
-le	 402
-_v	 397
-ar	 390
-_g	 390
-ic	 384
-n_	 382
-ju	 379
-lo_	 377
-aj	 376
-_ko	 369
-ao_	 366
-ek	 361
-_da_	 359
-et	 356
-go	 354
-iz	 346
-_za	 345
-_r	 344
-or	 342
-mo	 341
-el	 340
-as	 339
-ik	 336
-te	 332
-_sa	 329
-d_	 323
-am	 320
-me	 318
-sto	 317
-di	 315
-ec	 311
-ol	 310
-a,_	 307
-a,	 307
-_ni	 302
-ya	 296
-do	 295
-yt	 294
-su	 292
-syt	 289
-li_	 288
-sta	 286
-ije	 284
-ko_	 277
-ti_	 277
-la_	 277
-ga	 276
-bil	 275
-no_	 274
-a.	 273
-nu	 272
-a._	 271
-ne_	 271
-om_	 268
-_cy	 266
-_na_	 263
-_bil	 263
-sv	 263
-ru	 259
-to_	 256
-_od	 253
-cyi	 253
-nje	 251
-it	 251
-pa	 250
-az	 248
-e,_	 245
-e,	 245
-ob	 244
-dn	 243
-ac	 242
-ost	 242
-k_	 240
-iv	 239
-io	 238
-_su	 238
-_iz	 237
-ilo	 235
-_sv	 234
-_ka	 233
-koj	 231
-mi	 229
-im_	 229
-ije_	 227
-g_	 226
-em	 223
-su_	 223
-ih	 223
-ji_	 221
-kr	 220
-ut	 220
-_koj	 220
-V	 218
-_st	 218
-ye_	 217
-_l	 214
-_V	 213
-ovo	 211
-j_	 210
-uc	 208
-ja_	 208
-h_	 207
-nij	 206
-sk	 206
-ot	 203
-io_	 203
-gl	 203
-_do	 201
-ok	 200
-ns	 199
-ilo_	 199
-er	 197
-ih_	 195
-pre	 193
-ci	 193
-og_	 193
-ki	 192
-sl	 191
-t_	 189
-ni_	 189
-_a	 189
-vr	 188
-ati	 187
-_su_	 186
-nije	 181
-pro	 181
-be	 180
-yn	 179
-cye	 178
-ju_	 178
-ku	 177
-isy	 177
-ta_	 174
-sye	 172
-_tr	 172
-O	 172
-jen	 172
-_to	 171
-pi	 168
-_pre	 168
-S	 168
-ima	 167
-nije_	 167
-_mo	 166
-eg	 166
-e._	 164
-za_	 164
-e.	 164
-_pro	 164
-gov	 163
-N	 162
-dr	 162
-ako	 162
-tv	 162
-_S	 160
-P	 159
-ma_	 159
-_on	 159
-sp	 158
-nst	 158
-anj	 158
-dj	 157
-oc	 157
-_sy	 156
-ev	 155
-ce	 155
-lik	 154
-_nij	 153
-_N	 152
-ist	 151
-_P	 151
-_nije	 151
--	 151
-ba	 150
-jed	 150
-sti	 150
-ova	 149
-_is	 148
-id	 148
-ton	 148
-ke	 147
-pos	 147
-od_	 147
-osy	 146
-Vi	 146
-ila	 145
-ins	 145
-bo	 145
-_Vi	 145
-ir	 144
-_za_	 144
-oz	 144
-ecj	 144
-cje	 143
-on_	 143
-zn	 142
-_O	 141
-us	 141
-i,	 141
-i,_	 141
-mu	 140
-inst	 140
-cya	 140
-oji	 139
-esy	 139
-icy	 139
-lja	 138
-_go	 138
-i.	 138
-_re	 137
-_bilo	 137
-edn	 137
-acy	 137
-rat	 137
-bilo	 137
-ali	 136
-ecy	 136
-ija	 135
-pri	 135
-ad_	 135
-lic	 135
-i._	 135
-Vins	 134
-Vin	 134
-ston	 134
-Vinst	 134
-ga_	 134
-nston	 134
-insto	 134
-nsto	 134
-_Vins	 133
-_Vin	 133
-zi	 132
-ran	 131
-le_	 130
-ili	 130
-bilo_	 130
-_pos	 129
-ila_	 129
-est	 128
-_ve	 128
-tre	 128
-zye	 127
-_nj	 127
-si	 126
-f	 126
-alo	 125
-ako_	 125
-tra	 125
-sa_	 125
-pu	 124
-ud	 124
-z_	 124
-_ra	 124
-iti	 124
-_de	 124
-odi	 123
-T	 123
--_	 122
-o,_	 121
-o,	 121
-du	 121
-rs	 121
-B	 120
-ka_	 119
-red	 119
-_od_	 118
-an_	 118
-nu_	 118
-iko	 117
-dno	 117
-_pa	 117
-s_	 116
Index: unk/gsdl/perllib/textcat/slovak-ascii.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/slovak-ascii.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 20064
-a	 4991
-o	 4983
-e	 3838
-n	 3342
-i	 3317
-r	 2583
-s	 2501
-v	 2383
-t	 2325
-c	 1918
-k	 1912
-l	 1888
-d	 1736
-u	 1725
-p	 1543
-a_	 1527
-y	 1371
-m	 1339
-z	 1227
-h	 1194
-e_	 956
-_p	 881
-_s	 828
-o_	 814
-na	 809
-b	 808
-_v	 798
-j	 797
-.	 796
-ov	 795
-._	 785
-st	 687
-i_	 665
-,	 657
-,_	 657
-_n	 625
-ch	 623
-u_	 618
-ro	 617
-po	 598
-_o	 546
-ne	 529
-en	 520
-v_	 519
-_a	 516
-ra	 506
-pr	 488
-y_	 481
-od	 476
-_z	 467
-ie	 462
-ni	 448
-an	 447
-vy	 434
-to	 433
-h_	 431
-_na	 429
-re	 416
-ch_	 404
-ho	 401
-al	 399
-ci	 394
-va	 387
-na_	 386
-_pr	 385
-_d	 384
-_k	 378
-la	 377
-ko	 375
-do	 374
-_po	 373
-si	 353
-_t	 346
-_r	 337
-os	 336
-no	 334
-in	 328
-tr	 324
-om	 321
-_v_	 320
-ny	 319
-m_	 319
-ri	 317
-S	 306
-ac	 302
-sa	 300
-ti	 300
-_m	 298
-za	 298
-er	 291
-ia	 290
-ce	 290
-li	 289
-yc	 286
-ych	 285
-ed	 284
-at	 281
-ob	 281
-ak	 280
-_na_	 280
-il	 279
-_,	 279
-_,_	 279
-ok	 277
-sk	 268
-ych_	 265
-_c	 262
-mi	 261
-ol	 260
-me	 260
-l_	 259
-t_	 259
-ku	 258
-ta	 256
-le	 256
-_b	 254
-or	 252
-_a_	 250
-lo	 247
-oc	 246
-vo	 246
-es	 244
-ve	 242
-_vy	 240
-on	 238
-_sa	 231
-as	 231
-da	 230
-aj	 228
-av	 218
-el	 216
-ova	 216
-ic	 215
-ne_	 209
-_do	 208
-sa_	 207
-ka	 205
-_sa_	 204
-te	 203
-j_	 201
-_ro	 199
-P	 198
-_za	 196
-ky	 196
-_S	 195
-je	 194
-ar	 193
-_.	 193
-it	 192
-s_	 192
-em	 191
-ej	 191
-ur	 190
-ad	 189
-_o_	 187
-_._	 187
-ov_	 185
-de	 180
-_%	 179
-om_	 179
-%	 179
-_u	 174
-pre	 173
-dn	 173
-D	 172
-rok	 170
-ie_	 170
-sp	 169
-pri	 167
-_pre	 167
-am	 165
--	 164
-ke	 164
-eh	 162
-oz	 161
-k_	 160
-ost	 160
-_j	 156
-f	 155
-zn	 153
-g	 152
-kt	 152
-ho_	 151
-eho	 151
-hod	 150
-ku_	 148
-is	 148
-zi	 147
-cn	 147
-eho_	 146
-ej_	 145
-az	 145
-tu	 145
-_pri	 144
-cen	 144
-_st	 143
-ma	 142
-ast	 141
-_ce	 140
-rov	 140
-la_	 138
-ot	 138
-nych	 135
-nyc	 135
-_ob	 133
-z_	 133
-nych_	 131
-N	 130
-li_	 129
-ani	 129
-co	 128
-nt	 128
-ny_	 127
-E	 125
-_ne	 124
-)	 123
-_(	 123
-sti	 123
-A	 123
-(	 123
-cho	 122
-vi	 122
-_sp	 122
-di	 120
-pa	 120
-n_	 119
-ju	 118
-ys	 117
-bo	 117
-_P	 116
-_tr	 115
-V	 114
-je_	 114
-ln	 114
-_i	 113
-ze	 113
-spo	 112
-_N	 112
-nd	 111
-nu	 111
-so	 111
-red	 110
-vn	 110
-kl	 110
-kov	 110
-_cen	 110
-_rok	 109
-tn	 109
-du	 109
-nc	 109
-ap	 109
-d_	 108
-van	 108
-ca	 108
-M	 108
-chod	 107
-ti_	 107
-U	 106
-_ak	 106
-ru	 105
-sta	 105
-ym	 105
-_-	 104
-et	 103
-_h	 102
-est	 102
-_je	 102
-nos	 101
-aci	 101
-us	 100
-dov	 100
-pod	 100
-_to	 100
-tor	 99
-uc	 99
-ras	 98
-ky_	 98
-_s_	 98
-_mi	 97
-*	 97
-uj	 97
-nost	 97
-vys	 97
-ovy	 97
-ez	 97
-oku	 96
-_V	 96
-op	 96
-bc	 96
-rast	 96
-se	 95
-B	 95
-roku	 95
-kto	 94
-ove	 94
-by	 94
--_	 94
-_ko	 93
-obc	 92
-nie	 91
-ia_	 91
-ka_	 91
-*_	 90
-ali	 90
-lo_	 89
-ovan	 89
-to_	 88
-iz	 88
-_bo	 88
-_l	 88
-odo	 87
-bch	 87
-bchod	 87
-bcho	 87
-sl	 86
-st_	 86
-pred	 86
-C	 86
-pol	 85
-_pred	 85
-R	 85
-ik	 84
-uro	 84
-pi	 84
-ek	 84
-zo	 83
-eni	 83
-obch	 83
-cie	 83
-oku_	 83
-obcho	 83
-ns	 83
-roku_	 82
-ii	 82
-tv	 82
-ba	 82
-ent	 82
-_spo	 81
-tov	 81
-pe	 81
-kon	 80
-kc	 80
-ec	 80
-kci	 80
-ck	 80
-x	 79
-osti	 79
-_Sk	 79
-mi_	 79
-_in	 79
-Sk	 79
-sia	 79
-br	 78
-rh	 78
-val	 78
-olo	 77
-_pod	 77
-%_	 77
-_%_	 77
-bu	 77
-_f	 77
-iv	 77
-_obc	 77
-_obch	 77
-eb	 76
-str	 76
-nej	 76
-_D	 76
-ni_	 75
-ou	 75
-im	 75
-ena	 74
-tre	 74
-_A	 74
-mo	 74
-su	 74
-rz	 73
-_trh	 73
-trh	 73
-_U	 73
-al_	 73
-_ra	 73
-_e	 72
-_C	 72
-sti_	 72
-zv	 72
-te_	 72
-cno	 72
-oj	 72
-ktor	 71
-_roku	 71
-ocn	 71
-ina	 71
-sil	 71
-nov	 71
-alo	 71
-odn	 70
-nan	 70
-oh	 70
Index: unk/gsdl/perllib/textcat/slovak-windows1250.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/slovak-windows1250.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 8202
-o	 2145
-a	 1912
-e	 1763
-i	 1491
-n	 1415
-r	 1256
-t	 1127
-v	 1080
-s	 1004
-k	 824
-d	 739
-p	 739
-l	 735
-m	 685
-c	 620
-u	 597
-h	 531
-a_	 467
-j	 449
-_p	 445
-z	 439
-e_	 412
-á	 402
-_v	 369
-.	 361
-_s	 359
-ov	 330
-b	 327
-st	 312
-y	 309
-pr	 307
-._	 300
-o_	 297
-í	 278
-,	 268
-,_	 260
-to	 258
-è	 256
-_a	 254
-ý	 253
-i_	 252
-_pr	 246
-ch	 242
-re	 233
-_z	 223
-ra	 220
-_n	 217
-ne	 214
-ie	 214
-po	 214
-en	 208
-ro	 205
-or	 204
-é	 199
-u_	 197
-an	 197
-ko	 194
-na	 189
-ni	 187
-va	 183
-	 182
-ú	 180
-os	 179
-v_	 176
-	 173
-_o	 171
-ho	 170
-ia	 168
-no	 166
-li	 166
-h_	 166
-ed	 164
-j_	 161
-om	 160
-_k	 160
-	 158
-ch_	 158
-ti	 155
-y_	 148
-m_	 147
-ej	 147
-_po	 145
-ci	 145
-_d	 140
-_	 139
-do	 138
-_t	 137
-_m	 134
-ri	 129
-mi	 129
-od	 128
-te	 124
-_a_	 124
-la	 122
-al	 121
-aj	 120
-ej_	 120
-vo	 119
-ol	 119
-in	 118
-ve	 117
-me	 117
-tr	 116
-sk	 116
-ova	 116
-S	 111
-er	 110
-ob	 110
-_na	 109
-ad	 107
-je	 106
-at	 104
-_v_	 103
-_r	 102
-ic	 101
-ých	 100
-pre	 100
-ýc	 100
-av	 98
-es	 96
-ta	 95
-dn	 94
-ho_	 94
-lo	 94
-é_	 93
-_pre	 93
-it	 93
-V	 92
-de	 92
-kt	 89
-ný	 89
-za	 88
-A	 87
-le	 86
-ých_	 86
-ok	 86
-ost	 85
-vi	 84
-ie_	 83
-ak	 82
-P	 82
-né	 81
-R	 80
-sa	 80
-as	 79
-èi	 78
-na_	 77
-a	 77
-í_	 77
-Ÿ	 76
-ar	 75
-di	 75
-_S	 74
-om_	 74
-_V	 73
-_do	 73
-_za	 72
--	 72
-ck	 71
-vy	 71
-ka	 71
-f	 70
-tor	 70
-am	 70
-on	 70
-_-	 69
-_P	 69
-M	 68
-_i	 68
-_sa	 68
-nos	 68
-ní	 68
-ác	 67
-a_	 67
-sl	 66
-il	 66
-rá	 66
-_c	 66
-_b	 66
-_-_	 64
-sa_	 64
--_	 64
-kto	 64
-_j	 64
-ani	 64
-kr	 64
-sti	 63
-ou	 63
-ot	 63
-ne_	 63
-_sa_	 62
-vý	 62
-_na_	 62
-red	 62
-ku	 61
-is	 61
-ná	 60
-ý_	 60
-so	 60
-sp	 60
-_st	 59
-g	 59
-tn	 59
-str	 58
-e	 58
-nt	 58
-et	 57
-pra	 57
-ke	 57
-ov_	 57
-_vy	 57
-_M	 57
-nej	 56
-tu	 56
-l_	 56
-_je	 56
-nie	 56
-èn	 56
-k_	 56
-pe	 56
-_h	 55
-oz	 55
-ú_	 55
-est	 55
-_è	 55
-va	 55
-ma	 54
-né_	 53
-tá	 53
-..	 53
-rí	 52
-ran	 52
-bo	 51
-nej_	 51
-ick	 51
-ti_	 51
-ia_	 51
-ktor	 51
-K	 51
-O	 51
-T	 51
-_ne	 51
-ou_	 50
-I	 50
-oc	 50
-to_	 50
-vn	 50
-sta	 50
-_.	 50
-da	 50
-éh	 49
-ého	 49
-N	 49
-_ro	 49
-_ko	 49
-ac	 49
-ek	 49
-li_	 49
-èa	 49
-rov	 49
-oj	 48
-s_	 48
-s	 48
-ého_	 48
-va_	 48
-je_	 48
-zá	 47
-ik	 47
-mo	 47
-mi_	 47
-si	 47
-_kto	 46
-_sp	 46
-_kt	 46
-E	 46
-_ktor	 46
-eb	 46
-nýc	 45
-_u	 45
-el	 45
-B	 45
-ných	 45
-pro	 45
-eni	 44
-_	 44
-em	 44
-kon	 44
-pa	 44
-ky	 44
-uj	 44
-e_	 44
-ova	 44
-cie	 44
-hr	 44
-ký	 44
-ných_	 43
-pred	 43
-zo	 43
-ln	 43
-oè	 43
-tov	 43
-nu	 43
-eè	 43
-íc	 42
-ál	 42
-ým	 42
-pri	 42
-_to	 42
-lá	 41
-ce	 41
-áv	 41
-eh	 41
-_pro	 41
-rav	 41
-kej	 41
-ns	 41
-ali	 41
-oli	 40
-á_	 40
-_pri	 40
-oh	 40
-ud	 40
-_ak	 40
-ent	 40
-eŸ	 40
-prav	 39
-_pred	 39
-i	 39
-zn	 39
-ny	 39
-ove	 39
-pol	 39
-ru	 39
-a,	 39
-ah	 39
-kej_	 39
-a,_	 38
-z_	 38
-aj_	 38
-r_	 38
-i	 38
-ova_	 38
-tre	 38
-pod	 37
-_zá	 37
-_ob	 37
-nost	 37
-sti_	 37
-van	 37
-up	 37
-osti	 36
-áci	 36
-_e	 36
-jú	 36
-co	 36
-_str	 36
-i	 36
-_ma	 36
-ut	 36
-nsk	 36
-by	 36
-_ve	 35
-ko_	 35
-de_	 35
-èia	 35
-_aj	 35
-_aj_	 35
-op	 35
-_pod	 34
-prí	 34
-_in	 34
-ez	 34
-odn	 34
-dne	 34
-Z	 34
-tra	 34
-bn	 34
-ád	 34
-_e_	 34
-_vo	 34
-èas	 34
-át	 34
-d_	 34
-ô	 34
-sto	 34
-ky_	 34
-ir	 33
-_z_	 33
-nie_	 33
-t	 33
-ven	 33
-i_	 33
-_s_	 33
-_B	 33
-e	 33
-ens	 33
-spo	 32
-eho	 32
-lad	 32
Index: unk/gsdl/perllib/textcat/slovenian-ascii.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/slovenian-ascii.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 25262
-e	 6217
-a	 5964
-i	 5611
-o	 5538
-n	 4132
-s	 3349
-l	 3268
-r	 2913
-t	 2777
-j	 2672
-v	 2282
-k	 2175
-e_	 1958
-d	 1953
-p	 1786
-a_	 1700
-y	 1623
-m	 1559
-o_	 1542
-z	 1521
-i_	 1462
-_s	 1433
-je	 1383
-,	 1278
-,_	 1278
-b	 1230
-c	 1137
-_p	 1130
-_n	 1032
-je_	 997
-u	 986
-_j	 972
-g	 933
-_je	 877
-cy	 848
-_je_	 842
-_v	 793
-il	 786
-ni	 782
-st	 779
-na	 743
-ra	 726
-.	 723
-._	 716
-_z	 713
-in	 691
-_k	 685
-_b	 667
-al	 640
-h	 627
-po	 607
-ti	 584
-pr	 584
-ko	 584
-_d	 582
-el	 579
-n_	 579
-la	 577
-lo	 573
-l_	 571
-_t	 567
-se	 567
-ne	 562
-_i	 556
-no	 549
-en	 546
-_o	 534
-re	 524
-bi	 514
-li	 512
-ov	 496
-sy	 458
-_na	 457
-te	 453
-da	 451
-_po	 440
-_bi	 437
-ye	 436
-to	 424
-ri	 420
-an	 420
-_pr	 417
-ve	 410
-nj	 404
-ka	 403
-_m	 394
-le	 385
-ja	 377
-va	 374
-de	 374
-is	 371
-ed	 364
-v_	 362
-za	 361
-in_	 354
-bil	 353
-_se	 351
-aj	 347
-ga	 344
-ar	 343
-od	 339
-_in	 338
-_in_	 333
-tr	 332
-os	 332
-_bil	 332
-ta	 328
-vo	 327
-ki	 324
-ro	 324
-et	 320
-so	 315
-em	 313
-lo_	 311
-na_	 306
-av	 305
-ih	 305
-yi	 304
-h_	 295
-at	 294
-m_	 293
-ek	 292
-ol	 289
-se_	 289
-as	 284
-lj	 281
-_za	 277
-ob	 275
-om	 273
-me	 273
-zy	 272
-mi	 268
-eg	 265
-_v_	 263
-_g	 260
-or	 260
-es	 259
-_se_	 258
-do	 255
-ni_	 255
-ga_	 253
-oc	 251
-il_	 250
-vi	 249
-ak	 248
-no_	 243
-da_	 241
-pa	 240
-_ne	 238
-ot	 238
-_so	 238
-ocy	 237
-ya	 237
-la_	 234
-li_	 234
-ih_	 231
-_c	 229
-az	 229
-ik	 228
-on	 225
-ki_	 224
-go	 223
-im	 223
-sk	 223
-mo	 221
-cye	 219
-ti_	 217
-ji	 216
-_da	 216
-iz	 215
-ko_	 214
-ic	 213
-_l	 209
-u_	 209
-pre	 208
-_r	 208
-_ko	 208
-t_	 207
-z_	 206
-er	 206
-so_	 206
-ilo	 203
-r_	 201
-j_	 199
-ad	 195
-cyi	 193
-_na_	 193
-sa	 191
-ev	 191
-i,	 188
-i,_	 188
-it	 187
-sto	 186
-_da_	 184
-_ni	 183
-_so_	 182
-_ve	 182
-nje	 181
-a,	 181
-kr	 181
-a,_	 181
-dn	 177
-_st	 177
-di	 176
-ega	 176
-og	 174
-o,_	 174
-o,	 174
-ilo_	 172
-_ki	 171
-ma	 170
--	 170
-ij	 169
-_cy	 169
-ost	 169
-e,	 168
-e,_	 168
-ne_	 168
-ok	 166
-ke	 165
-_pre	 165
-del	 165
-yn	 165
-al_	 165
-bo	 164
-_pa	 163
-_ki_	 163
-am	 159
-ns	 158
-ye_	 156
-sp	 155
-em_	 154
-_ka	 154
-_te	 153
-_iz	 152
-ega_	 151
-_ob	 150
-br	 149
-ec	 149
-pri	 148
-ap	 147
-ez	 147
-ali	 147
-raz	 144
-jo	 142
-to_	 141
-d_	 138
-a._	 137
-a.	 137
-cya	 137
-ova	 136
-anj	 136
-el_	 135
-V	 135
-si	 134
-sta	 134
-_pri	 132
-_to	 131
-_a	 130
-_bilo	 130
-bilo	 130
-oj	 129
-ecy	 128
-_od	 128
-gl	 128
-op	 127
-ju	 127
-rav	 126
-_u	 125
-s_	 125
-_V	 125
-ila	 125
-ce	 124
-_mo	 124
-ali_	 124
-ah	 122
-str	 122
-_sp	 121
-vr	 121
-aj_	 121
-_do	 121
-bilo_	 121
-N	 119
-iv	 117
-ru	 116
-vs	 116
-jal	 116
-pi	 115
-O	 115
-_z_	 113
-icy	 112
-k_	 112
-be	 112
-elo	 111
-dr	 110
-pra	 110
-sye	 110
-ved	 109
-rs	 108
-_tr	 108
-tv	 108
-oz	 108
-tn	 107
-_nj	 107
-le_	 107
-_N	 107
-_ni_	 106
-pa_	 106
-l,_	 105
-l,	 105
-ins	 105
-ako	 104
-ac	 104
-ist	 104
-ir	 104
-sl	 104
-ila_	 103
-nik	 103
-bi_	 103
-i.	 102
-i._	 102
-_vs	 102
-iti	 102
-_sy	 101
-P	 101
-val	 100
-ku	 100
-_P	 99
-pe	 99
-ala	 99
-bil_	 98
-eli	 98
-jen	 98
-ede	 98
-_zy	 98
-T	 96
-ja_	 96
-ran	 95
-_bo	 95
-S	 95
-ln	 95
-zn	 94
-nst	 93
-_pa_	 93
-_ra	 93
-_bil_	 93
-nil	 93
-ati	 92
-ej	 92
-ocyi	 92
-e.	 91
-_le	 91
-ud	 91
-nov	 91
-nja	 91
-sn	 91
-ar_	 91
-e._	 91
-kl	 91
-isy	 90
-zye	 90
-en_	 90
-sti	 90
-_ga	 90
-prav	 90
-_bi_	 90
-za_	 89
-lik	 89
-ton	 89
-kra	 88
-rt	 88
-W	 88
-_de	 88
-_ga_	 88
-M	 88
-ep	 87
-cyn	 87
-Wi	 87
-_S	 87
-ut	 87
-_W	 87
-inst	 87
-insto	 86
-ste	 86
-Wins	 86
-gov	 86
-nu	 86
-Win	 86
-_Wi	 86
-Winst	 86
-nsto	 86
-eti	 86
-ston	 86
-nston	 86
-_Win	 85
-_Wins	 85
-ili	 84
-bra	 83
-rat	 83
Index: unk/gsdl/perllib/textcat/slovenian-iso8859_2.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/slovenian-iso8859_2.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 10406
-a	 2828
-e	 2676
-i	 2458
-o	 2418
-n	 1814
-r	 1484
-v	 1253
-l	 1248
-s	 1228
-t	 1172
-j	 1107
-d	 1085
-k	 911
-p	 880
-a_	 823
-m	 763
-i_	 681
-e_	 678
-_p	 603
-o_	 566
-u	 521
-z	 516
-b	 456
-_s	 435
-je	 434
-,	 416
-,_	 411
-ni	 399
-è	 383
-_v	 372
-_d	 356
-pr	 355
-g	 345
-ra	 336
-_n	 332
-st	 323
-an	 313
-po	 303
-re	 301
-na	 295
-h	 287
-ov	 276
-_pr	 276
-li	 275
-al	 274
-_z	 270
-je_	 259
-la	 255
-¹	 253
-ne	 248
-en	 246
-ko	 244
-in	 237
-c	 234
-ti	 234
-v_	 234
-_po	 232
-no	 230
-ve	 230
-_k	 227
-_i	 224
-da	 224
-.	 221
-_j	 221
-ri	 220
-ja	 216
-_t	 214
-se	 213
-ed	 212
-._	 211
-em	 206
-te	 205
-za	 201
-od	 201
-av	 200
-lo	 196
-nj	 194
-_o	 194
-_je	 193
-il	 190
-or	 183
-ka	 181
-sk	 179
-_b	 178
-_je_	 178
-ih	 178
-n_	 177
-_za	 173
-h_	 171
-er	 171
-os	 171
-_na	 168
-va	 168
-ta	 164
-le	 163
-m_	 161
-ev	 157
-ij	 157
-ar	 157
-do	 155
-to	 155
-Ÿ	 154
-A	 153
-el	 150
-_m	 148
-ro	 147
-ol	 146
-_v_	 145
-aj	 145
-di	 143
-N	 142
-S	 142
-at	 140
-ih_	 139
-ki	 138
-de	 137
-_in	 135
-vo	 135
-ga	 134
-me	 131
-in_	 129
-vi	 129
-om	 127
-_in_	 125
-et	 124
-pre	 124
-O	 123
-bi	 120
-I	 119
-da_	 117
-ik	 117
-ma	 115
-E	 114
-so	 113
-bo	 112
-it	 112
-anj	 112
-eg	 110
-ni_	 109
-mi	 108
-ke	 108
-na_	 108
-u_	 108
-lj	 106
-iz	 105
-ob	 105
-_da	 103
-li_	 103
-is	 103
-im	 102
-red	 102
-_pre	 102
-dr	 100
-mo	 99
-P	 99
-_se	 99
-ji	 98
-r_	 97
-ad	 97
-pri	 97
-K	 97
-_l	 97
-tr	 95
-pa	 94
-no_	 94
-j_	 92
-ki_	 91
-ti_	 91
-_pri	 91
-dn	 89
-_P	 88
-ej	 88
-_da_	 87
-ne_	 86
-ega	 86
-_r	 86
-_bi	 86
-l_	 86
-em_	 86
-go	 86
-"	 85
-sl	 85
-ek	 84
-ali	 84
-ove	 84
-aè	 84
-ak	 84
-ci	 83
-ga_	 83
-ko_	 83
-se_	 82
-_S	 82
-jo	 81
-ot	 81
-ja_	 81
-_so	 80
-lov	 80
-L	 80
-D	 79
-V	 79
-as	 78
-_do	 78
-am	 78
-nje	 77
-es	 77
-za_	 77
-_pa	 76
-T	 75
-tu	 75
-_za_	 74
-sti	 74
-_dr	 74
-la_	 74
-_N	 74
-_de	 74
-ega_	 73
-_ko	 73
-og	 73
-ns	 72
-èe	 72
-ds	 72
-_bo	 71
-ora	 71
-vn	 71
-ost	 71
-_ne	 71
-iè	 70
-ven	 69
-z_	 69
-èi	 69
-_te	 68
-ce	 68
-_se_	 67
-èa	 67
-oè	 67
-M	 66
-_u	 66
-un	 65
-ln	 65
-pos	 64
-ju	 64
-sta	 64
-op	 64
-di_	 63
-ud	 63
-vs	 63
-t_	 62
-nsk	 62
-tv	 62
-on	 62
-ski	 62
-R	 62
-pa_	 62
-_ka	 62
-i,	 61
-so_	 61
-_iz	 60
-_pa_	 60
-s_	 60
-i,_	 60
-pro	 59
-del	 59
-rav	 59
-eni	 59
-oli	 58
-rj	 58
-e,	 57
-¹e	 57
-ili	 57
-vr	 57
-d_	 57
-_le	 57
-pred	 57
-jo_	 56
-e,_	 56
-nik	 56
-love	 56
-_pred	 56
-ske	 56
-er_	 55
-str	 55
-èn	 54
-pra	 54
-J	 54
-_¹	 54
-oven	 53
-_ra	 53
-tn	 53
-_na_	 53
-_so_	 53
-nih	 53
-loven	 53
-si	 52
-ke_	 52
-_g	 52
-ic	 52
-udi	 51
-bi_	 51
-eds	 51
-oj	 51
-ru	 51
-a,	 51
-_pro	 50
-_pos	 50
-nc	 50
-nih_	 50
-èu	 50
-a,_	 50
-_a	 50
-az	 50
-ok	 50
-B	 50
-let	 49
-udi_	 49
-_od	 49
-_K	 49
-aj_	 48
-_bi_	 48
-_ve	 48
-raè	 48
-o,	 47
-_tu	 47
-ija	 47
-ter	 47
-ist	 47
-Z	 47
-reds	 46
-nd	 46
-ali_	 46
-A_	 46
-iti	 46
-bil	 46
-_ob	 46
-o,_	 46
-ati	 46
-tud	 45
-tudi	 45
-_ki	 45
-k_	 45
-be	 45
-a¹	 45
-ir	 45
-Ÿa	 45
-do_	 45
-sp	 45
-_ki_	 45
-_st	 45
-ep	 44
-_del	 44
-tudi_	 44
-rŸ	 44
-aèu	 44
-_ni	 44
-ah	 43
-raèu	 43
-raèun	 43
-i¹	 43
-_mo	 43
-avn	 43
-_tud	 43
-èun	 43
-aèun	 43
-_tudi	 43
-_to	 42
-raz	 42
-kr	 42
-ova	 42
-_e	 42
-ogo	 42
-ani	 42
-_"	 42
-ev_	 42
-br	 42
-eb	 42
-sa	 42
-mi_	 42
-tem	 42
-ta_	 41
-prav	 41
-i.	 41
-slov	 41
-ens	 41
-bo_	 41
-Ÿe	 41
-_T	 41
-_let	 41
-odo	 41
-slo	 41
-ensk	 40
-ka_	 40
-neg	 40
-ez	 40
-nos	 40
-eè	 40
-_sl	 40
-_V	 40
-rŸa	 40
-nega	 40
-ili_	 39
Index: unk/gsdl/perllib/textcat/swahili.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/swahili.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 16483
-a	 9342
-i	 5293
-a_	 4071
-u	 2730
-k	 2609
-n	 2351
-w	 2076
-m	 1928
-e	 1866
-h	 1800
-o	 1775
-wa	 1743
-l	 1486
-s	 1419
-i_	 1401
-t	 1399
-_k	 1306
-y	 1100
-_w	 969
-li	 945
-wa_	 911
-z	 891
-_wa	 890
-ka	 834
-ku	 799
-r	 770
-b	 733
-an	 727
-ma	 723
-o_	 711
-_m	 707
-na	 698
-ya	 675
-ha	 672
-g	 602
-al	 580
-d	 570
-at	 560
-am	 554
-_n	 549
-_ku	 549
-ik	 543
-_h	 515
-ya_	 514
-A	 494
-is	 487
-_y	 485
-hi	 474
-na_	 471
-_ya	 471
-ta	 468
-sh	 456
-ali	 449
-j	 426
-u_	 423
-ki	 418
-e_	 402
-p	 401
-ti	 401
-_wa_	 399
-f	 392
-_ya_	 390
-ba	 390
-ri	 385
-ng	 385
-il	 380
-c	 358
-hu	 356
-_na	 356
-ni	 355
-za	 354
-zi	 351
-ia	 344
-_na_	 343
-_a	 336
-in	 327
-_ma	 326
-ch	 322
-mb	 317
-ika	 314
-.	 311
-._	 309
-_ka	 307
-as	 306
-ak	 306
-ati	 301
-,	 300
-ka_	 296
-,_	 294
-_u	 292
-kw	 286
-ili	 278
-K	 274
-en	 271
-si	 266
-_kw	 262
-la	 261
-ni_	 261
-ma_	 261
-_s	 258
-kwa	 258
-ar	 256
-ut	 245
-za_	 245
-nd	 242
-mba	 241
-_kwa	 239
-_z	 234
-li_	 233
-un	 233
-ny	 230
-it	 229
-se	 229
-yo	 227
-ia_	 222
-M	 221
-sa	 221
-kat	 217
-_K	 214
-_i	 213
-ika_	 213
-ana	 212
-ish	 212
-kati	 206
-_ha	 204
-on	 201
-ai	 200
-I	 198
-aa	 196
-um	 195
-im	 190
-v	 188
-mu	 187
-amb	 187
-sha	 185
-em	 183
-fa	 181
-zi_	 180
-di	 179
-mi	 178
-_M	 178
-us	 176
-_ki	 176
-ha_	 175
-iw	 172
-ama	 172
-_kat	 168
-_kati	 168
-_hi	 166
-_l	 166
-ra	 166
-kwa_	 165
-la_	 164
-W	 164
-ja	 163
-U	 163
-N	 163
-amba	 161
-ao	 161
-_za	 160
-ji	 160
-B	 157
-iwa	 155
-tik	 155
-wal	 155
-le	 155
-tika	 154
-ge	 153
-lis	 153
-tu	 152
-atika	 152
-to	 152
-atik	 152
-uw	 152
-_kwa_	 151
-A_	 151
-ke	 150
-S	 147
-tika_	 145
-aj	 145
-we	 144
-cha	 144
-bi	 141
-az	 140
-er	 139
-ek	 138
-katik	 138
-ez	 138
-uwa	 137
-kut	 135
-_al	 134
-_B	 134
-ad	 134
-mu_	 133
-_ali	 133
-rik	 132
-_W	 131
-ba_	 131
-kuw	 131
-me	 130
-ali_	 128
-kuwa	 128
-ema	 127
-wan	 127
-bu	 126
-sem	 126
-_A	 125
-ir	 125
-ata	 125
-iz	 124
-_hu	 124
-ay	 124
-ul	 124
-af	 123
-iki	 122
-ema_	 121
-da	 120
-ti_	 120
-sema	 119
-aka	 118
-sema_	 118
-te	 118
-uz	 117
-yo_	 117
-_v	 117
-io	 116
-iy	 115
-uta	 115
-ani	 115
-_wal	 115
-he	 115
-if	 114
-_la	 114
-ab	 114
-go	 112
-_za_	 111
-ama_	 111
-sa_	 111
-pa	 110
-_t	 110
-zo	 110
-nge	 110
-wam	 109
-wali	 108
-ua	 107
-ur	 106
-_c	 106
-ise	 105
-_ch	 105
-isem	 105
-ho	 105
-ye	 104
-iyo	 104
-E	 104
-el	 104
-mo	 103
-ung	 103
-eri	 103
-_wali	 103
-_b	 102
-mba_	 102
-ari	 101
-ita	 101
-isema	 100
-ot	 99
-_la_	 99
-uk	 99
-ao_	 99
-di_	 99
-sha_	 99
-ini	 99
-kuwa_	 98
-uwa_	 98
-ana_	 98
-lise	 98
-lisem	 98
-uli	 97
-shi	 97
-ga	 96
-iwa_	 96
-fu	 96
-T	 96
-R	 95
-_il	 95
-wak	 94
-aw	 94
-isha	 94
-ri_	 93
-_am	 93
-ara	 92
-_cha	 92
-aji	 92
-_ili	 91
-ifa	 91
-O	 90
-_p	 90
-uh	 90
-iri	 90
-chi	 90
-asi	 89
-po	 89
-a.	 89
-ong	 89
-azi	 88
-_j	 88
-_kut	 88
-eny	 88
-nc	 88
-a._	 88
-ko	 87
-uu	 87
-id	 87
-w_	 87
-no	 87
-P	 86
-ah	 86
-ina	 86
-rika	 86
-_Bw	 85
-H	 85
-gu	 85
-uo	 85
-Bw_	 85
-_Bw_	 85
-_se	 85
-Bw	 85
-ib	 84
-_S	 84
-kam	 84
-hi_	 84
-nya	 84
-si_	 83
-a,	 82
-no_	 81
-pi	 81
-ok	 81
-i.	 81
-ip	 81
-kwam	 81
-i._	 81
-amba_	 80
-dh	 80
-end	 80
-ani_	 80
-a,_	 79
-wamb	 79
-kwamb	 79
-_sh	 79
-eza	 79
-nz	 79
-wi	 79
-_kwam	 79
-wamba	 79
-alis	 78
-_kuw	 78
-ngo	 78
-ap	 77
-_N	 77
-any	 77
-ili_	 77
-C	 77
-WA	 76
-vy	 76
-wana	 76
-_hiy	 75
-Wa	 75
-hiyo	 75
-nch	 75
-_hiyo	 75
-de	 75
-_kuwa	 75
-ing	 75
-hiy	 75
-vi	 75
-isha_	 74
-es	 74
-atu	 74
-_Wa	 74
-nchi	 74
-aki	 74
-lim	 73
-da_	 73
-ini_	 73
-ash	 73
-ala	 73
-i,	 73
-ano	 73
-i,_	 72
-_kam	 71
-_wan	 71
-ano_	 71
-mw	 71
-nde	 71
-ji_	 71
-ion	 70
-_amb	 70
-ndi	 70
-_Ka	 70
-eza_	 70
Index: unk/gsdl/perllib/textcat/tagalog.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/tagalog.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 10664
-a	 6092
-n	 3421
-i	 2332
-g	 2149
-ng	 1488
-an	 1332
-g_	 1308
-ng_	 1243
-t	 1155
-a_	 1138
-o	 1137
-l	 1105
-s	 1067
-k	 1035
-_n	 957
-m	 909
-y	 801
-ang	 787
-u	 767
-ang_	 683
-p	 682
-na	 670
-_a	 634
-la	 596
-.	 572
-in	 561
-r	 559
-sa	 545
-_s	 502
-._	 487
-ma	 476
-ka	 473
-_na	 464
-b	 462
-_m	 458
-al	 448
-d	 445
-pa	 414
-n_	 412
-at	 394
-ak	 393
-h	 378
-ya	 358
-_k	 356
-ag	 350
-ni	 344
-_p	 339
-_sa	 335
-o_	 328
-ta	 308
-_an	 307
-iy	 300
-sa_	 296
-_ang	 294
-_ang_	 293
-t_	 290
-ay	 286
-ga	 283
-on	 280
-it	 275
-_sa_	 265
-ala	 258
-_ng	 256
-am	 252
-_i	 248
-_pa	 248
-i_	 243
-na_	 243
-an_	 240
-e	 239
-_ma	 237
-_ka	 235
-iya	 231
-y_	 229
-il	 228
-li	 228
-w	 226
-_ni	 225
-_na_	 224
-_ng_	 220
-as	 214
-ba	 207
-si	 206
-"	 195
-ti	 195
-ha	 186
-,	 179
-ar	 178
-ing	 173
-ra	 173
-A	 172
-ki	 168
-ong	 167
-_b	 167
-ap	 166
-,_	 162
-ong_	 161
-ko	 159
-ay_	 159
-un	 157
-ul	 155
-yo	 154
-to	 152
-_l	 150
-ah	 148
-is	 147
-hi	 147
-_t	 146
-lan	 145
-ama	 142
-niy	 139
-at_	 138
-_niy	 138
-aka	 136
-wa	 136
-niya	 135
-_niya	 135
-ab	 134
--	 134
-di	 133
-_si	 132
-"_	 131
-aw	 129
-_d	 126
-_A	 126
-yan	 123
-ya_	 122
-ata	 120
-a.	 120
-gi	 120
-P	 120
-ing_	 118
-um	 115
-o.	 113
-aki	 113
-ri	 113
-ik	 112
-nd	 112
-ila	 111
-mo	 110
-da	 110
-a._	 110
-in_	 109
-la_	 107
-ali	 106
-S	 106
-man	 105
-ig	 105
-iya_	 105
-s_	 104
-_ak	 104
-_at	 103
-_h	 102
-yon	 102
-asa	 101
-ina	 101
-_P	 101
-n.	 99
-N	 98
-aa	 98
-ga_	 97
-_mo	 97
-_ba	 97
-_"	 95
-ito	 94
-bi	 94
-yang	 94
-n._	 93
-pag	 92
-lang	 92
-yang_	 92
-_la	 92
-o._	 90
-K	 90
-_at_	 90
-tu	 88
-_S	 88
-ara	 87
-nga	 87
-ro	 85
-apa	 83
-rr	 82
-lam	 82
-lo	 81
-nan	 81
-_N	 80
-aman	 79
-aha	 78
-mg	 78
-mga	 78
-mga_	 78
-_mga_	 78
-_mg	 78
-_mga	 78
-_K	 78
-siy	 77
-kan	 76
-it_	 76
-san	 76
-d_	 75
-ad	 75
-di_	 74
-tin	 74
-'	 74
-ati	 73
-siya	 73
-kin	 72
-M	 72
-lang_	 71
-mo_	 70
-_mo_	 70
-ako	 70
-uma	 70
-_pag	 69
-pi	 69
-l_	 68
-_siy	 68
-rrr	 68
-_siya	 67
-ula	 67
-_M	 66
-Pa	 66
-iyo	 66
-mi	 66
-bu	 66
-mu	 65
-no	 65
-pu	 65
-nag	 65
-ung	 65
-Na	 65
-ot	 64
-_Na	 64
-niya_	 64
-iyan	 64
-ku	 64
-k_	 63
-go	 62
-awa	 62
-ip	 61
-_Pa	 61
-lu	 61
-_di	 60
-pan	 60
-_ta	 60
-ini	 60
-isa	 60
-nt	 60
-iyang	 60
-_iyo	 59
-_iy	 59
-on_	 59
-tan	 59
-mang	 59
-aba	 59
-gan	 59
-ut	 58
-I	 58
-hin	 58
-nak	 58
-an.	 57
-akin	 57
-_r	 57
-han	 57
-Ka	 57
-_ay	 57
-_ako	 56
-may	 56
-iyon	 56
-rrrr	 55
-Sa	 55
-aga	 55
-to_	 55
-nit	 55
-_ko	 54
-er	 54
-ib	 54
-ari	 54
-ana	 54
-ili	 54
-an._	 54
-ahi	 54
-au	 54
-ala_	 54
-gk	 53
-pa_	 53
-_is	 53
-rin	 53
-ilan	 52
-_kan	 52
-_Ka	 52
-_it	 52
-_Sa	 51
-king	 51
-ko_	 51
-_nak	 51
-gin	 51
-_ay_	 50
-bo	 50
-_iyon	 50
-amang	 50
-'y	 49
-os	 49
-mang_	 49
-_pa_	 49
-kat	 49
-a,	 49
-An	 48
-Ma	 48
-ny	 48
-mag	 48
-_ku	 48
-_ito	 48
-_ha	 47
-yong	 47
-?	 47
-aking	 47
-T	 47
-ni_	 47
-yong_	 47
-_An	 47
-king_	 47
-_akin	 46
-sang	 46
-_nag	 46
-kas	 46
-_aki	 46
-_ni_	 46
-ayo	 45
-kit	 45
-'y_	 45
-mat	 45
-_Ma	 45
-lal	 45
-ot_	 45
-nya	 44
-ban	 44
-ndi	 44
-oo	 44
-_u	 44
-ngi	 44
-_hi	 44
-sang_	 44
-B	 43
-su	 43
-may_	 43
-rrrrr	 43
-p_	 43
-ita	 43
-wal	 43
-ika	 43
-abi	 43
-aan	 43
-_may	 43
-lama	 42
-naka	 42
-mal	 42
-_I	 42
-_ri	 42
-alan	 42
-any	 42
-im	 42
-_pu	 42
-ai	 42
-wala	 41
-anya	 41
-a,_	 41
-_B	 41
-ndi_	 41
-as_	 41
-pat	 41
-po	 41
-nang	 41
-_mag	 41
-laman	 40
-lala	 40
-kal	 40
-g-	 40
-..	 40
-ir	 40
-!	 40
-uk	 40
-gu	 39
-ito_	 39
-ro_	 39
-_g	 39
-_da	 39
-_isa	 39
-_lam	 39
-ilang	 39
-kanya	 39
-w_	 39
-kany	 39
-agk	 38
-pal	 38
-ka_	 38
-_naka	 38
-siya_	 38
-isan	 38
Index: unk/gsdl/perllib/textcat/tamil.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/tamil.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 11468
-Õ	 2697
-Ô	 2533
-Ž	 1960
-»	 1786
-œ	 1249
-Â	 1103
-Ù	 990
-£	 976
-Ø	 849
-¡	 847
-š	 831
-¿	 821
-À	 794
-Ÿ	 758
-§	 750
-Á	 721
-¹	 715
-¶	 713
-.	 702
-£_	 671
-×	 655
-â	 648
-Æ	 625
-._	 611
-ç	 601
-Å	 571
-¯	 557
-»Õ	 556
-É	 524
-_É	 520
-¢	 518
-_œ	 492
-Ç	 489
-_×	 488
-Þ	 484
-_Ç	 482
-€	 461
-Ä	 442
-Œ	 418
-ÿ	 416
-¥	 403
-§_	 398
-œÔ	 373
-_Ø	 368
-ª	 360
-Í	 359
-_Í	 349
-»Ô	 348
-ŽÕ	 342
-à	 337
-_Â	 331
-õ	 331
-š_	 323
-_Œ	 321
-¡Ž	 320
-_Ž	 310
-Õ¿	 308
-Ü	 299
-¢»	 294
-Ó	 292
-ŽÔ	 292
-ÿ»	 290
-Õ§	 288
-¡Þ	 284
-â_	 279
-ý	 271
-õŽ	 266
-ÂÕ	 265
-_»	 265
-ŸÔ	 241
-_Ÿ	 234
-Žª	 232
-=	 231
-±	 229
-€œ	 227
-==	 221
-¶Õ	 218
-»_	 218
-Õ§_	 213
-===	 211
-Õ_	 210
-====	 201
-ª_	 199
-Ž_	 198
-ÀÕ	 197
-=====	 191
-,	 188
-Øœ	 188
-¿Õ	 187
-º	 186
-_¶	 184
-,_	 184
-Ã	 183
-Ô¯	 181
-¿_	 179
-Ôš	 178
-å	 172
-Žª_	 171
-ì	 169
-ÙÁ	 168
-¢»Õ	 165
-¿Ô	 165
-Ô_	 165
-ç¡	 164
-È	 161
-Þ_	 160
-Íš	 160
-_Íš	 157
-«	 156
-_È	 156
-§Á	 152
-ÔŽ	 152
-Ù»	 151
-Ð	 150
-_Ð	 149
-ä	 149
-ö	 146
-ÕÅ	 146
-ØœÔ	 145
-¯Ž	 143
-Ö	 142
-×¶	 142
-ÁÔ	 142
-œÕ	 140
-Á_	 139
-Ô§	 138
-_Éç	 138
-Éç	 138
-¶Ô	 137
-Õš	 137
-Æ_	 136
-¢â	 133
-_×¶	 132
-ÔÆ	 128
-¡ŽÕ	 128
-ÀÔ	 127
-¥¹	 127
-_Ë	 127
-Ë	 127
-_Øœ	 127
-ÕÀ	 125
-öÓ	 125
-ÄÕ	 124
-ÆÔ	 122
-ÅÕ	 121
-Þ£	 120
-Õç	 119
-ŒÔ	 119
-×œ	 119
-ŽÙ	 119
-_å	 118
-¯_	 118
-£.	 117
-ŽÕÅ	 116
-»Õ¿	 115
-ÂÔ	 115
-_ÂÕ	 113
-â.	 113
-×»	 113
-£._	 112
-¡Þ_	 112
-ÕÙ	 111
-Õ¡	 111
-ÙÄ	 109
-×Ž	 109
-é	 109
-â._	 108
-_œÔ	 107
-ÕŽ	 106
-€_	 105
-ÆÕ	 104
-'	 104
-œ¹	 103
-ç_	 102
-¹Ô	 102
-ØŽ	 101
-ŒÕ	 100
-Éÿ	 100
-_Éÿ	 99
-_×»	 99
-ÔÀ	 98
-Éÿ»	 98
-æ	 98
-_×œ	 97
-Å_	 97
-Ô»	 97
-_Éÿ»	 97
-Ôš_	 97
-¹_	 97
-ß	 96
-±Å	 96
-×ŽÔ	 96
-»Ôš	 95
-¡Þ£	 94
-Õ¿_	 94
-Ø»	 94
-ø	 94
-ØÂ	 93
-í	 93
-_ØœÔ	 93
-ŸÕ	 93
-Õš_	 92
-ÿ»_	 91
-ÁÕ	 91
-_Éç¡	 90
-Éç¡	 90
-Ðç	 90
-ÕÆ	 90
-_Ðç	 90
-ÿ»Õ	 90
-Ù¹	 89
-_ŽÔ	 89
-_Ðç_	 88
-_ŒÔ	 88
-Ðç_	 88
-ì_	 86
-ç¡Ž	 86
-ÅÔ	 86
-ÿâ	 85
-¥à	 85
-¯Žª	 84
-šÆ	 84
-šì	 83
-Ô¥	 83
-÷	 83
-_Þ	 83
-ŽÄ	 82
-à_	 81
-ÔŽ_	 81
-š.	 80
-_ŸÔ	 80
-¿Õ§	 80
-²	 80
-ÕÁ	 80
-Ä_	 79
-ŽÙÄ	 79
-_œ¹	 79
-šÅ	 79
-Ô£	 79
-«¶	 78
-¡_	 78
-š._	 77
-_¶Õ	 77
-§ÁÔ	 77
-_ŒÕ	 77
-ë	 77
-Åâ	 76
-Þ£_	 75
-ÔÆ_	 75
-ÙŸ	 75
-Â¯	 75
-ÙÂ	 74
-çÿ	 73
-ýà	 72
-è	 72
-šì_	 71
-Ô§_	 71
-Žë	 71
-¥Ü	 71
-§Ù	 70
-»Õ§	 70
-§ÙÁ	 70
-£œ	 69
-Ù»_	 69
-ªÄ	 69
-ç¡Þ	 69
-Ó_	 68
-Ôõ	 68
-ØŸ	 67
-_ØŽ	 67
-Õ¢	 66
-ÄÔ	 66
-»Ôš_	 66
-à£	 66
-_Ç»	 66
-Ç»	 66
-Ô¹	 66
-Î	 66
-¿Õ§_	 65
-Ôâ	 65
-_»Õ	 64
-¯.	 64
-¹¢	 63
-Õ¥	 63
-Ô¡	 63
-_×Ž	 63
-_Î	 63
-ÙŽ	 62
-ŽÄÕ	 62
-Õ¿Ô	 62
-¯._	 61
-Éÿ»Õ	 61
-_œÕ	 61
-_×»Ô	 61
-×»Ô	 61
-ÔõŽ	 61
-œ¥	 60
-ÿ»Õ¿	 60
-_ä	 60
-_Éÿ»Õ	 60
-ÔŸ	 60
-Ôç	 59
-×¶Ô	 59
-¡Þ£_	 59
-€ä	 59
-_ÇÙ	 58
-ÿâ_	 58
-ÙÅ	 58
-ÇÂ	 58
-ÇÙ	 58
-Éÿ»Õ¿	 58
-ºÕ	 58
-»À	 57
-œÔ¯	 57
-¹£	 57
-ýº	 57
-_ÇÂ	 57
-æ£	 56
-ÔÁ	 56
-_×¶Ô	 55
-?	 55
-ý¹	 54
-ÃÕ	 54
-ÙÆ	 54
-»Õç	 54
-_×ŽÔ	 54
-ŽÕÅâ	 53
-»Õ¿_	 53
-_À	 53
-ÕÅâ	 53
-¡ŽÕÅ	 53
-ç¡ŽÕ	 52
-ÇÀ	 52
-ÙÄ_	 52
-×Â	 51
-Ü_	 51
-'_	 51
-_ÇÀ	 51
-ÔÂ	 51
-Íšì	 51
-Âç	 51
-î	 51
-â¡	 51
-_Íšì	 51
-À_	 51
-Õ¿Õ	 51
-ÙÀ	 51
-_É§	 50
-É§	 50
-œý	 50
-»Õ§_	 50
-×œÔ	 50
-±ÅÕ	 50
-»Ÿ	 49
-à£_	 49
-Ôà	 49
-õŽª	 49
-Ž¥	 49
-»Õ_	 49
-»ÕÀ	 48
-¶Ô§	 48
-ç£	 48
-Õ¡Ž	 48
-Õ€	 48
-ÕØ	 48
-À£	 48
-ÀÕ¿	 48
-_Éç¡Ž	 47
-æ£_	 47
-ê	 47
-Íšì_	 47
-×¶Ô§	 47
-Éç¡Ž	 47
-Â_	 47
-_Íšì_	 47
-?_	 46
-Ø¿	 46
-Ô¿	 46
-_Ø»	 46
-¹õ	 46
-_Ù	 46
-õŽª_	 46
-è£	 45
-ŽÙÄ_	 45
-¢Ù»	 45
-¢Ù	 45
-»Ù	 45
-_×œÔ	 44
-œÜ	 44
-Ô£_	 44
-ÕÆÕ	 44
-ŽØ	 44
-á	 44
-Ž£	 44
-œÔâ	 44
-ÁÔ£	 44
-Á.	 44
-_×¶Ô§	 43
-Žë¡	 43
Index: unk/gsdl/perllib/textcat/thai.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/thai.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 6290
-Ò	 5252
-Ã	 4377
-¹	 3920
-¡	 3050
-è	 2984
-Í	 2657
-§	 2522
-Ñ	 2454
-Á	 2369
-é	 2304
-à	 2158
-Â	 1981
-Ç	 1908
-Õ	 1693
-Å	 1543
-Ô	 1443
-Ž	 1422
-·	 1398
-µ	 1398
-»	 1301
-Ë	 1245
-Ð	 1239
-€	 1210
-º	 1181
-Ê	 1081
-š	 1045
-ä	 978
-ÒÃ	 951
-Ÿ	 907
-ª	 892
-èÒ	 829
-á	 795
-¡Ò	 735
-ã	 722
-¡ÒÃ	 710
-¢	 691
-ÒÂ	 688
-×	 668
-Í§	 595
-.	 588
-ç	 553
-Ø	 543
-ÃÑ	 532
-Õè	 528
-ÃÐ	 522
-»Ã	 522
-·Õ	 477
-Ù	 452
-·Õè	 451
-èÍ	 443
-¹Ò	 441
-Ó	 422
-Ò§	 419
-éÒ	 414
-ì	 388
-¹_	 378
-ÃÃ	 367
-ÒÁ	 360
-°	 354
-Ñº	 349
-Ò_	 347
-éÍ	 345
-»ÃÐ	 340
-Çè	 337
-ÃÒ	 337
-Áè	 336
-ÇèÒ	 336
-à»	 334
-Ò¹	 333
-Ñé	 332
-¡Ã	 328
-Žé	 325
-Ö	 322
-_à	 320
-ç¹	 314
-À	 313
-ÁÒ	 299
-Ñ§	 297
-Ò¡	 297
-×Í	 296
-äÁ	 295
-Ñ°	 293
-ÃÑ°	 293
-×è	 290
-â	 289
-äÁè	 288
-ž	 285
-ã¹	 280
-Œ	 273
-è§	 268
-¹ÒÂ	 268
-é¹	 266
-ŸÃ	 263
-Ñ¹	 263
-³	 263
-áÅ	 256
-¹¡	 254
-ËÒ	 253
-§¡	 252
-×èÍ	 251
-ÁÕ	 251
-äŽ	 248
-­	 248
-äŽé	 248
-šÐ	 248
-»ç¹	 247
-à»ç¹	 247
-»ç	 247
-à»ç	 247
-Í¡	 245
-ÇÒ	 245
-ãË	 244
-¶	 244
-ªÒ	 243
-µÔ	 241
-_á	 240
-¡Ñ	 238
-È	 237
-_¡	 236
-µè	 234
-«	 227
-éÇ	 225
-é§	 221
-É	 216
-Â¡	 214
-Ã€	 213
-ÕÂ	 211
-Ñé§	 211
-ÃÁ	 211
-¢Í	 210
-Ô¹	 209
-èÇ	 206
-Õé	 202
-ÅÐ	 202
-Ë¹	 201
-¹Ñ	 201
-_¹	 200
-µÃ	 197
-Ëé	 196
-§_	 193
-Á¹	 191
-Ðà	 191
-ÀÒ	 188
-ÍÂ	 188
-ÒÇ	 186
-¢Í§	 184
-¹Õ	 184
-ãËé	 183
-€Ç	 183
-ÃÕ	 181
-§à	 180
-¡Å	 179
-áÅÐ	 178
-èÒ§	 177
-èÒ_	 176
-ÃÃ€	 176
-_Ÿ	 176
-€ÇÒÁ	 174
-¹µ	 174
-ÇÒÁ	 174
-€ÇÒ	 174
-ÑŽ	 172
-ÔŽ	 172
-ÇèÒ_	 171
-ŸÃÃ	 167
-šÒ	 167
-Í¹	 167
-Òµ	 167
-¹Õé	 167
-ŸÃÃ€	 166
-¡ç	 166
-€Ã	 165
-¹à	 165
-è¹	 163
-ºÒ	 162
-¢é	 161
-§ã	 161
-Õ_	 161
-ì_	 154
-ËÅ	 154
-Á×	 154
-éÍ§	 151
-¹¡ÒÃ	 151
-¹¡Ò	 151
-ä»	 150
-Ñ¡	 150
-é_	 148
-ÃÒÂ	 147
-µÑ	 146
-¹·	 146
-ÅÑ	 146
-Â_	 146
-àŸ	 145
-Åé	 140
-à¡	 139
-šÒ¡	 139
-àÁ	 138
-ÃÔ	 138
-ŸÅ	 137
-Ã×	 136
-·Ñ	 135
-¡Ñº	 134
-ÒÂ¡	 133
-_Ã	 132
-ºÃ	 132
-§ä	 132
-Ãà	 131
-à·	 130
-Åè	 129
-ÒµÔ	 129
-_·	 128
-¡Ô	 128
-µÃÕ	 128
-ÃÑº	 128
-Õ¡	 128
-àË	 127
-¹Í	 127
-µé	 126
-_¹Ò	 126
-ªÒµÔ	 126
-ÅÒ	 126
-ªÒµ	 126
-¹Ç	 126
-Òà	 126
-_áÅ	 125
-§¹	 124
-§€	 124
-¡ÒÃà	 124
-ÒÃà	 124
-ÍÁ	 123
-Ò€	 122
- 	 122
-áµ	 122
-àÊ	 121
-ÇÑ	 121
-Ñé¹	 120
-ÃÃÁ	 120
-Ò·	 119
-¹µÃ	 119
-èÒÇ	 118
-áµè	 118
-§·	 117
-Ç¹	 117
-ÂÑ	 117
-Á¹µÃ	 117
-¹µÃÕ	 117
-Á¹µ	 117
-Á¹µÃÕ	 117
-ÃÍ	 116
-Ùé	 116
-_¹ÒÂ	 116
-àÁ×	 116
-°Á¹	 115
-àÃ	 115
-ÃÑ°Á¹	 115
-ËÁ	 115
-à¢	 115
-Ñ°Á	 115
-Í.	 115
-Ñ°Á¹µ	 115
-ÃÑ°Á	 115
-°Á¹µ	 115
-Ñ°Á¹	 115
-°Á¹µÃ	 115
-°Á	 115
-_áÅÐ	 113
-éà	 113
-Ãè	 113
-èÁ	 112
-ãš	 112
-_Ê	 112
-¹Ñé	 111
-Ô»	 111
-¹Ñé¹	 111
-èà	 111
-èä	 110
-_Í	 110
-Âà	 110
-_š	 110
-Òš	 109
-»ÃÒ	 108
-¹ÒÂ¡	 108
-_Ë	 107
-Ñ­	 107
-éÒ¹	 107
-šÑ	 106
-§¡Ò	 106
-_€	 106
-§¡ÒÃ	 105
-ÇÂ	 105
-Ôµ	 105
-¹é	 105
-ÒÅ	 103
-ŽÂ	 102
-è_	 102
-ÃÐà	 102
-àÍ	 102
-¹¹	 102
-ÍÒ	 101
-âŽ	 100
-µéÍ	 100
-ªè	 100
-_ä	 99
-ÇÅ	 99
-µéÍ§	 99
-âŽÂ	 99
-Ã_	 98
-Ðª	 98
-ŸÑ	 98
-»ÃÐà	 98
-Â¡Ã	 97
-Öè§	 97
-¡_	 97
-Öè	 97
-Òª	 97
-é¹_	 96
-ÅÔ	 96
-Ñ°º	 94
-ÒŸ	 94
-ÃÑ°º	 94
-ŒÙ	 94
-°º	 94
-Âè	 93
-¹ä	 93
-·Ò	 93
-°ºÒ	 92
-ÅèÒ	 92
-Å.	 92
-Ñ°ºÒ	 92
-¡Ñ¹	 92
-Ñ°ºÒÅ	 92
-§Ã	 92
-ÃÑ°ºÒ	 92
-ºÒÅ	 92
-°ºÒÅ	 92
-Ö§	 92
-.Í	 91
-¢éÒ	 91
-Ã¡	 91
-_ŸÅ	 90
-ÍÂè	 90
-ŸÅ.	 90
-Íà	 90
-ÍÂèÒ	 90
-ÂèÒ	 90
-¡ÃÐ	 89
-.Í.	 89
-ÂèÒ§	 89
-Õé_	 89
-ÍÂèÒ§	 89
-ÂÑ§	 89
-ÊØ	 89
-µèÍ	 88
-Íº	 88
-_â	 88
-Å.Í	 87
-èÍ§	 87
-ÃÐª	 87
-Áà	 87
-ÂÇ	 87
-ÅÑ§	 87
-ŸÅ.Í.	 87
-Å.Í.	 87
-¹Õé_	 87
-àŽ	 87
-Á¡	 87
-ŒÙé	 87
-ÇÔ	 87
-ŸÅ.Í	 87
-»ÃÐª	 87
-»Ñ	 87
-'	 86
-ÊÔ	 86
-Êè	 86
-Áèä	 86
-_ŸÅ.	 86
-·Ò§	 86
-ÇÁ	 85
-¡à	 85
-Â§	 85
-._	 85
-¡ÃÑ	 85
-ÍÀ	 85
-ªÇ	 84
-ÒÐ	 84
-¹éÒ	 84
-¡ÃÑ°	 84
-ÀÔ	 84
-·Ó	 84
-ËÒÃ	 84
-_ŸÅ.Í	 84
-ÍÍ	 83
-§Ê	 83
-ÍÀÔ	 83
-äÁèä	 83
-Ñµ	 82
-»ÃÒÂ	 82
-€¹	 82
-Í_	 82
Index: unk/gsdl/perllib/textcat/turkish.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/turkish.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 23226
-i	 8957
-a	 7675
-e	 6219
-n	 5169
-&	 4950
-;	 4950
-l	 4674
-r	 4464
-&i	 3206
-&i;	 3206
-i;	 3206
-s	 3206
-k	 3009
-d	 2977
-t	 2442
-m	 2010
-y	 2001
-u	 1885
-n_	 1725
-g	 1584
-o	 1567
-b	 1470
-e_	 1426
-ü	 1353
-ar	 1273
-la	 1236
-a_	 1209
-i_	 1169
-in	 1124
-_b	 1101
-an	 1097
-er	 1073
-le	 1058
-s;	 1036
-&s;	 1036
-&s	 1036
-;_	 1018
-de	 936
-;n	 918
-&i;n	 917
-i;n	 917
-,_	 872
-_,	 872
-_,_	 872
-,	 872
-i;_	 863
-&i;_	 863
-_k	 816
-en	 769
-r_	 762
-_y	 759
-da	 759
-il	 759
-k_	 750
-z	 739
-nd	 725
-&g;	 708
-g;	 708
-&g	 708
-ra	 697
-_a	 692
-_d	 692
-_s	 676
-'	 673
-_i	 644
-._	 641
-.	 641
-_.	 637
-_._	 637
-c	 637
-ka	 635
-v	 632
-;&	 624
-h	 615
-_g	 597
-ri	 596
-ç	 596
-lar	 583
-li	 580
-ma	 559
-ya	 555
-ler	 553
-p	 547
-re	 529
-al	 529
-ö	 527
-_t	 520
-ir	 508
-ak	 502
-bi	 500
-;l	 480
-in_	 478
-di	 477
-r&	 468
-el	 453
-et	 449
-ek	 445
-n&	 439
-_o	 439
-ol	 437
-da_	 434
-n&i	 433
-n&i;	 433
-ni	 429
-ti	 428
-de_	 425
-an_	 422
-eri	 421
-r&i	 417
-r&i;	 417
-s&	 413
-s&i	 413
-s&i;	 413
-ar&	 412
-me	 407
-te	 405
-a&	 404
-i&	 390
-ay	 387
-ne	 380
-_bi	 373
-_ka	 368
-ar&i;	 367
-ar&i	 367
-u_	 363
-as	 363
-_e	 362
-ta	 359
-&i;l	 352
-i;l	 352
-nda	 350
-ki	 347
-na	 346
-si	 343
-_v	 337
-;&i;	 334
-;&i	 334
-ve	 334
-ara	 333
-en_	 332
-;i	 331
-on	 328
-un	 326
-l&i;	 322
-l&	 322
-l&i	 322
-leri	 322
-ba	 318
-_m	 318
-ik	 315
-mi	 315
-f	 306
-lar&	 302
-lar&i	 302
-sa	 298
-_h	 297
-ld	 296
-&i;&	 290
-i;&	 290
-_ve	 288
-l_	 287
-ge	 286
-is	 285
-ed	 285
-i&s;	 284
-i&s	 284
-;r	 282
-_ya	 279
-_ol	 279
-d&i;	 278
-d&	 278
-d&i	 278
-nl	 277
-kl	 275
-;k	 274
-&i;n_	 271
-;n_	 271
-i;n_	 271
-ile	 270
-or	 269
-iy	 267
-a&s	 264
-a&s;	 264
-y&i;	 262
-ad	 262
-y&	 262
-y&i	 262
-ye	 259
-ha	 258
-es	 258
-t&	 257
-t&i	 257
-t&i;	 257
-ini	 253
-;nd	 253
-i;nd	 253
-ür	 253
-&i;nd	 253
-se	 248
-_ge	 248
-i;nda	 248
-;nda	 248
-;n&i;	 247
-i;n&	 247
-;n&	 247
-&i;n&	 247
-i;n&i	 247
-;n&i	 247
-bu	 245
-_'	 245
-_ba	 244
-as&i	 242
-as&i;	 242
-_de	 242
-as&	 242
-at	 240
-am	 240
-nda_	 239
-ar_	 231
-ve_	 230
-rin	 230
-_ve_	 228
-_bu	 227
-im	 227
-&i;r	 226
-i;r	 226
-ur	 221
-g;&i	 220
-g;&	 220
-&g;&	 220
-yo	 220
-&g;&i	 220
-g;&i;	 220
-ul	 215
-ak_	 215
-ke	 213
-nu	 213
-erin	 211
-g;i	 208
-&g;i	 208
-lan	 207
-bir	 205
-r&i;n	 205
-nde	 202
-rl	 202
-n&i;_	 201
-ko	 201
-ca	 200
-m_	 197
-rd	 196
-t_	 194
-er_	 194
-st	 193
-em	 193
-_sa	 190
-lm	 189
-rt	 188
-_ü	 187
-i;k	 187
-ün	 187
-ola	 187
-&i;k	 187
-lerin	 185
-ce	 185
-'_	 185
-;m	 183
-az	 183
-rk	 182
-yü	 182
-;la	 181
-_bir	 181
-ir_	 180
-n&i;n	 180
-ru	 180
-lu	 180
-;nda_	 178
-e&	 177
-_ç	 176
-_ha	 175
-_ko	 173
-esi	 171
-_ö	 170
-ap	 170
-ni_	 168
-tü	 167
-den	 164
-ind	 161
-di_	 161
-be	 161
-s&i;n	 160
-nin	 159
-üz	 158
-ri_	 155
-y&i;l	 155
-_p	 154
-nin_	 153
-&s;_	 152
-_y&	 152
-edi	 152
-s;_	 152
-_y&i;	 152
-_y&i	 152
-yl	 151
-le_	 151
-inde	 150
-eti	 150
-ala	 150
-&i;&s	 149
-ele	 149
-i;&s;	 149
-;&s;	 149
-;&s	 149
-i;&s	 149
-ek_	 148
-ere	 148
-çi	 147
-du	 145
-ön	 145
-z_	 144
-na_	 144
-eri_	 143
-ec	 142
-gö	 142
-i;&g;	 141
-s&i;_	 141
-bir_	 141
-&i;&g	 141
-i;&g	 141
-ah	 141
-;&g;	 141
-;&g	 141
-_gö	 140
-lar_	 140
-eli	 140
-a&g;	 140
-a&g	 140
-dan	 140
-ac	 140
-iç	 140
-an&	 140
-u&	 139
-;&g;&	 138
-_yü	 138
-an&i	 138
-an&i;	 138
-pa	 138
-it	 137
-_ola	 137
-_bir_	 136
-;t	 135
-ör	 135
-ne_	 135
-ini_	 134
-lma	 134
-kan	 133
-ab	 132
-to	 131
-ba&	 131
-kar	 130
-r&i;_	 130
-_ar	 129
-ili	 129
-li_	 129
-ki_	 128
-bu_	 127
-anl	 127
-dü	 127
-ler_	 126
-_ba&	 126
-kon	 126
-ll	 125
-tl	 125
-ine	 125
-e&g;	 124
-e&g	 124
-_il	 124
-_bu_	 124
-re_	 124
-bil	 123
-&s;i	 123
-;&i;n	 123
-s;i	 123
-ede	 123
-zd	 123
-''	 122
-_da	 122
-_''	 122
-_tü	 122
-ret	 122
-_-_	 121
-_''_	 121
-mas	 121
-''_	 121
--	 121
-dan_	 121
-leri_	 121
-;u	 121
-_-	 121
-ev	 121
Index: unk/gsdl/perllib/textcat/ukrainian-koi8_r.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/ukrainian-koi8_r.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 21726
-Ï	 4832
-Á	 4080
-É	 3253
-Š	 2775
-Î	 2747
-×	 2642
-Ô	 2481
-Å	 2373
-Ò	 2066
-Ë	 1929
-Ä	 1806
-Ó	 1797
-Ì	 1760
-Õ	 1605
-Ð	 1347
-Í	 1345
-Ñ	 1061
-Ú	 1060
-Á_	 971
-Ï_	 965
-É_	 916
-_×	 902
-Â	 881
-_Ð	 869
-Å_	 847
-Ø	 843
-Š_	 810
-Ç	 760
-_Î	 696
-.	 676
-Þ	 654
-Ê	 647
-_Ó	 623
-"	 621
-_Ú	 606
-ÎÁ	 582
-_Ä	 565
-Ö	 543
-_Ô	 514
-ËÁ	 480
-._	 476
-ÔÉ	 464
-Ï×	 459
-×Š	 457
-Õ_	 457
-×_	 451
-À	 450
-Ñ_	 449
-_Ë	 443
-È	 438
-ÒÏ	 431
-Û	 428
-_Í	 419
-ÎÅ	 418
-ÐÏ	 414
-ÓÔ	 413
-€	 410
-ÔÏ	 400
-ÇÏ	 396
-Ø_	 394
-ÔØ	 377
-ÌÉ	 375
-ËÏ	 373
-ÒÁ	 358
-ÎÏ	 356
-Ê_	 354
-á	 354
-_Â	 350
-ÔÁ	 346
-,	 343
-ÏÄ	 341
-ÉÔ	 340
-ÏÌ	 336
-ÏÇ	 333
-×Á	 331
-Ã	 328
-Á×	 326
-,_	 323
-ÒÉ	 322
-ÄÏ	 321
-ÌÏ	 319
-ŠÄ	 318
-ÎÉ	 317
-÷	 314
-_ÐÏ	 314
-î	 312
-×É	 310
-ÏÒ	 310
-ÅÒ	 305
-ï	 295
-ÏÍ	 295
-ÎŠ	 294
-_ÎÁ	 289
-_ÎÅ	 288
-×Ï	 288
-Ý	 287
-ÅÎ	 282
-ÁÌ	 282
-ÎÁ_	 280
-ÚÁ	 274
-ô	 273
-ËÉ	 268
-_Š	 268
-§	 267
-ÐÒ	 266
-"_	 264
-ÏÇÏ	 254
-ÓÑ	 252
-ÁÔ	 252
-_"	 251
-ÔØ_	 251
-ÎÅ_	 249
-Í_	 248
-ð	 246
-ÔÉ_	 245
-I	 245
-ÉÊ	 244
-_Ò	 241
-€_	 239
-_ÄÏ	 239
-ÄÁ	 235
-ÏÂ	 235
-é	 233
-_Ñ	 232
-_Š_	 228
-ÖÅ	 228
-ÁÎ	 228
-Ë_	 226
-ÉÎ	 224
-_ÐÒ	 221
-ÍÏ	 219
-_ÚÁ	 218
-ŠÎ	 216
-Á€	 215
-ÍÁ	 214
-ÌÁ	 213
-_×Š	 210
-ÄÉ	 209
-_Ç	 207
-À_	 206
-ÒÅ	 206
-ÇÏ_	 204
-É×	 203
-_Ý	 203
-Ú_	 202
-ÝÏ	 201
-ÌŠ	 200
-ò	 199
-ÏÇÏ_	 199
-ó	 197
-ÓÑ_	 196
-ÉÓ	 193
-ÏÎ	 193
-_ÎÅ_	 190
-_ð	 190
-ŠÌ	 188
-ÏÓ	 187
-_Ï	 186
-ÔÅ	 186
-ÞÉ	 185
-ÁÒ	 184
-ÉÊ_	 184
-_÷	 176
-_×_	 174
-_Þ	 174
-ÑË	 173
-ÌØ	 173
-ë	 173
-ÁÓ	 170
-_ÝÏ	 169
-ÍÕ	 168
-ÂÕ	 167
-ñ	 166
-ÉÌ	 166
-ÉË	 163
-å	 163
-ÒŠ	 163
-ä	 163
-ú	 162
-ÝÏ_	 161
-ÔÒ	 160
-ÎŠ_	 160
-Š×	 160
-ÖÅ_	 159
-×ŠÄ	 159
-_Ì	 158
-ÔŠ	 155
-_×É	 155
-*	 154
-ÄÎ	 153
-ÁÍ	 153
-_*	 152
-Á€_	 152
-ÌÉ_	 152
-ØË	 152
-_ËÏ	 151
-È_	 151
-ËÕ	 151
-*_	 151
-ÄÅ	 151
-_*_	 150
-í	 149
-_Ú_	 149
-_ÑË	 148
-_Á	 147
-ÄŠ	 147
-ÄÕ	 146
-ÁÖ	 145
-_ÎÁ_	 144
-ÁÔÉ	 144
-ËÁ_	 143
-ÐÉ	 142
-_ÓÔ	 141
-ÓØ	 141
-ÌÑ	 140
-Î_	 139
-ÌÅ	 138
-ÐŠ	 137
-ÏÌÏ	 137
-ÒÕ	 136
-ÁÄ	 136
-_ÝÏ_	 136
-ÍÉ	 135
-ÃŠ	 135
-_î	 134
-_ÍÏ	 133
-ÁË	 133
-ËÉ_	 133
-ÏÀ	 132
-ÎÕ	 131
-ÉÍ	 130
-ŠÔ	 129
-_ËÁ	 129
-ÂÁ	 129
-_ÔÏ	 129
-§_	 128
-ÍÅ	 128
-ÐÅ	 128
-ÍŠ	 128
-_ÂÕ	 127
-×Ó	 126
-á_	 126
-Ï×Š	 123
-ÏË	 123
-×Å	 122
-ËŠ	 121
-:	 119
-_Ã	 118
-Õ×	 118
-ÂÉ	 116
-ÓŠ	 116
-ÇÁ	 115
-Ï§	 115
-ÐÁ	 115
-ÎÏ_	 115
-ÏÍÕ	 114
-ÍÕ_	 113
-_Ö	 113
-ÏÒÏ	 113
-ÏÔ	 113
-ÉÔØ	 112
-ÏÚ	 112
-?	 111
-ÔÕ	 110
-ÓÔÏ	 109
-_ú	 109
-ÏÞ	 109
-ÉÈ	 109
-ÕÔ	 109
-ÏÀ_	 108
-ŠË	 108
-_È	 106
-â	 106
-ÄÏ_	 106
-ŠÊ	 106
-_×ŠÄ	 106
-Ó×	 106
-ÚÎ	 105
-ÂŠ	 105
-ÐÒÉ	 105
-ÓÔÁ	 104
-ÁÚ	 104
-ËÒ	 104
-ËÁÖ	 104
-ÎÑ	 103
-ÕÄ	 103
-_ô	 102
-_ÇÏ	 102
-Ä_	 102
-ÔÏ_	 102
-ÉÔÉ	 102
-_ó	 101
-_ÔÁ	 101
-ÌÏ×	 101
-ì	 100
-_ÒÏ	 100
-ÞÁ	 99
-ÏÍÕ_	 99
-ÐÅÒ	 99
-_ÄÏ_	 98
-ÏÄÉ	 98
-ŠÓ	 98
-ÁÖÅ	 97
-ÌÁ_	 97
-ÁÊ	 96
-ÓÏ	 94
-ÁÔÉ_	 94
-_Õ	 94
-ÌÀ	 93
-!	 93
-_Ó×	 93
-..	 93
-ÅÒÅ	 92
-ÓË	 92
-ŠÌØ	 92
-ÓÉ	 92
-_ÐÒÉ	 91
-ÅÌ	 91
-ÐÒÏ	 91
-_ËÁÖ	 91
-ÈÏ	 91
-ÏÖ	 89
-þ	 89
-Ô_	 88
-ÉÔØ_	 88
-ÅÓ	 88
-ÞÏ	 86
-ÂÏ	 86
-ÓÌ	 86
-ËÁÖÅ	 86
-ÑÔ	 85
-ñ_	 85
-ÓÐ	 84
-ÔÏÒ	 84
-ÏÌÉ	 84
-_ËÁÖÅ	 83
-_ÐŠ	 83
-_ÍÁ	 82
-ÕÌ	 82
-ÕË	 82
-ç	 81
-õ	 81
-_ë	 81
-Á×_	 81
-ÎÎ	 81
-ÞÅ	 81
-ÍÅÎ	 81
-ÍÉ_	 80
-_Ê	 79
-_í	 79
-ØÓ	 78
-ÎË	 78
-ÁÀ	 78
-ÂÅ	 78
-ÃÅ	 78
-_ÐÒÏ	 77
-ŠÎ_	 77
-ÏÍ_	 77
-ÕÓ	 77
-ÅÍ	 77
-_ñ	 77
-_ä	 77
-_×Ï	 76
-_ÍÅ	 76
-ÉÈ_	 76
-ÅÔ	 76
-ØÏ	 75
-ÉÞ	 75
-ØËÉ	 75
-ÕÒ	 74
-ØÓÑ	 74
-ÔØÓ	 74
-ÔØÓÑ	 74
-Ï§_	 73
-_ÓÔÏ	 73
-ËÏÌ	 72
-".	 72
-."	 72
-ÏÌÏ×	 72
-ÊÏ	 72
-Ä×	 71
-Š×_	 71
-ÏÐ	 71
-Æ	 71
-_ÐÅ	 71
-Õ×Á	 71
-ÎÉÊ	 71
-ÓØ_	 70
-_â	 70
-ÌØË	 70
-_ÏÄ	 69
-ÅÎŠ	 69
-ÁÞ	 68
-ÁÌÉ	 68
-ŠÌØË	 68
-ÈÁ	 68
-ÑË_	 68
-ÔØÓÑ_	 68
-ÔÁË	 68
Index: unk/gsdl/perllib/textcat/vietnamese.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/vietnamese.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 88044
-n	 17000
-h	 12823
-t	 9071
-i	 8490
-c	 8394
-g	 8035
-ng	 6718
-_t	 6352
-_c	 5234
-a	 5083
-g_	 4883
-ng_	 4882
-_n	 4379
-n_	 4365
-i_	 4365
-u	 4149
-m	 3648
-à	 3635
-nh	 3480
-o	 3451
-Ç	 3193
-_Ç	 3168
-r	 3011
-l	 2692
-Ü	 2659
-,	 2328
-,_	 2295
-c_	 2279
-_l	 2263
-ch	 2226
-v	 2161
-th	 2158
-a_	 2132
-_th	 2113
-y	 2111
-.	 2107
-t_	 2106
-h_	 2074
-_v	 2057
-_h	 1888
-_m	 1834
-_ch	 1813
-s	 1749
-nh_	 1715
-u_	 1679
-á	 1668
-à_	 1649
-tr	 1611
-b	 1589
-_tr	 1581
-_nh	 1541
-_b	 1530
-m_	 1505
-p	 1483
-._	 1455
-k	 1429
-_s	 1415
-o_	 1380
-y_	 1371
-_k	 1367
-_ng	 1348
-©	 1343
-e	 1296
-ó	 1208
-	 1199
-ô	 1181
-¶	 1139
-å	 1132
-T	 1126
-hi	 1121
-â	 1081
-ì	 1058
-ê	 1055
-d	 1040
-_g	 1039
-kh	 1034
-_kh	 1027
-_T	 994
-©i	 967
-là	 943
-_là	 941
-"	 926
-ä	 916
-Ü©	 901
-an	 893
-_d	 888
-Ó	 877
-©i_	 859
-on	 853
-Ã	 848
-N	 846
-	 820
-ó_	 813
-	 801
-ôn	 795
-ph	 776
-_p	 772
-_ph	 752
-û	 752
-§	 734
-hÜ	 728
-ho	 715
-và	 709
-_và	 703
-gÜ	 702
-®	 700
-_r	 696
-H	 693
-_là_	 691
-là_	 691
-Ü©i	 684
-àn	 679
-ên	 677
-ông	 676
-ha	 672
-gi	 663
-C	 656
-_gi	 655
-Ö	 654
-gÜ©i	 646
-gÜ©	 646
-Ü©i_	 624
-ông_	 610
-ngÜ	 610
-_ngÜ	 608
-ác	 606
-ú	 601
-ngÜ©	 600
-ngÜ©i	 600
-_ngÜ©	 598
-gÜ©i_	 594
-ûa	 587
-cû	 586
-_cû	 585
-¶t	 585
-cûa	 585
-ên_	 585
-_cûa	 584
-có	 583
-ûa_	 582
-_có	 581
-cûa_	 581
-ã	 581
-_cûa_	 580
-¶t_	 578
-_N	 574
-có_	 574
-»	 573
-_có_	 572
-i	 568
-À	 562
-	 562
-m¶	 557
-_C	 553
-_m¶	 551
-p_	 540
-Æ	 540
-m¶t	 538
-m¶t_	 534
-_m¶t	 532
-ìn	 528
-_m¶t_	 528
-ti	 526
-i	 525
-Ù	 517
-Î	 512
-ình	 500
-..	 500
-	 497
-và_	 497
-_và_	 496
-æ	 491
-q	 490
-qu	 490
-_H	 487
-_q	 484
-_qu	 484
-ong	 481
-ong_	 471
-há	 471
-x	 470
-hô	 468
-¿	 466
-_"	 460
-Ü®	 456
-ro	 453
-ình_	 445
-ì_	 434
-_x	 434
-ã_	 427
-í	 423
-_ti	 423
-in	 422
-ân	 421
-"_	 418
-i	 415
-Ön	 413
-ron	 412
-V	 411
-rong	 410
-§i	 410
-rong_	 409
-ác_	 405
-ª	 400
-n	 399
-hôn	 398
-åi	 395
-ay	 390
-_V	 387
-h»	 382
-hà	 380
-ày	 377
-Ãt	 376
-uy	 374
-ÇÜ	 374
-_ÇÜ	 373
-§i_	 372
-cá	 371
-_cá	 367
-nà	 366
-_	 366
-hú	 366
-_nà	 365
-ra	 363
-hông	 362
-ho_	 359
-ân_	 356
-án	 356
-°	 355
-åi_	 354
-ai	 352
-hu	 352
-cho	 352
-Ü®c	 351
-®c	 351
-Ón	 351
-_cho	 349
-tro	 347
-t	 347
-ào	 347
-_tro	 346
-_tron	 346
-ñ	 346
-tron	 346
-trong	 346
-M	 345
-khô	 340
-âu	 338
-_khô	 338
-cho_	 337
-_cho_	 336
-hông_	 336
-ay_	 333
-ch_	 332
-Çã	 331
-Ãt_	 331
-(	 331
-_(	 330
-Ò	 329
-_Çã	 329
-ÇÜ®	 328
-_ÇÜ®c	 328
-)	 328
-ÇÜ®c	 328
-_ÇÜ®	 328
-khôn	 324
-_ñ	 324
-_khôn	 322
-Çã_	 322
-_Çã_	 320
-ò	 318
-ån	 318
-không	 316
-ào_	 316
-Ü®c_	 316
-®c_	 316
-nhÜ	 315
-Ü_	 315
-»ng	 313
-»ng_	 313
-»n	 313
-_nhÜ	 313
-Th	 312
-hì	 311
-Û	 310
-h»n	 310
-h»ng_	 310
-h»ng	 310
-iê	 309
-gh	 309
-u	 307
-ta	 307
-anh	 307
-¡	 307
-ai_	 306
-àng	 306
-ày_	 304
-ÇÜ®c_	 298
-ÜÖ	 295
-S	 295
-:	 294
-t_	 294
-e_	 294
-:_	 290
-Î_	 289
-ua	 288
-æn	 288
-ài	 286
-u_	 285
-_nh»	 285
-nh»	 285
-nh»ng	 285
-nh»n	 285
-_nh»n	 285
-_Th	 285
-n_	 284
-n	 283
-Ø	 281
-_M	 281
-A	 281
-úc	 278
-L	 277
-ø	 277
-ÜÖn	 276
-_ha	 276
-n,	 275
-Öng	 275
-ÜÖng	 275
-an_	 272
-ài_	 271
-iu	 269
-sÓ	 269
-n,_	 268
-¿_	 268
-on_	 267
-_sÓ	 267
-các	 265
-àng_	 265
-_các	 264
-anh_	 264
-ngh	 264
-_ta	 263
-hi_	 262
-hàn	 261
-_	 261
-âu_	 261
-Àn	 260
-ù	 260
-_ngh	 257
-ia	 255
-¢	 252
-...	 252
-êu	 251
-Ùc	 251
-i,	 249
-iu_	 248
-nhi	 247
-B	 246
-i,_	 245
-Óng	 244
-ª_	 244
-co	 244
-_nhi	 244
-¥	 244
-Ü§	 244
-iên	 243
-D	 243
-Tr	 241
-_S	 240
-hÜ_	 239
-òn	 237
-hÃ	 236
-hÆ	 233
-K	 233
-Öng_	 232
-ôi	 232
-ÜÖng_	 232
-Àn_	 231
-_co	 231
-n_	 229
-hå	 229
-äi	 229
-yê	 229
-Ûn	 229
-¢n	 228
-Ûng	 228
-_L	 227
-Ûng_	 226
-inh	 226
-Çi	 225
-mà	 225
-_Çi	 225
-ng,	 224
-ang	 224
-P	 224
-n	 224
-g,	 224
-g,_	 223
-_v§	 223
Index: unk/gsdl/perllib/textcat/welsh.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/welsh.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-_	 78614
-a	 18113
-d	 17890
-y	 16837
-e	 14108
-n	 13902
-r	 13869
-i	 12928
-o	 9972
-l	 9188
-h	 7454
-g	 7165
-w	 7010
-t	 6296
-f	 6080
-u	 5400
-n_	 5159
-_y	 5051
-dd	 4946
-s	 4884
-r_	 4547
-m	 4364
-d_	 4223
-yn	 4082
-_a	 4020
-c	 3707
-th	 3301
-u_	 2900
-yd	 2900
-ae	 2649
-l_	 2588
-_g	 2547
-.	 2460
-'	 2458
-._	 2408
-wy	 2334
-yn_	 2331
-_d	 2307
-b	 2267
-ym	 2262
-ra	 2261
-an	 2235
-ar	 2228
-ol	 2218
-ia	 2212
-i_	 2199
-ed	 2191
-_yn	 2038
-_i	 2020
-y_	 1983
-_c	 1934
-_yn_	 1861
-ei	 1815
-it	 1796
-g_	 1787
-ith	 1779
-dd_	 1745
-h_	 1741
-ydd	 1731
-ai	 1709
-au	 1708
-'r_	 1655
-'r	 1655
-_y_	 1621
-di	 1615
-,	 1613
-,_	 1608
-da	 1585
-od	 1546
-_o	 1535
-ad	 1532
-th_	 1510
-ll	 1494
-au_	 1492
-_s	 1415
-er	 1359
-o_	 1350
-io	 1311
-a_	 1299
-ol_	 1294
-_e	 1273
-_h	 1249
-cy	 1246
-yr	 1243
-en	 1228
-p	 1217
-_f	 1212
-_cy	 1203
-mr	 1200
-gy	 1193
-ymr	 1185
-ha	 1172
-hy	 1164
-eg	 1159
-do	 1151
-edd	 1147
-G	 1134
-we	 1107
-C	 1089
-_ar	 1078
-_m	 1075
-yf	 1057
-de	 1048
-fe	 1047
-_G	 1045
-ch	 1043
-rae	 1023
-el	 1016
-no	 1010
-ni	 1010
-_b	 1009
-ne	 1001
-ef	 992
-ri	 983
-et	 978
-_C	 957
-_gy	 952
-_a_	 943
-eth	 943
-_.	 940
-_._	 939
-eit	 930
-eith	 927
-ys	 921
-wyd	 912
-ga	 901
-_i_	 893
-s_	 887
-mrae	 878
-mraeg	 878
-raeg	 878
-ymrae	 878
-aeg	 878
-ymra	 878
-mra	 878
-_p	 856
-aet	 850
-aeth	 850
-_n	 844
-un	 838
-on	 836
-ait	 833
-aith	 833
-nn	 830
-at	 827
-oe	 823
-li	 805
-_r	 801
-ddi	 795
-gw	 789
-ma	 783
-le	 777
-nt	 772
-ho	 769
-ff	 766
-yr_	 764
-na	 753
-la	 748
-rh	 747
-eg_	 734
-si	 733
-ng	 732
-dol	 732
-ro	 718
-al	 712
-_dd	 706
-wn	 705
-oed	 705
-Gy	 704
-dy	 701
-Cy	 696
-o'	 692
-ar_	 691
-ny	 690
-Gym	 678
-wr	 677
-id	 676
-_Gy	 672
-_o_	 668
-Gymr	 667
-if	 662
-ith_	 662
-_ar_	 660
-iad	 657
-_w	 657
-fo	 656
-eu	 655
-aeg_	 650
-raeg_	 650
-aith_	 648
-or	 648
-_Gym	 646
-fa	 642
-re	 638
-_Cy	 638
-_Gymr	 635
-_gw	 633
-fy	 633
-oedd	 633
-edd_	 629
-rd	 627
-od_	 622
-ac	 619
-ddo	 612
-an_	 607
-Gymra	 606
-er_	 605
-A	 604
-eth_	 601
-hw	 596
-ydd_	 591
-o'r	 586
-o'r_	 586
-es	 583
-ir	 579
-dw	 573
-go	 559
-yl	 548
-rw	 545
-aeth_	 545
-wydd	 543
-aw	 539
-_rh	 539
-dr	 537
-ly	 537
-fn	 534
-dau	 533
-_hy	 531
-t_	 531
-sg	 529
-'n	 529
-*	 528
-'n_	 523
-_*	 522
-nyd	 521
-nydd	 521
-M	 519
-st	 518
-Y	 516
-sy	 515
-yd_	 513
-lw	 512
-_ga	 508
-iai	 503
-il	 502
-_l	 499
-rt	 494
-ad_	 493
-_yr	 493
-_yr_	 492
-as	 492
-dol_	 492
-f_	 491
-dda	 491
-ig	 490
-og	 484
-wa	 479
-he	 478
-iaith	 477
-iait	 477
-oedd_	 475
-_ma	 473
-c_	 472
-Cym	 470
-te	 469
-_ym	 467
-am	 467
-_M	 465
-_ia	 462
-efn	 462
-i'	 460
-ie	 458
-_Cym	 458
-_ac	 457
-dau_	 456
-yw	 455
-ew	 453
-fr	 441
-fod	 441
-_A	 441
-du	 437
-_sy	 434
-e_	 432
-wi	 426
-Cymr	 426
-se	 425
-B	 424
-D	 424
-_Cymr	 423
-bl	 423
-lu	 420
-in	 417
-_t	 417
-tr	 414
-ac_	 413
-wed	 410
-os	 410
-_iai	 407
-_iait	 407
-el_	 405
-_ac_	 405
-rha	 404
-m_	 404
-is	 403
-on_	 401
-eu_	 393
-hi	 393
-rdd	 393
-id_	 389
-_Y	 388
-ry	 387
-odd	 387
-rwy	 387
-rf	 386
-io_	 380
-ynn	 380
-cyf	 380
-hr	 380
-_cyf	 379
-yddi	 379
-cyn	 372
-_de	 372
-rth	 371
-ru	 368
-S	 363
-wei	 363
-ysg	 362
-_B	 362
-u'	 361
-yddo	 360
-wn_	 360
-so	 359
-dio	 359
-_ei	 358
-N	 356
-dwy	 355
-_da	 353
-me	 353
-gan	 353
-gyf	 353
-w_	 352
-_o'	 351
-fer	 349
-nol	 347
-hyn	 346
-ddy	 346
-af	 346
-ta	 343
-ddol	 343
-_fe	 340
-nd	 340
-mae	 338
-_cyn	 338
-efnyd	 337
-fnydd	 337
-fny	 337
-efny	 337
-fnyd	 337
-iad_	 335
-_mae	 333
-ion	 333
-_ll	 330
-def	 330
-_gyf	 327
-nt_	 326
-i'r_	 326
--	 326
-i'r	 326
-weith	 325
-weit	 325
-defn	 325
-defny	 325
-bo	 324
-hyd	 323
-by	 322
-_si	 321
-ir_	 321
-hau	 318
-nod	 318
-edi	 315
-I	 314
-fyd	 313
-wyr	 313
-ada	 311
-ddio	 310
-rif	 309
-sia	 307
-sa	 306
-fel	 305
-tha	 305
-_S	 302
-_ne	 302
-_u	 301
-fod_	 300
-_o'r	 300
-yg	 300
-_o'r_	 300
-_i'	 299
-ge	 299
-dia	 299
Index: unk/gsdl/perllib/textcat/yiddish-utf.lm
===================================================================
--- /trunk/gsdl/perllib/textcat/yiddish-utf.lm	(revision 1381)
+++ 	(revision )
@@ -1,400 +1,0 @@
-×	 29767
-_	 13552
-_×	 6516
-Ö	 4273
-	 3670
-×	 3670
-×¢	 3261
-¢	 3261
-¢×	 2826
-×¢×	 2826
-×Ö	 2785
-Ö	 2785
-×	 2565
-	 2565
-š	 2082
-×š	 2082
-×	 2062
-××	 2062
-	 1857
-×	 1857
-·	 1828
-Ö·	 1828
-	 1793
-×	 1793
-_×	 1537
-_	 1532
-×_	 1532
-·×	 1527
-Ö·×	 1527
-×Ö·	 1517
-Ö·	 1517
-×š×	 1355
-š×	 1355
-	 1270
-×	 1270
-ž	 1268
-×Öž	 1268
-Öž	 1268
-Öž	 1268
-Ö·×	 1240
-×Ö·×	 1240
-× 	 1232
- 	 1232
-×Öž×	 1229
-Öž×	 1229
-ž×	 1229
-Öž×	 1229
-× ×	 1181
- ×	 1181
-×	 1116
-	 1116
-	 1031
-×	 1031
-××	 1012
-×	 1012
-××	 1007
-×	 1007
-××	 975
-×	 975
-××	 965
-×	 965
-×€Ö	 929
-€	 929
-×€	 929
-€Ö	 929
-¢×š	 873
-×¢×š	 873
-××	 870
-×	 870
-×	 868
-	 868
-¡	 832
-×¡	 832
-§	 797
-×§	 797
-_××	 784
-×	 766
-	 766
-_×Ö	 752
-×	 747
-××	 747
-	 742
-×	 742
-©	 725
-×©	 725
-×_	 699
-_	 699
-×°	 691
-°	 691
-×°×	 674
-°×	 674
-²	 667
-×²	 667
-×	 664
-××	 664
-¿	 661
-Ö¿	 661
-×§×	 654
-§×	 654
-¿×	 652
-Ö¿×	 652
-×©×	 651
-©×	 651
-×	 643
-××	 643
-×€Ö¿	 641
-€Ö¿	 641
-×€Ö¿×	 638
-€Ö¿×	 638
-_×Ö·	 638
-×š_	 592
-š_	 592
-_×	 560
-_××	 554
-,	 551
-,_	 534
-×	 517
-	 517
-_×€Ö	 502
-_×€	 502
-××	 472
-×	 472
-×¡×	 436
-¡×	 436
-×Š	 436
-Š	 436
-×Š×	 433
-Š×	 433
-_×°	 430
-_×°×	 429
-	 410
-×	 410
-¢×š_	 404
-_×€Ö¿	 404
-×¢×š_	 404
-_×	 400
-_××	 396
-××¢	 390
-×¢	 390
-_×	 390
-_××	 386
-×¢×	 384
-×¢×	 384
-××¢×	 384
-¢×	 384
-×¢×š×	 382
-¢×š×	 382
-.	 374
-××	 372
-×	 372
-ÖŒ	 366
-Œ	 366
-×	 363
-××	 363
-××	 362
-×××	 362
-_×	 359
-×±	 357
-±	 357
-_××	 356
-××	 349
-×	 349
-×_	 346
-_	 346
-×¢_	 343
-¢_	 343
-×_	 337
-××_	 337
-×¢	 334
-××¢	 334
-_××	 331
-×	 330
-	 330
-×¢×	 323
-Œ×	 323
-××¢×	 323
-ÖŒ×	 323
-²×	 322
-×²×	 322
-×¢×_	 321
-¢×_	 321
-±×	 320
-×±×	 320
-×	 317
-××	 317
-²Ö·	 311
-Ö·×š	 311
-×²Ö	 311
-·×š	 311
-Ö·×š	 311
-×²Ö·	 311
-²Ö	 311
-××¢	 310
-×¢	 310
-._	 307
--	 305
-·_	 297
-Ö·_	 297
-	 294
-×	 294
- ×¢	 290
-× ×¢	 290
-×¡_	 289
-¡_	 289
-×€ÖŒ	 288
-€ÖŒ	 288
-×²Ö·×	 287
-²Ö·×	 287
-×_	 283
-_	 283
-Ö·_	 274
-×Ö·_	 274
-Ö·×š×	 272
-·×š×	 272
-××¢×	 261
-×¢×	 261
-_××	 260
-_×	 260
-_×Š	 259
-×©	 257
-××©	 257
-_×Š×	 256
-××	 254
-×	 254
-×€ÖŒ×	 252
-€ÖŒ×	 252
-××¢	 248
-×¢	 248
-_×§	 247
-× ×¢×	 247
- ×¢×	 247
-××¢	 245
-×¢	 245
-_×§×	 245
-××	 244
-××	 244
-×	 244
-×××	 244
-¢×	 238
-×¢×	 238
-×	 235
-××	 235
-××Ö	 235
-×©×	 235
-©×	 235
-×Ö	 235
-××	 234
-×	 234
-_××	 231
-×¢×š	 231
-_×	 231
-Ö·× 	 229
-·× 	 229
-·× ×	 228
-Ö·× ×	 228
-_××	 227
-_××¢	 226
-	 219
-×	 219
-"	 218
-×¢×	 217
-××¢×	 217
-°×¢	 217
-×°×¢	 217
-·×	 216
-Ö·×	 216
-_××	 215
-_× 	 215
-×¢××	 212
-¢××	 212
-š×	 211
-×š×	 211
-_× ×	 211
-××¢×	 211
-×¢×	 211
-×°×	 210
-°×	 210
-_××¢	 210
-°×Ö	 209
-×°×¢×	 209
-×°×Ö	 209
-°×¢×	 209
-×©×	 208
-××©×	 208
-×§	 207
-××§	 207
-×š×Ö	 206
-š×Ö	 206
-_	 205
-×_	 205
-×	 196
-××	 196
-_×©	 195
-×××	 195
-××	 195
-Ö·×	 193
-_×©×	 191
-Ö¿×	 189
-¿×	 189
-€Ö¿×	 189
-Ö¿×Ö	 188
-¿×	 188
-Ö¿××	 188
-Ö¿×	 188
-¿××	 188
-¿×Ö	 188
-××	 187
-×Öž	 186
-_××	 185
-€Ö¿×	 184
-_×¢	 179
-_××	 178
-×	 176
-××	 176
-××Ö	 175
-×Ö	 175
-Öž×¡	 174
-Öž×¡	 174
-××	 174
-×	 174
-ž×¡	 174
-×_	 173
-_	 173
-×_	 173
-××_	 173
-×_	 171
-·××	 171
-_	 171
-Ö·××	 171
-_×¢×	 171
-Öž×	 169
-ž×	 169
-Öž×	 169
-××	 168
-×	 168
-Öž×š	 166
-××	 166
-Öž×š	 166
-ž×š	 166
-×××	 166
-× ×	 164
-×¢× 	 164
- ×	 164
-¢× 	 164
-š×	 163
-×š×	 163
-××_	 163
-×_	 163
-°×Öž	 162
-×¢× ×	 162
-¢× ×	 162
-¿×Ö·	 160
-¢×	 160
-×¢×	 160
-_×	 158
-š××	 157
-×š	 157
-×š××	 157
-××š	 157
--×	 156
-Öž×¡_	 155
-ž×¡_	 155
-×	 154
-_××	 154
-××	 154
-×§×¢	 153
-×× 	 153
-§×¢	 153
-× 	 153
-_×°×	 152
- ××	 152
-× ××	 152
-×	 151
-××	 151
-××±	 151
-×±	 151
-×Ö	 150
-·×	 150
-Ž	 150
-Ö	 150
-×ÖŽ	 150
-ÖŽ	 150
-ÖŽ	 150
-Ö·×	 150
-ÖŽ×	 149
-ÖŽ×	 149
-Ž×	 149
-×ÖŽ×	 149
-××	 148
-_××	 148
-×××	 148
-×±×	 146
-××±×	 146
-Ö·× 	 146
-_××±	 145
-¿××	 145
-××	 143
-×	 143
-××	 142
-×××	 142
