Menu ▾ ▴

#143 flag diacritic harmonisation generates spurious flags?

3.4
open
Sam Hardwick
None
1
2012-11-08
2012-11-08
Flammie Pirinen
No

In divvun's erzya:

tapirine@hfst ~/src/divvun-trunk/langs/izh (540) [10:56:37]
$ echo talo | hfst-strings2fst | hfst-compose src/analyser-gt-desc.tmp.hfst - -F -o myv-desc-talo.hfst
tapirine@hfst ~/src/divvun-trunk/langs/izh (541) [10:59:26]
$ hfst-fst2strings myv-desc-talo.hfst -X print-flags | sort | uniq -c | sort -nr
262144 talo+N+Sg+Nom@U.DECL-NX.SG@@U.DECL-CX.NOM@:talo@U.DECL-NX.SG@@U.DECL-CX.NOM@
1 talo+N:talo
$ hfst-fst2txt myv-desc-talo.hfst
0 1 t t 0,000000
1 2 a a 0,000000
2 3 l l 0,000000
3 4 o o 0,000000
4 5 +N @0@ 0,000000
5 6 +Sg @U.DECL-NX.SG@ 0,000000
5 6 +Sg @U.DECL-NX.SG@ 0,000000
5 6 +Sg @U.DECL-NX.SG@ 0,000000
5 6 +Sg @U.DECL-NX.SG@ 0,000000
5 6 +Sg @U.DECL-NX.SG@ 0,000000
5 6 +Sg @U.DECL-NX.SG@ 0,000000
5 6 +Sg @U.DECL-NX.SG@ 0,000000
5 6 +Sg @U.DECL-NX.SG@ 0,000000
5 0,000000
6 7 +Nom @U.DECL-CX.NOM@ 0,000000
6 7 +Nom @U.DECL-CX.NOM@ 0,000000
6 7 +Nom @U.DECL-CX.NOM@ 0,000000
6 7 +Nom @U.DECL-CX.NOM@ 0,000000
6 7 +Nom @U.DECL-CX.NOM@ 0,000000
6 7 +Nom @U.DECL-CX.NOM@ 0,000000
6 7 +Nom @U.DECL-CX.NOM@ 0,000000
6 7 +Nom @U.DECL-CX.NOM@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000

7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000

7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
7 8 @U.DECL-NX.SG@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000

8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
8 9 @U.DECL-CX.NOM@ @0@ 0,000000
9 0,000000

this is from debugging the slowness in current analysers and spellers that contain flags. downstream: http://giellatekno.uit.no/bugzilla/show_bug.cgi?id=1508

Discussion

MongoDB Logo MongoDB