[Plone-cvs] r21910 - in plone.i18n/trunk: docs plone/i18n/normalizer plone/i18n/normalizer/tests

[Hanno S. <svn...@pl...>]

Author: hannosch
Date: Tue Jul 29 08:47:26 2008
New Revision: 21910

Modified:
   plone.i18n/trunk/docs/HISTORY.txt
   plone.i18n/trunk/plone/i18n/normalizer/base.py
   plone.i18n/trunk/plone/i18n/normalizer/tests/test_adapters.py
   plone.i18n/trunk/plone/i18n/normalizer/tests/test_normalizer.py
Log:
Changed the default normalization of characters used in Scandinavian languages to meet the most common rules. This is based on a discussion with translators from all Scandinavian countries.


Modified: plone.i18n/trunk/docs/HISTORY.txt
==============================================================================
--- plone.i18n/trunk/docs/HISTORY.txt	(original)
+++ plone.i18n/trunk/docs/HISTORY.txt	Tue Jul 29 08:47:26 2008
@@ -4,6 +4,11 @@
 
 plone.i18n - 1.0.6 Unreleased
 
+    - Changed the default normalization of characters used in Scandinavian
+      languages to meet the most common rules. This is based on a discussion
+      with translators from all Scandinavian countries.
+      [hannosch]
+
     - Added a subdomain language negotiator (e.g. de.plone.org).
       [stefan]
 

Modified: plone.i18n/trunk/plone/i18n/normalizer/base.py
==============================================================================
--- plone.i18n/trunk/plone/i18n/normalizer/base.py	(original)
+++ plone.i18n/trunk/plone/i18n/normalizer/base.py	Tue Jul 29 08:47:26 2008
@@ -4,15 +4,15 @@
 # Latin characters with accents, etc.
 mapping = {
 138 : 's', 140 : 'O', 142 : 'z', 154 : 's', 156 : 'o', 158 : 'z', 159 : 'Y',
-192 : 'A', 193 : 'A', 194 : 'A', 195 : 'a', 196 : 'A', 197 : 'A', 198 : 'E',
+192 : 'A', 193 : 'A', 194 : 'A', 195 : 'a', 196 : 'A', 197 : 'Aa', 198 : 'E',
 199 : 'C', 200 : 'E', 201 : 'E', 202 : 'E', 203 : 'E', 204 : 'I', 205 : 'I',
-206 : 'I', 207 : 'I', 208 : 'D', 209 : 'N', 210 : 'O', 211 : 'O', 212 : 'O',
+206 : 'I', 207 : 'I', 208 : 'Th', 209 : 'N', 210 : 'O', 211 : 'O', 212 : 'O',
 213 : 'O', 214 : 'O', 215 : 'x', 216 : 'O', 217 : 'U', 218 : 'U', 219 : 'U',
-220 : 'U', 221 : 'Y', 223 : 's', 224 : 'a', 225 : 'a', 226 : 'a', 227 : 'a',
-228 : 'a', 229 : 'a', 230 : 'e', 231 : 'c', 232 : 'e', 233 : 'e', 234 : 'e',
-235 : 'e', 236 : 'i', 237 : 'i', 238 : 'i', 239 : 'i', 240 : 'd', 241 : 'n',
-242 : 'o', 243 : 'o', 244 : 'o', 245 : 'o', 246 : 'o', 248 : 'o', 249 : 'u',
-250 : 'u', 251 : 'u', 252 : 'u', 253 : 'y', 255 : 'y' }
+220 : 'U', 222 : 'th', 221 : 'Y', 223 : 's', 224 : 'a', 225 : 'a', 226 : 'a',
+227 : 'a', 228 : 'ae', 229 : 'aa', 230 : 'ae', 231 : 'c', 232 : 'e', 233 : 'e',
+234 : 'e', 235 : 'e', 236 : 'i', 237 : 'i', 238 : 'i', 239 : 'i', 240 : 'th',
+241 : 'n', 242 : 'o', 243 : 'o', 244 : 'o', 245 : 'o', 246 : 'oe', 248 : 'oe',
+249 : 'u', 250 : 'u', 251 : 'u', 252 : 'u', 253 : 'y', 254 : 'Th', 255 : 'y' }
 
 # On OpenBSD string.whitespace has a non-standard implementation
 # See http://dev.plone.org/plone/ticket/4704 for details

Modified: plone.i18n/trunk/plone/i18n/normalizer/tests/test_adapters.py
==============================================================================
--- plone.i18n/trunk/plone/i18n/normalizer/tests/test_adapters.py	(original)
+++ plone.i18n/trunk/plone/i18n/normalizer/tests/test_adapters.py	Tue Jul 29 08:47:26 2008
@@ -50,7 +50,7 @@
       'simpleandsafe'
 
       >>> en_filename.normalize(unicode('text with umläut', 'utf-8'))
-      'text with umlaut'
+      'text with umlaeut'
     """
 
 
@@ -78,7 +78,7 @@
       'simpleandsafe'
 
       >>> en_url.normalize(unicode('text with umläut', 'utf-8'))
-      'text-with-umlaut'
+      'text-with-umlaeut'
     """
 
 

Modified: plone.i18n/trunk/plone/i18n/normalizer/tests/test_normalizer.py
==============================================================================
--- plone.i18n/trunk/plone/i18n/normalizer/tests/test_normalizer.py	(original)
+++ plone.i18n/trunk/plone/i18n/normalizer/tests/test_normalizer.py	Tue Jul 29 08:47:26 2008
@@ -43,7 +43,7 @@
       'here-s-yet-another'
 
       >>> util.normalize(unicode("umläut.doc", 'utf-8'))
-      'umlaut.doc'
+      'umlaeut.doc'
 
       >>> from plone.i18n.normalizer import MAX_LENGTH
       
@@ -140,7 +140,7 @@
       'pseudo-filename-pot.doc'
 
       >>> util.normalize(unicode("umläut.doc", 'utf-8'))
-      'umlaut.doc'
+      'umlaeut.doc'
 
       >>> len(util.normalize(u'aa' * 2000))
       1023
@@ -204,7 +204,7 @@
       'doe-joe'
 
       >>> util.normalize(unicode("umläut.doc", 'utf-8'))
-      'umlaut.doc'
+      'umlaeut.doc'
 
       >>> util.normalize('quote "this"!')
       'quote-this'