Kódy Unicode a UTF-8

• v současné době je používáno minimálně šest různých kódování češtiny na 8bitech:

• KOI-8
• Kameníci
• x-mac-ce – Apple
• CP852 – IBM na PC (DOS čeština)
• CP1250 – Microsoft (Windows čeština)
• ISO-8859-2 – mezinárodní standard (UNIX čeština) – podporovaná v sítích, e-mailech (MIME) a WWW (musí ji umět každý WWW klient)

• kromě problémů s češtinou jsou problémy s jinými jazyky (s akcenty) ve vícejazyčných dokumentech – typicky s francouzštinou

• je požadavek na jedinou globální abecedu

• východisko – Unicode consorcium (1991) www.unicode.org
• úkol prosadit 16bitové kódování využitelné pro většinu používaných jazyků
• výsledkem práce je standard Unicode, který je základem internacionalizace a lokalizace softwaru (součást standardu ISO/EIC 10646; 1993)

• Unicode vychází z ASCII (prvních 127 znaků má shodný kód, ale na 16bitech)

• cíl návrhu:

• univerzálnost – musí být dostatečná kapacita pro všechny známé znaky
• jednotnost – konstantní šířka znaků dovoluje efektivní třídění, hledání, zobrazování a editaci
• jednoznačnost – jakákoliv 16bitová hodnota reprezentuje v jakémkoliv kontextu vždy tentýž znak

• verze 2.0 standardu obsahuje 38885 znaků světových abeced (včetně 20902 znaků Han písma – průmyslový standard Číny, Koreje, Japonska a Taiwanu)

• problémy:

• větší (dvojnásobná) délka textů
• 256x větší znaková sada ve fontech (u Microsoftu mají Unicode fonty jen podmnožinu znaků, ale lze si pořídit i “plné” fonty)
  (Arial 140KB, Times New Roman 185 KB, Lucida Sans Unicode 298 KB)
• nekompatibilní s 8bitovým prostředím – nelze současně používat Unicode a libovolné 8bitové kódování (již vyřešeno v rámci jednotlivých aplikací – Java, Word)

• pro prosazení Unicode je třeba nalézt způsob, jak mohou stávající sw systémy založené na ASCII používat 16bitové znaky

• částečné řešení je kód UTF-8
• kód s proměnnou délkou značky (znak může zabírat 1 až 3 bajty)
• snaží se neukládat nevýznamové nuly Unicode

• způsob konverze Unicode na UTF-8

• všechny akcentované znaky češtiny jsou ve druhé skupině Unicode (zabírají dva bajty), takže český text kódovaný v UTF-8 potřebuje pro neakcentované znaky 1 bajt a pro akcentované 2 bajty

• příklad – jak vypadá binárně slovo “Béďa”

na disku, kdy jsou méně významové bajty na nižší adrese (Little Endian):

Co s neznámým textem?

• otevřít v binárním editoru (vc, …)

• je-li na začátku dvojice bajtů FF FE je to Unicode
• je-li každý druhý znak 00 nebo 01 je to Unicode (připsat binárním editorem na úplný začátek souboru dvojici bajtů FF FE )
• je-li text složený z neakcentovaných znaků normálně čitelný a místo předpokládaných akcentovaných znaků jsou dva nesmyslné znaky, pak se jedná o UTF-8
  (soubor otevřít v Internet Exploreru a uložit jako CP1250)

Jak je to ve Windows NT

• v Unicode lze uložit soubor v Notepadu a samozřejmě i přečíst

soubor b-1250.txt je v češtině CP1250

soubor b-unico.txt je v Unicode

• soubor v Unicode lze pomocí Internet Exploreru 4 přečíst

• z Internet Exploreru 4 lze soubor uložit v UTF-8

soubor b-uni-u8.txt je v UTF-8 (vznikl z Unicode)

• z Internet Exploreru 4 lze soubor uložit do většiny 8bitových češtin

• soubor v UTF-8 lze do Internet Exploreru načíst, ale je nutné nastavit font

• soubor v Unicode lze načíst do Wordu 97

• soubor v Unicode bez počáteční značky FF FE nelze načíst do Wordu 97

• soubor v UTF-8 nelze načíst do Wordu 97

• z Wordu 97 lze soubor uložit do Unicode

soubor b-1250-u.txt je v Unicode (vznikl z CP1250)

pro porovnání soubor b-unico.txt , který byl vytvořen Notepadem

• z Wordu 97 lze soubor uložit do UTF-8, ale jen přes HTML

kódování UTF-8 je při ukládání nutno explicitně zvolit

soubor b-1250.htm je v UTF-8 (vznikl z CP1250)

• Word 97 vnitřně ukládá v kódování Unicode bez ohledu na momentálně použitý font

soubor b-1250-a.doc je ve fontu Arial (vznikl z CP1250)
soubor b-1250-l.doc je ve fontu Lucida Sans Unicode

Jak Word 97 pracuje s fonty v Unicode

• celý Unicode font Lucida Sans Unicode je dělen do 28 částí, např.:

• další části jsou:
  1. Basic Latin
  2. Latin-1
  3. Latin Extended-A
  4. Latin Extended-B
  5. IPA Extension
  6. Spacing Modifiers Letters
  7. Combining Diacritical Marks
  8. Basic Greek
  9. Greek Symbols and Coptic
  10. Cyrillic
  11. Hebrew Extended
  12. Basic Hebrew
  13. Latin Extended Aditional
  14. General Punctuation
  15. Superscript and Subscript
  16. Curency Symbols
  17. Letterlike Symbols
  18. Number Forms
  19. Arrows
  20. Mathematical Operators
  21. Miscellaneous Technical
  22. Control Pictures
  23. Box Drawing
  24. Blocks Elements
  25. Geometric Shapes
  26. Miscellaneous Dingbats
  27. Private Use Area
  28. Alphabetic Presentation Forms

Poslední změna: 14. 6. 1999
Počet přístupů od 14. 6. 1999:
Pavel Herout