世界上的各地区都有本地的语言。地区差异直接导致了语言环境的差异。在开发一个国际化程序的过程中,处理语言问题就显得很重要了。
这是一个世界范围内都存在的问题,所以,Java提供了世界性的解决方法。本文描述的方法是用于处理中文的,但是,推而广之,对于处理世界上其它国家和地区的语言同样适用。
汉字是双字节的。所谓双字节是指一个双字要占用两个BYTE的位置(即16位),分别称为高位和低位。中国规定的汉字编码为GB2312,这是强制性的,目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号,高位从0xa1到0xfe,低位也是从0xa1到0xfe,其中,汉字的编码范围为0xb0a1到0xf7fe。
另外有一种编码,叫做GBK,但这是一份规范,不是强制的。GBK提供了20902个汉字,它兼容GB2312,编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。
在不久的将来,中国会颁布另一种标准:GB18030-2000(GBK2K)。它收录了藏、蒙等少数民族的字型,从根本上解决了字位不足的问题。注意:它不再是定长的。其二字节部份与GBK兼容,四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe,二字节和第四字节从0x30到0x39。
本文不打算介绍Unicode,有兴趣的可以浏览“http://www.unicode.org/”查看更多的信息。Unicode有一个特性:它包括了世界上所有的字符字形。所以,各个地区的语言都可以建立与Unicode的映射关系,而Java正是利用了这一点以达到异种语言之间的转换。
在JDK中,与中文相关的编码有:
表1 JDK中与中文相关的编码列表
编码名称 | 说明 |
ASCII | 7位,与ascii7相同 |
ISO8859-1 | 8-位,与 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同 |
GB2312-80 | 16位,与gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同 |
GBK | 与MS936相同,注意:区分大小写 |
UTF8 | 与UTF-8相同 |
GB18030 | 与cp1392、1392相同,目前支持的JDK很少 |
什么是UTF
UTF,是Unicode Text Format的缩写,意为Unicode文本格式。对于UTF,是这样定义的:
(1)如果Unicode的16位字符的头9位是0,则用一个字节表示,这个字节的首位是“0”,剩下的7位与原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(与源Unicode字符是相同的);
(2)如果Unicode的16位字符的头5位是0,则用2个字节表示,首字节是“110”开头,后面的5位与源字符中除去头5个零后的最高5位相同;第二个字节以“10”开头,后面的6位与源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),转化后为“c99d”(1100 1001 1001 1101);
(3)如果不符合上述两个规则,则用三个字节表示。第一个字节以“1110”开头,后四位为源字符的高四位;第二个字节以“10”开头,后六位为源字符中间的六位;第三个字节以“10”开头,后六位为源字符的低六位;如“\u9da7”(1001 1101 1010 0111),转化为“e9b6a7”(1110 1001 1011 0110 1010 0111);
可以这么描述JAVA程序中Unicode与UTF的关系,虽然不绝对:字符串在内存中运行时,表现为Unicode代码,而当要保存到文件或其它介质中去时,用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。
好了,基础性的论述差不多了,下面进入正题。
先把这个问题想成是一个黑匣子。先看黑匣子的一级表示:
input(charsetA)->process(Unicode)->output(charsetB)
简单,这就是一个IPO模型,即输入、处理和输出。同样的内容要经过“从charsetA到unicode再到charsetB”的转化。
再看二级表示:
SourceFile(jsp,java)->class->output
在这个图中,可以看出,输入的是jsp和java源文件,在处理过程中,以Class文件为载体,然后输出。再细化到三级表示:
jsp->temp file->class->browser,os console,db
app,servlet->class->browser,os console,db
这个图就更明白了。Jsp文件先生成中间的Java文件,再生成Class。而Servlet和普通App则直接编译生成Class。然后,从Class再输出到浏览器、控制台或数据库等。
JSP:从源文件到Class的过程
Jsp的源文件是以“.jsp”结尾的文本文件。在本节中,将阐述JSP文件的解释和编译过程,并跟踪其中的中文变化。
1、JSP/Servlet引擎提供的JSP转换工具(jspc)搜索JSP文件中用<%@ page contentType ="text/html; charset=<Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定<Jsp-charset>,则取JVM中的默认设置file.encoding,一般情况下,这个值是ISO8859-1;
2、jspc用相当于“javac –encoding <Jsp-charset>”的命令解释JSP文件中出现的所有字符,包括中文字符和ASCII字符,然后把这些字符转换成Unicode字符,再转化成UTF格式,存为JAVA文件。ASCII码字符转化为Unicode字符时只是简单地在前面加“00”,如“A”,转化为“\u0041”(不需要理由,Unicode的码表就是这么编的)。然后,经过到UTF的转换,又变回“41”了!这也就是可以使用普通文本编辑器查看由JSP生成的JAVA文件的原因;
3、引擎用相当于“javac –encoding UNICODE”的命令,把JAVA文件编译成CLASS文件;
先看一下这些过程中中文字符的转换情况。有如下源代码:
<%@ page contentType="text/html; charset=gb2312"%> <html><body> <% String a="中文"; out.println(a); %> </body></html> |
<%@ page contentType="text/html; charset=ISO-8859-1"%> <html><body> <% String a="中文"; out.println(a); %> </body></html> |
Jsp-CharSet | JSP文件中 | JAVA文件中 | CLASS文件中 |
GB2312 | D6 D0 CE C4(GB2312) | 从\u4E2D\u6587(Unicode)到E4 B8 AD E6 96 87 (UTF) | E4 B8 AD E6 96 87 (UTF) |
ISO-8859-1 | D6 D0 CE C4 (GB2312) |
从\u00D6\u00D0\u00CE\u00C4 (Unicode)到C3 96 C3 90 C3 8E C3 84 (UTF) | C3 96 C3 90 C3 8E C3 84 (UTF) |
无(默认=file.encoding) | 同ISO-8859-1 | 同ISO-8859-1 | 同ISO-8859-1 |
import javax.servlet.*; import javax.servlet.http.*; class testServlet extends HttpServlet { public void doGet(HttpServletRequest req,HttpServletResponse resp) throws ServletException,java.io.IOException { resp.setContentType("text/html; charset=GB2312"); java.io.PrintWriter out=resp.getWriter(); out.println("<html>"); out.println("#中文#"); out.println("</html>"); } } |
Compile-charset | Servlet源文件中 | Class文件中 | 等效的Unicode码 |
GB2312 | D6 D0 CE C4 (GB2312) |
E4 B8 AD E6 96 87 (UTF) | \u4E2D\u6587 (在Unicode中=“中文”) |
ISO-8859-1 | D6 D0 CE C4 (GB2312) |
C3 96 C3 90 C3 8E C3 84 (UTF) | \u00D6 \u00D0 \u00CE \u00C4 (在D6 D0 CE C4前面各加了一个00) |
无(默认) | D6 D0 CE C4 (GB2312) | 同ISO-8859-1 | 同ISO-8859-1 |
给出如下结论:
在Class输出字符串前,会将Unicode的字符串按照某一种内码重新生成字节流,然后把字节流输入,相当于进行了一步“String.getBytes(???)”操作。???代表某一种字符集。
如果是Servlet,那么,这种内码就是在HttpServletResponse.setContentType()方法中指定的内码,也就是上文定义的<Servlet-charset>。
如果是JSP,那么,这种内码就是在<%@ page contentType=""%>中指定的内码,也就是上文定义的<Jsp-charset>。
如果是Java程序,那么,这种内码就是file.encoding中指定的内码,默认为ISO8859-1。
当输出对象是浏览器时
以流行的浏览器IE为例。IE支持多种内码。假如IE接收到了一个字节流“D6 D0 CE C4”,你可以尝试用各种内码去查看。你会发现用“简体中文”时能得到正确的结果。因为“D6 D0 CE C4”本来就是简体中文中“中文”两个字的编码。
OK,完整地看一遍。
JSP:源文件为GB2312格式的文本文件,且JSP源文件中有“中文”这两个汉字
如果指定了<Jsp-charset>为GB2312,转化过程如下表。
表4 Jsp-charset = GB2312时的变化过程
序号 | 步骤说明 | 结果 |
1 | 编写JSP源文件,且存为GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件转化为临时JAVA文件,并把字符串按照GB2312映射到Unicode,并用UTF格式写入JAVA文件中 | E4 B8 AD E6 96 87 |
3 | 把临时JAVA文件编译成CLASS文件 | E4 B8 AD E6 96 87 |
4 | 运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码 | 4E 2D 65 87(在Unicode中4E2D=中 6587=文) |
5 | 根据Jsp-charset=GB2312把Unicode转化为字节流 | D6 D0 CE C4 |
6 | 把字节流输出到IE中,并设置IE的编码为GB2312(作者按:这个信息隐藏在HTTP头中) | D6 D0 CE C4 |
7 | IE用“简体中文”查看结果 | “中文”(正确显示) |
序号 | 步骤说明 | 结果 |
1 | 编写JSP源文件,且存为GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
3 | 把临时JAVA文件编译成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
4 | 运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码 | 00 D6 00 D0 00 CE 00 C4 (啥都不是!!!) |
5 | 根据Jsp-charset=ISO8859-1把Unicode转化为字节流 | D6 D0 CE C4 |
6 | 把字节流输出到IE中,并设置IE的编码为ISO8859-1(作者按:这个信息隐藏在HTTP头中) | D6 D0 CE C4 |
7 | IE用“西欧字符”查看结果 | 乱码,其实是四个ASCII字符,但由于大于128,所以显示出来的怪模怪样 |
8 | 改变IE的页面编码为“简体中文” | “中文”(正确显示) |
序号 | 步骤说明 | 结果 |
1 | 编写JSP源文件,且存为GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件转化为临时JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式写入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
3 | 把临时JAVA文件编译成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
4 | 运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码 | 00 D6 00 D0 00 CE 00 C4 |
5 | 根据Jsp-charset=ISO8859-1把Unicode转化为字节流 | D6 D0 CE C4 |
6 | 把字节流输出到IE中 | D6 D0 CE C4 |
7 | IE用发出请求时的页面的编码查看结果 | 视情况而定。如果是简体中文,则能正确显示,否则,需执行表5中的第8步 |
序号 | 步骤说明 | 结果 |
1 | 编写Servlet源文件,且存为GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | 用javac –encoding GB2312把JAVA源文件编译成CLASS文件 | E4 B8 AD E6 96 87 (UTF) |
3 | 运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码 | 4E 2D 65 87 (Unicode) |
4 | 根据Servlet-charset=GB2312把Unicode转化为字节流 | D6 D0 CE C4 (GB2312) |
5 | 把字节流输出到IE中并设置IE的编码属性为Servlet-charset=GB2312 | D6 D0 CE C4 (GB2312) |
6 | IE用“简体中文”查看结果 | “中文”(正确显示) |
序号 | 步骤说明 | 结果 |
1 | 编写Servlet源文件,且存为GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | 用javac –encoding ISO8859-1把JAVA源文件编译成CLASS文件 | C3 96 C3 90 C3 8E C3 84 (UTF) |
3 | 运行时,先从CLASS文件中用readUTF读出字符串,在内存中的是Unicode编码 | 00 D6 00 D0 00 CE 00 C4 |
4 | 根据Servlet-charset=ISO8859-1把Unicode转化为字节流 | D6 D0 CE C4 |
5 | 把字节流输出到IE中并设置IE的编码属性为Servlet-charset=ISO8859-1 | D6 D0 CE C4 (GB2312) |
6 | IE用“西欧字符”查看结果 | 乱码(原因同表5) |
7 | 改变IE的页面编码为“简体中文” | “中文”(正确显示) |
序号 | 步骤说明 | 结果 | 域 |
1 | 在IE中输入“中文” | D6 D0 CE C4 | IE |
2 | IE把字符串转变成UTF,并送入传输流中 | E4 B8 AD E6 96 87 | |
3 | Servlet接收到输入流,用readUTF读取 | 4E 2D 65 87(unicode) | Servlet |
4 | 编程者在Servlet中必须把字符串根据GB2312还原为字节流 | D6 D0 CE C4 | |
5 | 编程者根据数据库内码ISO8859-1生成新的字符串 | 00 D6 00 D0 00 CE 00 C4 | |
6 | 把新生成的字符串提交给JDBC | 00 D6 00 D0 00 CE 00 C4 | |
7 | JDBC检测到数据库内码为ISO8859-1 | 00 D6 00 D0 00 CE 00 C4 | JDBC |
8 | JDBC把接收到的字符串按照ISO8859-1生成字节流 | D6 D0 CE C4 | |
9 | JDBC把字节流写入数据库中 | D6 D0 CE C4 | |
10 | 完成数据存储工作 | D6 D0 CE C4 数据库 | |
以下是从数据库中取出数的过程 | |||
11 | JDBC从数据库中取出字节流 | D6 D0 CE C4 | JDBC |
12 | JDBC按照数据库的字符集ISO8859-1生成字符串,并提交给Servlet | 00 D6 00 D0 00 CE 00 C4 (Unicode) | |
13 | Servlet获得字符串 | 00 D6 00 D0 00 CE 00 C4 (Unicode) | Servlet |
14 | 编程者必须根据数据库的内码ISO8859-1还原成原始字节流 | D6 D0 CE C4 | |
15 | 编程者必须根据客户端字符集GB2312生成新的字符串 | 4E 2D 65 87 (Unicode) |
|
Servlet准备把字符串输出到客户端 | |||
16 | Servlet根据<Servlet-charset>生成字节流 | D6D0 CE C4 | Servlet |
17 | Servlet把字节流输出到IE中,如果已指定<Servlet-charset>,还会设置IE的编码为<Servlet-charset> | D6 D0 CE C4 | |
18 | IE根据指定的编码或默认编码查看结果 | “中文”(正确显示) | IE |