Java字符的编码解码与乱码问题

Java字符的编码解码与乱码问题

1. 前言

编码、解码、乱码、Unicode、UCS-2、UCS-4、UTF-8、UTF-16、Big Endian、Little Endian、GBK这些名词,如果你有一个不太清楚,那么建议看看本文。

2. 一幅图说尽Java编码问题

2.1 一幅图与四个概念


字符有三种形态:形状(显示在显示设备上)、数字(运行于JVM中,Java统一为unicode编码)和字节数组(不同的字符集有不同的映射方案)。
如此就可以明白四个重要的实体概念了(这四个概念来自于《Java NIO》一书):
字符集合(Character set) :是一组形状的集合,例如所有汉字的集合,发明于公元前,发明者是仓颉。它体现了字符的“形状”,它与计算机、编码等无关。
编码字符集(Coded character set) :是一组字符对应的编码(即数字),为字符集合中的每一个字符给予一个数字。例如最早的编码字符集ASCII,发明于1967年。再例如Java使用的unicode,发明于1994年(持续更新中)。由于编码字符集为每一个字符赋予一个数字,因此在java内部,字符可以认为就是一个16位的数字,因此以下方式都可以给字符赋值:

char c=‘中’
char c =0x4e2d
char c=20013

字符编码方案(Character-encoding schema) :将字符编码(数字)映射到一个字节数组的方案,因为在磁盘里,所有信息都是以字节的方式存储的。因此Java的16位字符必须转换为一个字节数组才能够存储。例如UTF-8字符编码方案,它可以将一个字符转换为1、2、3或者4个字节。
一般认为,编码字符集和字符编码方案合起来被称之为 字符集(Charset) ,这是一个术语,要和前面的字符集合(Character set)区分开。

2.2 转换的类型

2.2.1. 从数字到形状—字体库

从JVM中的字符编码,到屏幕上显示的形状。这个转换是在字体库的帮助下完成的。例如windows默认的一些汉字字体,在Java中运行时是一个个的数字编码,例如0x4e2d,通过查找字体库,得到一个形状“中”,然后显示在屏幕上。

2.2.2. 从数字到字节数组—编码

从JVM中的编码,到字节数组,这个转换被称之为编码。转换的目的是为了存储,或者发送信息。
同一个数字,例如0x4e2d,采用不同的字符集进行编码,能得到不同的字节数组。如图中所见。
至于具体的UTF-8、GBK、UTF-16等字符集的历史渊源,具体转换方式都有很多的资料可以查询。
编码的例子代码如下:
第一种方法,使用String的getBytes方法:

private static byte[] encoding1(String str, String charset) throws UnsupportedEncodingException {
    return str.getBytes(charset);
}

第二种方法,使用Charset的encode方法:

    private static byte[] encoding2(String str, String charset) {
        Charset cset = Charset.forName(charset);
        ByteBuffer byteBuffer = cset.encode(str);
        byte[] bytes = new byte[byteBuffer.remaining()];
        byteBuffer.get(bytes);
        return bytes;
}

注意:Charset、ByteBuffer以及后文中提到的CharBuffer类都是Java NIO包中的类,具体使用方法可参考《Java NIO》一书。

2.2.3. 从字节数组到数字—解码

从一个字节数组,到一个代表字符的数字,这个转换被称之为解码。解码一般是将从磁盘或者网络上得到的信息,转换为字符或字符串。
注意解码时一定要指定字符集,否则将会使用默认的字符集进行解码。如果使用了错误的字符集,则会出现乱码。
解码的例子代码如下:
第一种方法,使用String的构造函数:

private static String decoding1(byte[] bytes,String charset) throws UnsupportedEncodingException {
        String str = new String(bytes, charset);
        return str;
    }

第二种方法,使用Charset的decode方法:

       private static String decoding2(byte[] bytes, String charset) {
        Charset cset = Charset.forName(charset);
        ByteBuffer buffer = ByteBuffer.wrap(bytes);
        CharBuffer charBuffer = cset.decode(buffer);
        return charBuffer.toString();
    }

2.3 默认的字符集

乱码问题都是因为在编码或者解码时使用了错误的字符集导致的。如果不能明白什么是默认的字符集,则很有可能导致乱码。
Java的默认字符集,可以在两个地方设定,一是执行java程序时使用-Dfile.encoding参数指定,例如-Dfile.encoding=UTF-8就指定默认字符集是UTF-8。二是在程序执行时使用Properties进行指定,如下:

private static void setEncoding(String charset) {
    Properties properties = System.getProperties();
    properties.put("file.encoding",charset);
    System.out.println(properties.get("file.encoding"));
}

注意,这两种方法如果同时使用,则程序开始时使用参数指定的字符集,在Properties方法后使用Properties指定的字符集。
如果这两种方法都没有使用,则使用操作系统默认的字符集。例如中文版windows 7的默认字符集是GBK。
默认字符集的优先级如下:
1.程序执行时使用Properties指定的字符集;
2.java命令的-Dfile.encoding参数指定的字符集;
3.操作系统默认的字符集;
4.JDK中默认的字符集,我跟踪了JDK1.8的源代码,发现其默认字符集指定为ISO-8859-1。

2.3.1. JDK支持的字符集

Charset类提供了一个方法可以列出当前JDK所支持的所有字符集,代码如下:

private static void printAvailableCharsets() {
    Map<String ,Charset> map = Charset.availableCharsets();
    System.out.println("the available Charsets supported by jdk:"+map.size());
    for (Map.Entry<String, Charset> entry :
            map.entrySet()) {
        System.out.println(entry.getKey());