目录
- 一、字符集
- 二、ASCII码(字符编码)
- 三、ISO-8859-1(字符集)
- 四、GBxxx(字符集)
- 五、Unicode码(字符集)
- 六、UTF-8(字符编码)
- 总结
一、字符集
- 编码与解码
- 计算机中储存的信息都是用二进制数表示的
- 而我们在屏幕上看到的数字、英文、标点符号、汉字等字符是二进制数转换之后的结果
- 按照某种规则,将字符转为二进制数,称为编码
- 反之,将二进制数转为认识的字符,称为解码
- 字符编码(Character Encoding)
- 就是一套自然语言的字符与二进制数之间的对应规则
- 字符集
- 也叫编码表。是一个系统支持的所有字符的集合,包括各国家文字、标点符号、图形符号、数字等
二、ASCII码(字符编码)
- 上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为ASCII码
- ASCII码用于显示现代英语,主要包括控制字符(回车键、退格、换行键等)和可显示字符(英文大小写字符、阿拉伯数字和西文符号)
- 基本的ASCII字符集,使用7位(bits)表示一个字符(最前面的1位统一规定为0),共128个字符。比如:空格“SPACE”是32(二进制00100000),大写的字母A是65(二进制01000001)
- 缺点:不能表示所有字符
三、ISO-8859-1(字符集)
- 拉丁码表,别名Latin-1,用于显示欧洲使用的语言,包括荷兰语、德语、意大利语、葡萄牙语等
- ISO-8859-1使用单字节编码,兼容ASCII编码
四、GBxxx(字符集)
- GB就是国标的意思,是为了显示中文而设计的一套字符集
- GB2312:简体中文码表
- 一个小于127的字符的意义与原来相同,即向下兼容ASCII码
- 两个大于127的字符连在一起时,就表示一个汉字,这样大约可以组合了包含7000多个简体汉字
- 此外数学符号、罗马希腊的字母、日文的假名们都编进去了
- 这就是常说的"全角"字符,而原来在127号以下的那些符号就叫"半角"字符了
- GBK:最常用的中文码表
- GBK是一种字符编码,也是一种字符集
- 在GB2312标准基础上的扩展规范,使用了双字节编码方案,共收录了21003个汉字
- 完全兼容GB2312标准,同时支持繁体汉字以及日韩汉字等
- GB18030:最新的中文码表
- 收录汉字70244个,采用多字节编码,每个字可以由1个、2个或4个字节组成
- 支持中国国内少数民族的文字,同时支持繁体汉字以及日韩汉字等
五、Unicode码(字符集)
- Unicode编码为表达任意语言的任意字符而设计,也称为统一码、标准万国码
- 常用字符用2个字节表示,一共可以表示65536个字符,附加扩展字符编码采用4个字节来表示,这样最多可以定义1048576个字符
- 为每个字符设定唯一的二进制编码,但没有规定二进制编码如何存储
- 用十六进制4位表示一个编码,如下码表
- A的十六进制0041转为十进制是65,与ASCII码值一致
- 所以Unicode码值兼容ASCII码值
- Unicode 的缺点:这里有三个问题:
- 第一,英文字母只用一个字节表示就够了,如果用更多的字节存储是极大的浪费
- 第二,如何才能区别Unicode和ASCII?计算机怎么知道两个字节表示一个符号,而不是分别表示两个符号呢?
- 第三,如果和GBK等双字节编码方式一样,用最高位是1或0表示两个字节和一个字节,就少了很多值无法用于表示字符,不够表示所有字符
- Unicode在很长一段时间内无法推广,直到互联网的出现
- 为解决Unicode如何在网络上传输的问题,于是面向传输的众多 UTF(UCS Transfer Format)标准出现
- 具体来说,有三种编码方案,UTF-8、UTF-16和UTF-32
六、UTF-8(字符编码)
- Unicode是字符集,UTF-8、UTF-16、UTF-32是三种将数字转换到程序数据的编码方案
- 互联网工程工作小组(IETF)要求所有互联网协议都必须支持UTF-8编码
- UTF-8 是一种变长的编码方式
- 可以使用 1-4 个字节表示一个符号它使用一至四个字节为每个字符编码,编码规则:
- 128个US-ASCII字符,只需一个字节编码(兼容ASCII码值)
- 拉丁文等字符,需要二个字节编码
- 大部分常用字(含中文),使用三个字节编码
- 其他极少使用的Unicode辅助字符,使用四字节编码
UTF-8编码规则
- 对于单个字节的字符,第一位设为 0,后面的 7 位对应这个字符的 Unicode 码点
- 对于需要使用 N 个字节来表示的字符(N > 1)
- 第一个字节的前 N 位都设为 1,第 N + 1 位设为0
- 剩余的 N - 1 个字节的前两位都设位 10
- 剩下的二进制位则使用这个字符的 Unicode 码点来填充
Unicode编码(十六进制) UTF-8 字节流(二进制) 000000-00007F 0xxxxxxx 000080-0007FF 110xxxxx 10xxxxxx 000800-00FFFF 1110xxxx 10xxxxxx 10xxxxxx 010000-10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 例如:
- “汉”字的Unicode编码是0x6C49
- 0x6C49在0x0800-0xFFFF之间,使用3字节模板:1110xxxx 10xxxxxx 10xxxxxx
- 将0x6C49写成16位二进制数字(模板x的数量,不足16位在前面补0):0110 1100 0100 1001
- 将二进制数字填充进模板得到:11100110 10110001 10001001
- 转为16进制即E6 B1 89。这个就是被存到计算机中的字节序列
- 16进制转为byte数组[-26,-79,-119](数值是补码形式存在);byte[] bytes = "汉".getBytes()的由来
UTF-8解码规则
- UTF-8 解码规则也很简单。如果一个字节的第一位是0,则这个字节单独就表示一个字符
- 如果第一位是1,则连续有多少个1,就表示当前字符占用多少个字节
总结
- 不同字符编码在内存中的字符对应磁盘中的byte数组数值
@Test public void test() throws UnsupportedEncodingException { byte[] bytes1 = "A".getBytes(); System.out.println(Arrays.toString(bytes1)); // [65] byte[] bytes2 = "中".getBytes("GBK"); System.out.println(Arrays.toString(bytes2)); // [-42, -48] byte[] bytes3 = "中".getBytes("UTF-8"); System.out.println(Arrays.toString(bytes3)); // [-28, -72, -83] }
注意: 在中文操作系统上,ANSI编码即为GBK;在英文操作系统上,ANSI编码即为ISO-8859-1
- 不同字符编码在内存中的字符对应磁盘中的byte数组数值
- Unicode 的缺点:这里有三个问题:
- 也叫编码表。是一个系统支持的所有字符的集合,包括各国家文字、标点符号、图形符号、数字等
- 编码与解码