尚学堂张志宇乱码分析01基础.docx
- 文档编号:10291492
- 上传时间:2023-02-09
- 格式:DOCX
- 页数:25
- 大小:34.65KB
尚学堂张志宇乱码分析01基础.docx
《尚学堂张志宇乱码分析01基础.docx》由会员分享,可在线阅读,更多相关《尚学堂张志宇乱码分析01基础.docx(25页珍藏版)》请在冰豆网上搜索。
尚学堂张志宇乱码分析01基础
1.什么是ASCII码
ASCII(AmericanStandardCodeforInformationInterchange,美国信息互换标准代码)
ASCII码一共规定了128个字符的编码
ASCII表上的数字0–31分配给了控制字符,用于控制像打印机等一些外围设备。
它已被国际标准化组织(ISO)定为国际标准,称为ISO646标准。
参考:
从这里看ASCII的内容
或者看这张图来了解ASCII的内容
控制字符都什么含义,可以从这个网址了解
http:
//zh.wikipedia.org/w/index.php?
title=ASCII&variant=zh-cn
2.什么是ISO/IECiso8859
ISO8859,全称ISO/IEC8859,是国际标准化组织(ISO)及国际电工委员会(IEC)联合制定的一系列8位字符集的标准,现时定义了15个字符集。
●ISO/IEC8859-1(Latin-1)-西欧语言
●ISO/IEC8859-2(Latin-2)-中欧语言
●ISO/IEC8859-3(Latin-3)-南欧语言。
世界语也可用此字符集显示。
●ISO/IEC8859-4(Latin-4)-北欧语言
●ISO/IEC8859-5(Cyrillic)-斯拉夫语言
●ISO/IEC8859-6(Arabic)-阿拉伯语
●ISO/IEC8859-7(Greek)-希腊语
●ISO/IEC8859-8(Hebrew)-希伯来语(视觉顺序)
●ISO8859-8-I-希伯来语(逻辑顺序)
●ISO/IEC8859-9(Latin-5或Turkish)-它把Latin-1的冰岛语字母换走,加入土耳其语字母。
●ISO/IEC8859-10(Latin-6或Nordic)-北日耳曼语支,用来代替Latin-4。
●ISO/IEC8859-11(Thai)-泰语,从泰国的TIS620标准字集演化而来。
●ISO/IEC8859-13(Latin-7或BalticRim)-波罗的语族
●ISO/IEC8859-14(Latin-8或Celtic)-凯尔特语族
●ISO/IEC8859-15(Latin-9)-西欧语言,加入Latin-1欠缺的芬兰语字母和大写法语重音字母,以及欧元(€)符号。
●ISO/IEC8859-16(Latin-10)-东南欧语言。
主要供罗马尼亚语使用,并加入欧元符号。
参考:
这里有比较详细的说明
http:
//zh.wikipedia.org/w/index.php?
title=ISO/IEC_8859&variant=zh-cn
3.ISO/IEC8859十五个字符集的比较
参考
http:
//zh.wikipedia.org/w/index.php?
title=ISO/IEC_8859&variant=zh-cn
或者看这个也行
http:
//www.terena.org/activities/multiling/ml-docs/iso-8859.html
4.什么是iso-8859-1
在ISO/IEC8859-n之中,国际标准化组织只替每个字符集定义了最多96个字符(0xA0-0xFF)。
ISO-8859-n(在ISO与8859之间加上一连字号)则是由IANA根据ISO/IEC8859-n所定义的编码表。
它除了ISO/IEC8859-n的字符外,还包括ASCII(0x20-0x7E)字符及65个控制字符(0x00-0x1F及0x7E-0x9F)。
参考:
http:
//zh.wikipedia.org/wiki/ISO/IEC_8859-1
5.什么是unicode
Unicode的编码方式与ISO10646的通用字符集(UniversalCharacterSet,UCS)概念相对应,目前实际应用的Unicode版本对应于UCS-2,使用16位的编码空间。
也就是每个字符占用2个字节。
参考:
中文的说明
http:
//zh.wikipedia.org/w/index.php?
title=Unicode&variant=zh-cn
官方网址
http:
//www.unicode.org/
如果想下载编码具体内容
http:
//www.unicode.org/charts/
查看各种字符集的对应关系
http:
//www.unicode.org/Public/MAPPINGS/
完整Unicode编码表
http:
//zh.wikibooks.org/wiki/Unicode
6.增补字符
增补字符是Unicode标准中代码点超出U+FFFF的字符
增补字符是代码点在U+10000至U+10FFFF范围之间的字符,也就是那些使用原始的Unicode的16位设计无法表示的字符
在UTF-16编码中,增补字符表示成两个字节。
第一个字节属于高代理范围(\uD800-\uDBFF),第二个字节属于低代理范围(\uDC00-\uDFFF).
packageencodetest;
publicclassTestChar{
publicstaticvoidmain(String[]args){
System.out.println(Character.charCount(0x10000));
System.out.println(Character.isHighSurrogate((char)0xd87e));
System.out.println(Character.isLowSurrogate((char)0xdc1a));
Strings=String.valueOf(Character.toChars(0x2F81A));
char[]chars=s.toCharArray();
for(charc:
chars){
System.out.format("%x",(short)c);
}
//d87edc1a
//这个字符变成了两个char型变量,其中0xd87e就是高代理部分的值,0xdc1a就是低代理的值。
}
}
参考
Java平台中的增补字符
7.BigEndian和LittleEndian
一个字符可能占用多个字节,那么这多个字节在计算机中如何存储呢?
比如字符0xabcd,它的存储格式到底是ABCD,还是CDAB呢?
实际上两者都有可能,并分别有不同的名字。
如果存储为ABCD,则称为BigEndian;如果存储为CDAB,则称为LittleEndian。
8.ISO/IEC8859-1:
1998与Unicode的关系
http:
//www.unicode.org/Public/MAPPINGS/ISO8859/8859-1.TXT
9.ASCII与Unicode的关系
http:
//www.unicode.org/Public/MAPPINGS/VENDORS/MISC/US-ASCII-QUOTES.TXT
10.UCS-2和UCS-4
●Unicode是为整合全世界的所有语言文字而诞生的。
任何文字在Unicode中都对应一个值,这个值称为代码点(codepoint)。
代码点的值通常写成U+ABCD的格式。
而文字和代码点之间的对应关系就是UCS-2(UniversalCharacterSetcodedin2octets)。
顾名思义,UCS-2是用两个字节来表示代码点,其取值范围为U+0000~U+FFFF。
●为了能表示更多的文字,人们又提出了UCS-4,即用四个字节表示代码点。
它的范围为U+00000000~U+7FFFFFFF,其中U+00000000~U+0000FFFF和UCS-2是一样的。
●要注意,UCS-2和UCS-4只规定了代码点和文字之间的对应关系,并没有规定代码点在计算机中如何存储。
规定存储方式的称为UTF(UnicodeTransformationFormat),其中应用较多的就是UTF-16和UTF-8了。
11.UTF-16
●UTF-16由RFC2781规定,它使用两个字节来表示一个代码点。
●不难猜到,UTF-16是完全对应于UCS-2的,即把UCS-2规定的代码点通过BigEndian或LittleEndian方式直接保存下来。
UTF-16包括三种:
UTF-16,UTF-16BE(BigEndian),UTF-16LE(LittleEndian)。
●UTF-16BE和UTF-16LE不难理解,而UTF-16就需要通过在文件开头以名为BOM(ByteOrderMark)的字符来表明文件是BigEndian还是LittleEndian。
BOM为U+FEFF这个字符。
●其实BOM是个小聪明的想法。
由于UCS-2没有定义U+FFFE,因此只要出现FFFE或者FEFF这样的字节序列,就可以认为它是U+FEFF,并且可以判断出是BigEndian还是LittleEndian。
●举个例子。
“ABC”这三个字符用各种方式编码后的结果如下:
UTF-16BE
004100420043
UTF-16LE
410042004300
UTF-16(BigEndian)
FEFF004100420043
UTF-16(LittleEndian)
FFFE410042004300
UTF-16(不带BOM)
004100420043
●Windows平台下默认的Unicode编码为LittleEndian的UTF-16(即上述的FFFE410042004300)。
你可以打开记事本,写上ABC,然后保存,再用二进制编辑器看看它的编码结果。
●另外,UTF-16还能表示一部分的UCS-4代码点——U+10000~U+10FFFF。
表示算法比较复杂,简单说明如下:
●从代码点U中减去0x10000,得到U'。
这样U+10000~U+10FFFF就变成了0x00000~0xFFFFF。
●用20位二进制数表示U'。
U'=yyyyyyyyyyxxxxxxxxxx
●将前10位和后10位用W1和W2表示,W1=110110yyyyyyyyyy,W2=110111xxxxxxxxxx,则W1=D800~DBFF,W2=DC00~DFFF。
●例如,U+12345表示为D808DF45(UTF-16BE),或者08D845DF(UTF-16LE)。
●但是由于这种算法的存在,造成UCS-2中的U+D800~U+DFFF变成了无定义的字符。
参考:
http:
//www.ietf.org/rfc/rfc2781.txt
12.UTF-32
UTF-32用四个字节表示代码点,这样就可以完全表示UCS-4的所有代码点,而无需像UTF-16那样使用复杂的算法。
与UTF-16类似,UTF-32也包括UTF-32、UTF-32BE、UTF-32LE三种编码,UTF-32也同样需要BOM字符。
仅用'ABC'举例:
UTF-32BE
000000410000004200000043
UTF-32LE
410000004200000043000000
UTF-32(BigEndian)
0000FEFF000000410000004200000043
UTF-32(LittleEndian)
FFFE0000410000004200000043000000
UTF-32(不带BOM)
000000410000004200000043
13.UTF-8
UTF-16和UTF-32的一个缺点就是它们固定使用两个或四个字节,这样在表示纯ASCII文件时会有很多00字节,造成浪费。
而RFC3629定义的UTF-8则解决了这个问题。
UTF-8用1~4个字节来表示代码点。
表示方式如下:
UCS-2(UCS-4)
位序列
第一字节
第二字节
第三字节
第四字节
U+0000..U+007F
00000000-0xxxxxxx
0xxxxxxx
U+0080..U+07FF
00000xxx-xxyyyyyy
110xxxxx
10yyyyyy
U+0800..U+FFFF
xxxxyyyy-yyzzzzzz
1110xxxx
10yyyyyy
10zzzzzz
U+10000..U+1FFFFF
00000000-000wwwxx-
xxxxyyyy-yyzzzzzzz
11110www
10xxxxxx
10yyyyyy
10zzzzzz
可见,ASCII字符(U+0000~U+007F)部分完全使用一个字节,避免了存储空间的浪费。
而且UTF-8不再需要BOM字节。
另外,从上表中可以看出,单字节编码的第一字节为[00-7F],双字节编码的第一字节为[C2-DF],三字节编码的第一字节为[E0-EF]。
这样只要看到第一个字节的范围就可以知道编码的字节数。
这样也可以大大简化算法。
14.java和Unicode的关系
下面这段话来自JDK文档关于Unicode的说明。
ProgramsarewrittenusingtheUnicodecharacterset.Informationaboutthischaractersetanditsassociatedcharacterencodingsmaybefoundat:
http:
//www.unicode.org
java程序是基于Unicode字符集来编写的。
关于这个字符集以及它的相关的编码可以在这个网站找到:
http:
//www.unicode.org
TheJavaplatformtrackstheUnicodespecificationasitevolves.ThepreciseversionofUnicodeusedbyagivenreleaseisspecifiedinthedocumentationoftheclassCharacter.
Java平台跟着Unicode的规范而变化。
Java的每一个版本用到的准确的Unicode的版本号,定义在Character类的文档中。
VersionsoftheJavaprogramminglanguagepriorto1.1usedUnicodeversion1.1.5.UpgradestonewerversionsoftheUnicodeStandardoccurredinJDK1.1(toUnicode2.0),JDK1.1.7(toUnicode2.1),J2SE1.4(toUnicode3.0),andJ2SE5.0(toUnicode4.0).
Java1.1用的是Unicode1.1.5。
JDK1.1用的是Unicode2.0,JDK1.1.7用的是Unicode2.1,J2SE1.4用的是Unicode3.0,andJ2SE5.0用的是Unicode4.0。
(J2SE6.0用的也是Unicode4.0)
TheUnicodestandardwasoriginallydesignedasafixed-width16-bitcharacterencoding.Ithassincebeenchangedtoallowforcharacterswhoserepresentationrequiresmorethan16bits.TherangeoflegalcodepointsisnowU+0000toU+10FFFF,usingthehexadecimalU+nnotation.CharacterswhosecodepointsaregreaterthanU+FFFFarecalledsupplementarycharacters.Torepresentthecompleterangeofcharactersusingonly16-bitunits,theUnicodestandarddefinesanencodingcalledUTF-16.Inthisencoding,supplementarycharactersarerepresentedaspairsof16-bitcodeunits,thefirstfromthehigh-surrogatesrange,(U+D800toU+DBFF),thesecondfromthelow-surrogatesrange(U+DC00toU+DFFF).ForcharactersintherangeU+0000toU+FFFF,thevaluesofcodepointsandUTF-16codeunitsarethesame.
Unicode标准最初的设计是16位固定宽度的字符编码.后来变为允许用多于16位来表示字符。
现在的合法的代码点从U+0000toU+10FFFF,16进制的表示方式。
代码点大于U+FFFF的字符叫做补充字符.为了只用16位来表示全部范围的字符,Unicode标准定义了一套编码,叫做UTF-16.在这个编码中,补充字符被表示为2个16-bit编码,第一部分编码的范围是(U+D800toU+DBFF),第二部分编码的范围是(U+DC00toU+DFFF).对于在U+0000toU+FFFF范围的字符来说,代码点的值和UTF-16编码是一致的。
Java编程语言用16位的编码代表文本。
使用UTF-16编码.少数的APIs,主要在Character类中,用32-bit的整数来代表代码点的单个实例。
Java平台提供方法在两种表示方法之间进行转换。
ThisbookusesthetermscodepointandUTF-16codeunitwheretherepresentationisrelevant,andthegenerictermcharacterwheretherepresentationisirrelevanttothediscussion.
J2SE技术规范现在使用术语代码点和UTF-16代码单元(表示法是相关的)以及通用术语字符(表示法与该讨论没有关系)。
(API通常使用名称codePoint描述表示代码点的类型int的变量,而UTF-16代码单元的类型当然为char。
)
Exceptforcomments(§3.7),identifiers,andthecontentsofcharacterandstringliterals(§3.10.4,§3.10.5),allinputelements(§3.5)inaprogramareformedonlyfromASCIIcharacters(orUnicodeescapes(§3.3)whichresultinASCIIcharacters).ASCII(ANSIX3.4)istheAmericanStandardCodeforInformationInterchange.Thefirst128charactersoftheUnicodecharacterencodingaretheASCIIcharacters.
除了注释,标识符,字符常量,字符串常量,程序里其他的所有的输入元素只能是ASCII字符(或者通过转义得到的ASCII字符)。
ASCII(ANSIX3.4)是美国信息互换标准代码.Unicode字符编码中的前128个字符就是ASCII字符。
下面这段话来自API的关于java.lang.Character类的描述。
ThesetofcharactersfromU+0000toU+FFFFissometimesreferredtoastheBasicMultilingualPlane(BMP).CharacterswhosecodepointsaregreaterthanU+FFFFarecalledsupplementarycharacters.TheJava2platformusestheUTF-16representationinchararraysandintheStringandStringBufferclasses.Inthisrepresentation,supplementarycharactersarerepresentedasapairofcharvalues,thefirstfromthehigh-surrogatesrange,(\uD800-\uDBFF),thesecondfromthelow-surrogatesrange(\uDC00-\uDFFF).
范围是U+0000到U+FFFF的字符,指的是BasicMultilingualPlane(BMP).
代码点比U+FFFF还大的字符叫增补字符.Java2平台在chararrays和String和StringBuffer类中使用UTF-16编码。
在这种编码中,增补字符表示成两个char的值。
第一个char的属于高代理范围(\uD800-\uDBFF),第二个char属于低代理范围(\uDC00-\uDFFF).
参考:
JDK文档关于Unicode的说明:
15.char的含义
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 学堂 张志宇 乱码 分析 01 基础