关于URL编码

浏览数：33 / 时间：2015年06月09日

转载自：http://www.ruanyifeng.com/blog/2010/02/url_encoding.html与http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

一、问题的由来

URL就是网址，仅仅要上网，就一定会用到。

一般来说，URL仅仅能使用英文字母、阿拉伯数字和某些标点符号，不能使用其它文字和符号。比方，世界上有英文字母的网址 “http://www.abc.com”，可是没有希腊字母的网址“http://www.aβγ.com”（读作阿尔法-贝塔-伽玛.com）。这是由于网络标准RFC 1738 做了硬性规定：

"...Only alphanumerics [0-9a-zA-Z], the special characters "$-_.+!*‘()," [not including the quotes - ed], and reserved characters used for their reserved purposes may be used unencoded within a URL."

“仅仅有字母和数字[0-9a-zA-Z]、一些特殊符号“$-_.+!*‘(),”[不包含双引號]、以及某些保留字，才干够不经过编码直接用于 URL。”

这意味着，假设URL中有汉字，就必须编码后使用。可是麻烦的是，RFC 1738没有规定详细的编码方法，而是交给应用程序（浏览器）自己决定。这导致“URL编码”成为了一个混乱的领域。

以下就让我们看看，“URL编码”究竟有多混乱。我会依次分析四种不同的情况，在每一种情况中，浏览器的URL编码方法都不一样。把它们的差异解释清楚之后，我再说怎样用Javascript找到一个统一的编码方法。

二、情况1：网址路径中包括汉字

打开IE（我用的是8.0版），输入网址“http://zh.wikipedia.org/wiki/春节 ”。注意，“春节”这两个字此时是网址路径的一部分。

查看HTTP请求的头信息，会发现IE实际查询的网址是“http://zh.wikipedia.org/wiki/%E6%98%A5%E8%8A%82 ”。也就是说，IE自己主动将“春节”编码成了“%E6%98%A5%E8%8A%82”。

我们知道，“春”和“节”的utf-8编码各自是“E6 98 A5”和“E8 8A 82”，因此，“%E6%98%A5%E8%8A%82”就是依照顺序，在每一个字节前加上%而得到的。（详细的转码方法，请參考我写的《字符编码笔记》。）

在Firefox中測试，也得到了相同的结果。所以，结论1就是，网址路径的编码，用的是utf-8编码。

三、情况2：查询字符串包括汉字

在IE中输入网址“http://www.baidu.com/s?wd=春节 ”。注意，“春节”这两个字此时属于查询字符串，不属于网址路径，不要与情况1混淆。

查看HTTP请求的头信息，会发现IE将“春节”转化成了一个乱码。

切换到十六进制方式，才干清楚地看到，“春节”被转成了“B4 BA BD DA”。

我们知道，“春”和“节”的GB2312编码（我的操作系统“Windows XP”中文版的默认编码）各自是“B4 BA”和“BD DA”。因此，IE实际上就是将查询字符串，以GB2312编码的格式发送出去。

Firefox的处理方法，略有不同。它发送的HTTP Head是“wd=%B4%BA%BD%DA”。也就是说，相同採用GB2312编码，可是在每一个字节前加上了%。

所以，结论2就是，查询字符串的编码，用的是操作系统的默认编码。

四、情况3：Get方法生成的URL包括汉字

前面说的是直接输入网址的情况，可是更常见的情况是，在已打开的网页上，直接用Get或Post方法发出HTTP请求。

依据台湾中兴大学吕瑞麟老师的试验，这时的编码方法由网页的编码决定，也就是由HTML源代码中字符集的设定决定。

假设上面这一行最后的charset是UTF-8，则URL就以UTF-8编码；假设是GB2312，URL就以GB2312编码。

举例来说，百度是GB2312编码，Google是UTF-8编码。因此，从它们的搜索框中搜索同一个词“春节”，生成的查询字符串是不一样的。

百度生成的是%B4%BA%BD%DA，这是GB2312编码。

Google生成的是%E6%98%A5%E8%8A%82，这是UTF-8编码。

所以，结论3就是，GET和POST方法的编码，用的是网页的编码。

五、情况4：Ajax调用的URL包括汉字

前面三种情况都是由浏览器发出HTTP请求，最后一种情况则是由Javascript生成HTTP请求，也就是Ajax调用。还是依据吕瑞麟老师的文章，在这样的情况下，IE和Firefox的处理方式全然不一样。

举例来说，有这样两行代码：

　　url = url + "?q=" +document.myform.elements[0].value; // 假定用户在表单中提交的值是“春节”这两个字

　　http_request.open(‘GET‘, url, true);

那么，不管网页使用什么字符集，IE传送给server的总是“q=%B4%BA%BD%DA”，而Firefox传送给server的总是“q=%E6%98 %A5%E8%8A%82”。也就是说，在Ajax调用中，IE总是採用GB2312编码（操作系统的默认编码），而Firefox总是採用utf-8编码。这就是我们的结论4。

六、Javascript函数：escape()

好了，到此为止，四种情况都说完了。

假定前面你都看懂了，那么此时你应该会感到非常头痛。由于，实在太混乱了。不同的操作系统、不同的浏览器、不同的网页字符集，将导致全然不同的编码结果。假设程序猿要把每一种结果都考虑进去，是不是太恐怖了？有没有办法，可以保证client仅仅用一种编码方法向server发出请求？

回答是有的，就是使用Javascript先对URL编码，然后再向server提交，不要给浏览器插手的机会。由于Javascript的输出总是一致的，所以就保证了server得到的数据是格式统一的。

Javascript语言用于编码的函数，一共同拥有三个，最古老的一个就是escape()。尽管这个函数如今已经不提倡使用了，可是因为历史原因，非常多地方还在使用它，所以有必要先从它讲起。

实际上，escape()不能直接用于URL编码，它的真正作用是返回一个字符的Unicode编码值。比方“春节”的返回结果是%u6625%u8282，也就是说在Unicode字符集中，“春”是第6625个（十六进制）字符，“节”是第8282个（十六进制）字符。

它的详细规则是，除了ASCII字母、数字、标点符号“@ * _ + - . /”以外，对其它全部字符进行编码。在/u0000到/u00ff之间的符号被转成%xx的形式，其余符号被转成%uxxxx的形式。相应的解码函数是 unescape()。

所以，“Hello World”的escape()编码就是“Hello%20World”。由于空格的Unicode值是20（十六进制）。

还有两个地方须要注意。

首先，不管网页的原始编码是什么，一旦被Javascript编码，就都变为unicode字符。也就是说，Javascipt函数的输入和输出，默认都是Unicode字符。这一点对以下两个函数也适用。

其次，escape()不正确“+”编码。可是我们知道，网页在提交表单的时候，假设有空格，则会被转化为+字符。server处理数据的时候，会把+号处理成空格。所以，使用的时候要小心。

七、Javascript函数：encodeURI()

encodeURI()是Javascript中真正用来对URL编码的函数。

它着眼于对整个URL进行编码，因此除了常见的符号以外，对其它一些在网址中有特殊含义的符号“; / ? : @ & = + $ , #”，也不进行编码。编码后，它输出符号的utf-8形式，而且在每一个字节前加上%。

它相应的解码函数是decodeURI()。

须要注意的是，它不正确单引號‘编码。

八、Javascript函数：encodeURIComponent()

最后一个Javascript编码函数是encodeURIComponent()。与encodeURI()的差别是，它用于对URL的组成部分进行个别编码，而不用于对整个URL进行编码。

因此，“; / ? : @ & = + $ , #”，这些在encodeURI()中不被编码的符号，在encodeURIComponent()中统统会被编码。至于详细的编码方法，两者是一样。

它相应的解码函数是decodeURIComponent()。

PS1 ：

网页里的form编码事实上不全然取决于网页编码，form标记中有一个accept-charset属性，在非ie浏览器种，假设将其赋值(比方 accept-charset="UTF-8")，则表单会依照这个值表示的编码方式进行提交。
在ie下，我的兼容解决的方法是：
form1.onsubmit=function(){
document.charset=this.getAttribute(‘accept-charset‘);
}

PS2 ：字符编码笔记：ASCII，Unicode和 UTF-8

1. ASCII码

我们知道，在计算机内部，全部的信息终于都表示为一个二进制的字符串。每个二进制位（bit）有0和1两种状态，因此八个二进制位就能够组合出 256种状态，这被称为一个字节（byte）。也就是说，一个字节一共能够用来表示256种不同的状态，每个状态相应一个符号，就是256个符号，从 0000000到11111111。

上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。这被称为ASCII码，一直沿用至今。

ASCII码一共规定了128个字符的编码，比方空格“SPACE”是32（二进制00100000），大写的字母A是65（二进制 01000001）。这128个符号（包含32个不能打印出来的控制符号），仅仅占用了一个字节的后面7位，最前面的1位统一规定为0。

2、非ASCII编码

英语用128个符号编码就够了，可是用来表示其它语言，128个符号是不够的。比方，在法语中，字母上方有注音符号，它就无法用ASCII码表示。于是，一些欧洲国家就决定，利用字节中闲置的最高位编入新的符号。比方，法语中的é的编码为130（二进制10000010）。这样一来，这些欧洲国家使用的编码体系，能够表示最多256个符号。

可是，这里又出现了新的问题。不同的国家有不同的字母，因此，哪怕它们都使用256个符号的编码方式，代表的字母却不一样。比方，130在法语编码中代表了é，在希伯来语编码中却代表了字母Gimel (?)，在俄语编码中又会代表还有一个符号。可是无论如何，全部这些编码方式中，0—127表示的符号是一样的，不一样的仅仅是128—255的这一段。

至于亚洲国家的文字，使用的符号就很多其它了，汉字就多达10万左右。一个字节仅仅能表示256种符号，肯定是不够的，就必须使用多个字节表达一个符号。比方，中文简体常见的编码方式是GB2312，使用两个字节表示一个汉字，所以理论上最多能够表示256x256=65536个符号。

中文编码的问题须要专文讨论，这篇笔记不涉及。这里仅仅指出，尽管都是用多个字节表示一个符号，可是GB类的汉字编码与后文的Unicode和 UTF-8是毫无关系的。

3.Unicode

正如上一节所说，世界上存在着多种编码方式，同一个二进制数字能够被解释成不同的符号。因此，要想打开一个文本文件，就必须知道它的编码方式，否则用错误的编码方式解读，就会出现乱码。为什么电子邮件经常出现乱码？就是由于发信人和收信人使用的编码方式不一样。

能够想象，假设有一种编码，将世界上全部的符号都纳入当中。每个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是Unicode，就像它的名字都表示的，这是一种全部符号的编码。

Unicode当然是一个非常大的集合，如今的规模能够容纳100多万个符号。每一个符号的编码都不一样，比方，U+0639表示阿拉伯字母 Ain，U+0041表示英语的大写字母A，U+4E25表示汉字“严”。详细的符号相应表，能够查询unicode.org ，或者专门的汉字相应表。

4. Unicode的问题

须要注意的是，Unicode仅仅是一个符号集，它仅仅规定了符号的二进制代码，却没有规定这个二进制代码应该怎样存储。

比方，汉字“严”的unicode是十六进制数4E25，转换成二进制数足足有15位（100111000100101），也就是说这个符号的表示至少须要2个字节。表示其它更大的符号，可能须要3个字节或者4个字节，甚至很多其它。

这里就有两个严重的问题，第一个问题是，怎样才干差别unicode和ascii？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？第二个问题是，我们已经知道，英文字母仅仅用一个字节表示就够了，假设unicode统一规定，每一个符号用三个或四个字节表示，那么每一个英文字母前都必然有二到三个字节是0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的。

它们造成的结果是：1）出现了unicode的多种存储方式，也就是说有很多种不同的二进制格式，能够用来表示unicode。2）unicode 在非常长一段时间内无法推广，直到互联网的出现。

5.UTF-8

互联网的普及，强烈要求出现一种统一的编码方式。UTF-8就是在互联网上使用最广的一种unicode的实现方式。其它实现方式还包含UTF- 16和UTF-32，只是在互联网上基本不用。反复一遍，这里的关系是，UTF-8是Unicode的实现方式之中的一个。

UTF-8最大的一个特点，就是它是一种变长的编码方式。它能够使用1~4个字节表示一个符号，依据不同的符号而变化字节长度。

UTF-8的编码规则非常easy，仅仅有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是同样的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，所有为这个符号的unicode码。

下表总结了编码规则，字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码方式
(十六进制) | （二进制）
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

以下，还是以汉字“严”为例，演示怎样实现UTF-8编码。

已知“严”的unicode是4E25（100111000100101），依据上表，能够发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码须要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。然后，从“严”的最后一个二进制位開始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，“严”的UTF-8编码是 “11100100 10111000 10100101”，转换成十六进制就是E4B8A5。

6. Unicode与UTF-8之间的转换

通过上一节的样例，能够看到“严”的Unicode码是4E25，UTF-8编码是E4B8A5，两者是不一样的。它们之间的转换能够通过程序实现。

在Windows平台下，有一个最简单的转化方法，就是使用内置的记事本小程序Notepad.exe。打开文件后，点击“文件”菜单中的“另存为”命令，会跳出一个对话框，在最底部有一个“编码”的下拉条。