http与中文编码传输

浏览数：148 / 时间：2015年06月09日

分类： http网络及RFC2012-08-12 15:01 3716人阅读评论(0) 收藏举报

关于http的RFC文档：http://www.w3.org/Protocols/rfc2616/rfc2616.html

关于http与中文传输的问题，如果不解决，在实际的网络抓取的过程中会产生很多的次生的问题。理解中文传输的编码过程因而尤为重要。

中文的传输过程具体可能是：内存中unicode -> 编码阶段gbk, gb18030, utf8 -> 到urlencode ->最后到可能的base64编码。那到底是什么机制在负责这个转换的过程呢？转换使用的是什么通道呢？

UrlEncode：将字符串以URL编码。返回值：字符串。　函数种类：编码处理。比如在谷歌搜索“中国人”的时候，得到的URL如下所示：http://www.google.com.hk/search?q=%D6%D0%B9%FA%C8%CB&client=aff-360daohang&hl=zh-CN&ie=gb2312&newwindow=1，其中%D6%D0%B9%FA%C8%CB部分就是urlencode。那么这个编码的处理方式是怎么样的呢？有没有什么处理工具？

个人尝试的方法就是：

无论如何都把urlencode转化成Utf-8的格式进行数据传输。例如下例：id=java.net.URLEncoder.encode(id, "utf-8");

然后再接受就可以了。urlencoder时必须合并使用的方法。

id=java.net.URLEncoder.encode(id, "utf-8");
response.sendRedirect("personalPage.jsp?user="+id);

尝试成功之后，还有一种情况没有考虑到，那就是gb2312编码格式下中文字符的直接传输。能否不经过utf-8的编码来搞定参数的传递？

附一些自己找到的资料：

UrlEncode编码

主要用于将字符串以URL编码，返回一个字符串。
使用方法：
1、ASP中的用法：Server.URLEncode(“内容”) 例如：

   <% response.write Server.UrlEncode("工具网") %>

2、PHP中的用法：urlencode(“内容”) 例如：

   <?  echo urlencode("工具网")?>

3、JSP中的用法：URLEncoder.encode(“内容”) 例如：

   <% java.net.URLEncoder.encode("工具网");  %>

   个人亲自尝试的中文传输方法，即只需编码，另一端无需解码：

<%

    id=java.net.URLEncoder.encode(id, "UTF-8");
   response.sendRedirect("/index.jsp?error="+id);

%>

4、javascript中的用法：encodeURI(“内容”) 例如：

   encodeURI("工具网");

5、Python中的用法：

   import urllib2
   urllib2.quote("工具网")

UrlDecode解码

主要对字符串进行URL解码，返回已解码的字符串
1、ASP中的用法：Server.UrlDecode(“内容”) 例如：

   <% response.write Server.UrlDecode("%E5%B7%A5%E5%85%B7%E7%BD%91") %>

2、PHP中的用法：urldecode(“内容”) 例如：

   <? echo urldecode("%E5%B7%A5%E5%85%B7%E7%BD%91")?>

3、JSP中的用法：URLDecoder.decode(“内容”) 例如：

   <% java.net.URLDecoder.decode("%E5%B7%A5%E5%85%B7%E7%BD%91"); %>

4、javascript中的用法例如：

   decodeURI("%E5%B7%A5%E5%85%B7%E7%BD%91");

5、Python中的用法例如：

   import urllib2
   urllib2.unquote("%E5%B7%A5%E5%85%B7%E7%BD%91")

Gb2312及Gb2312转Utf-8编码的UrlEncode编码解码

Unicode 与 Utf-8码间的内码规则模板为：

    原始码（16进制）　UTF－8编码（二进制）
    --------------------------------------------
    0000 - 007F       0xxxxxxx 
    0080 - 07FF       110xxxxx 10xxxxxx 
    0800 - FFFF       1110xxxx 10xxxxxx 10xxxxxx   （中文字在此区间)
    ……
    --------------------------------------------

例如：
百度中查询“中国人”，会将中文URL参数转为Gb2312码的16进制表示，一个中文字用2个字节
http://www.baidu.com/s?wd=%D6%D0%B9%FA%C8%CB
Google中查询“中国人”，会将中文URL参数转为Utf-8编码的16进制表示，一个中文字用3个字节
http://www.google.cn/search?client=opera&rls=en&q=%E4%B8%AD%E5%9B%BD%E4%BA%BA&sourceid=opera&ie=utf-8&oe=utf-8

Objective-C 对 URL 进行 URLEncode 编码

在为Apple的IPhone、ipad等设备开发iOS app应用程序访问 HTTP 资源时需要对 URL 进行 Encode，比如像拼出来的 http://www.baidu.com/s?wd=中国人，其中的中国人、特殊符号&％和空格都必须进行转译才能正确访问。
在 Java、.net 和 JS 中都有相应的 encodeURL 方法可用，在 Objective-C 语言中，你可以试下

   - (NSString *)stringByAddingPercentEscapesUsingEncoding:(NSStringEncoding)enc;

来对完整的 URL(带请求参数的)进行编码，比如执行下面的代码：

   NSString *url=@"http://www.baidu.com/s?wd=中国人";
   NSString *encodedValue = [url stringByAddingPercentEscapesUsingEncoding:NSUTF8StringEncoding];

上面代码转换出的 encodedValue 是：

    http://www.baidu.com/s?wd=%D6%D0%B9%FA%C8%CB

可见，它不会转换 URL 中的 ?%& 符号，这也正常，因为它肯定分不出哪个 & 是参数的连接符号还是参数值，你可以单独编码参数，然后在拼接成 URL 之前把属性参数值中的 ?%& 等符号分别替换成相应的编码。

base64的编码方式：

Base64 c#加密函数

C#代码

public static string Encrypt(string pToEncrypt)
{
byte[] barray=System.Text.UnicodeEncoding.Unicode.GetBytes(pToEncrypt);
return Convert.ToBase64String(barray);
}

Base64 c#解密函数

C#代码

public string Decrypt(string pToDecrypt)
{
byte[] mingwen = Convert.FromBase64String(pToDecrypt);
string str = System.Text.UnicodeEncoding.Unicode.GetString(mingwen);
return str;
}

加密后的字符串如果存在"/" "+" "=", 在WEB的传输过程中(含有request之类动作）会发生改变，分别对应为
“/” 在客户端变为 "2F"
"+" ..........." "
"=" ..........."%3D"
所以在客户端对字符串解密前应该恢复为正确的base64码，下面是asp中的编码

Java代码

str=Replace(str," ","+")
str=Replace(str,"%2F","/")
str=Replace(str,"%3D","=")

以下来源：

http://blog.sina.com.cn/s/blog_70ca15d20100r1qy.html

今天着实出了一个生产问题，抽奖项目的一个查询交易报JS错误，打不开链接。

页面中用了: windows.opern()方法打开一个页面，url中的参数（抽奖活动信息）包含引号，url提前结束。

由于没有用URLEncoder，吃了亏……，下面做个小结，避免以后范同样的错误，也请各位读者引以为戒：

技术分享

网页中的表单使用POST方法提交时，数据内容的类型是 application/x-www-form-urlencoded，这种类型会：

1.字符"a"-"z"，"A"-"Z"，"0"-"9"，"."，"-"，"*"，和"_" 都不会被编码;

2.将空格转换为加号 (+) ;

3.将非文本内容转换成"%xy"的形式,xy是两位16进制的数值;

4.在每个 name=value 对之间放置 & 符号。

web设计者面临的众多难题之一便是怎样处理不同操作系统间的差异性。这些差异性能引起URL方面的问题：例如，一些操作系统允许文件名中含有空格符，有些又不允许。大多数操作系统不会认为文件名中含有符号“#”会有什么特殊含义；但是在一个URL中，符号“#”表示该文件名已经结束，后面会紧跟一个fragment（部分）标识符。其他的特殊字符，非字母数字字符集，它们在URL或另一个操作系统上都有其特殊的含义，表述着相似的问题。为了解决这些问题，在URL中使用的字符就必须是一个ASCII字符集的固定字集中的元素，具体如下：

1.大写字母A-Z

2.小写字母a-z

3.数字 0-9

4.标点符 - _ . ! ~ * ‘ (和 ,)

诸如字符: / & ? @ # ; $ + = 和 %也可以被使用，但是它们各有其特殊的用途，如果一个文件名包括了这些字符（ / & ? @ # ; $ + = %），这些字符和所有其他字符就应该被编码。

编码过程非常简单，任何字符只要不是ASCII码数字，字母，或者前面提到的标点符，它们都将被转换成字节形式，每个字节都写成这种形式：一个“%”后面跟着两位16进制的数值。空格是一个特殊情况，因为它们太平常了。它除了被编码成“ ”以外，还能编码为一个“+”。加号（+）本身被编码为+。当/ # = & 和?作为名字的一部分来使用时，而不是作为URL部分之间的分隔符来使用时，它们都应该被编码。

URLEncoder的两种静态方法：

public static String encode(String s)

public static String encode(String s, String encoding) throws UnsupportedEncodingException

与URLEncoder 类相对应的URLDecoder 类有两种静态方法。它们解码以x-www-form-url-encoded这种形式编码的string。也就是说，它们把所有的加号（+）转换成空格符，把所有的%xx分别转换成与之相对应的字符：

public static String decode(String s) throws Exception

public static String decode(String s, String encoding)

// Java 1.4 throws UnsupportedEncodingException

以下来源：

http://tech.sina.com.cn/s/2008-07-07/1053722241.shtml

　　网页中的表单使用POST方法提交时，数据内容的类型是 application/x-www-form-urlencoded，这种类型会：

　　1.字符"a"-"z"，"A"-"Z"，"0"-"9"，"."，"-"，"*"，和"_" 都不会被编码;

　　2.将空格转换为加号 (+) ;

　　3.将非文本内容转换成"%xy"的形式,xy是两位16进制的数值;

　　4.在每个 name=value 对之间放置 & 符号。

　　URLEncoder类包含将字符串转换为application/x-www-form-urlencoded MIME 格式的静态方法。

　　web设计者面临的众多难题之一便是怎样处理不同操作系统间的差异性。这些差异性能引起URL方面的问题：例如，一些操作系统允许文件名中含有空格符，有些又不允许。大多数操作系统不会认为文件名中含有符号“#”会有什么特殊含义;但是在一个URL中，符号“#”表示该文件名已经结束，后面会紧跟一个fragment(部分)标识符。其他的特殊字符，非字母数字字符集，它们在URL或另一个操作系统上都有其特殊的含义，表述着相似的问题。为了解决这些问题，我们在URL中使用的字符就必须是一个ASCII字符集的固定字集中的元素，具体如下：

　　1.大写字母A-Z

　　2.小写字母a-z

　　3.数字 0-9

　　4.标点符 - _ . ! ~ * ‘ (和 ,)

　　诸如字符: / & ? @ # ; $ + = 和 %也可以被使用，但是它们各有其特殊的用途，如果一个文件名包括了这些字符( / & ? @ # ; $ + = %)，这些字符和所有其他字符就应该被编码。

　　编码过程非常简单，任何字符只要不是ASCII码数字，字母，或者前面提到的标点符，它们都将被转换成字节形式，每个字节都写成这种形式：一个“%”后面跟着两位16进制的数值。空格是一个特殊情况，因为它们太平常了。它除了被编码成“%20”以外，还能编码为一个“+”。加号(+)本身被编码为%2B。当/ # = & 和?作为名字的一部分来使用时，而不是作为URL部分之间的分隔符来使用时，它们都应该被编码。

　　WARNING这种策略在存在大量字符集的异构环境中效果不甚理想。例如：在U.S. Windows 系统中, é 被编码为 %E9. 在 U.S. Mac中被编码为%8E。这种不确定性的存在是现存的URI的一个明显的不足。所以在将来URI的规范当中应该通过国际资源标识符(IRIs)进行改善。

　　类URL并不自动执行编码或解码工作。你能生成一个URL对象，它可以包括非法的ASCII和非ASCII字符和/或%xx。当用方法getPath() 和toExternalForm( ) 作为输出方法时，这种字符和转移符不会自动编码或解码。你应对被用来生成一个URL对象的字符串对象负责，确保所有字符都会被恰当地编码。

　　幸运的是，java提供了一个类URLEncoder把string编码成这种形式。Java1.2增加了一个类URLDecoder它能以这种形式解码string。这两个类都不用初始化：

　　public class URLDecoder extends Object

　　public class URLEncoder extends Object

　　一、URLEncoder

　　在java1.3和早期版本中，类java.net.URLEncoder包括一个简单的静态方法encode( )，它对string以如下规则进行编码：

　　public static String encode(String s)

　　这个方法总是用它所在平台的默认编码形式，所以在不同系统上，它就会产生不同的结果。结果java1.4中，这个方法被另一种方法取代了。该方法要求你自己指定编码形式：

　　public static String encode(String s, String encoding) throws UnsupportedEncodingException

　　两种关于编码的方法，都把任何非字母数字字符转换成%xx(除了空格，下划线(_)，连字符(?),句号(。),和星号(*))。两者也都编码所以的非ASCII字符。空格被转换成一个加号。这些方法有一点过分累赘了;它们也把“~”，“‘”，“()”转换成%xx，即使它们完全用不着这样做。尽管这样，但是这种转换并没被URL规范所禁止。所以web浏览器会自然地处理这些被过分编码后的URL。

　　两中关于编码的方法都返回一个新的被编码后的string，java1.3的方法encode( ) 使用了平台的默认编码形式，得到%xx。这些编码形式典型的有：在 U.S. Unix 系统上的ISO-8859-1, 在U.S. Windows 系统上的Cp1252,在U.S. Macs上的MacRoman，和其他本地字符集等。因为编码解码过程都是与本地操作平台相关的，所以这些方法是令人不爽的，不能跨平台的。

　　这就明确地回答了为什么在java1.4中这种方法被抛弃了，转而投向了要求以自己指定编码形式的这种方法。尽管如此，如果你执意要使用所在平台的默认编码形式，你的程序将会像在java1.3中的程序一样，是本地平台相关的。在另一种编码的方法中，你应该总是用UTF-8，而不是其他什么。UTF-8比起你选的其他的编码形式来说，它能与新的web浏览器和更多的其他软件相兼容。

　　例子7-8是使用URLEncoder.encode( ) 来打印输出各种被编码后的string。它需要在java1.4或更新的版本中编译和运行。

　　Example 7-8. x-www-form-urlencoded strings

　　import java.net.URLEncoder;
　　import java.net.URLDecoder;
　　import java.io.UnsupportedEncodingException;
　　public class EncoderTest {
　　public static void main(String[] args) {
　　try {
　　System.out.println(URLEncoder.encode("This string has spaces","UTF-8"));
　　System.out.println(URLEncoder.encode("This*string*has*asterisks","UTF-8"));
　　System.out.println(URLEncoder.encode("This%string%has%percent%signs", "UTF-8"));
　　System.out.println(URLEncoder.encode("This+string+has+pluses","UTF-8"));
　　System.out.println(URLEncoder.encode("This/string/has/slashes","UTF-8"));
　　System.out.println(URLEncoder.encode("This"string"has"quote"marks", "UTF-8"));
　　System.out.println(URLEncoder.encode("This:string:has:colons","UTF-8"));
　　System.out.println(URLEncoder.encode("This~string~has~tildes","UTF-8"));
　　System.out.println(URLEncoder.encode("This(string)has(parentheses)", "UTF-8"));
　　System.out.println(URLEncoder.encode("This.string.has.periods","UTF-8"));
　　System.out.println(URLEncoder.encode("This=string=has=equals=signs", "UTF-8"));
　　System.out.println(URLEncoder.encode("This&string&has&ersands","UTF-8"));
　　System.out.println(URLEncoder.encode("Thiséstringéhasé non-ASCII characters","UTF-8"));
　　// System.out.println(URLEncoder.encode("this中华人民共和国","UTF-8"));

　　} catch (UnsupportedEncodingException ex) {throw new RuntimeException("
Broken VM does not support UTF-8");
　　}
　　}
　　}

　　下面就是它的输出。需要注意的是这些代码应该以其他编码形式被保存而不是以ASCII码的形式，还有就是你选择的编码形式应该作为一个参数传给编译器，让编译器能据此对源代码中的非ASCII字符作出正确的解释。

　　% javac -encoding UTF8 EncoderTest %

　　java EncoderTest

　　This+string+has+spaces

　　This*string*has*asterisks

　　This%25string%25has%25percent%25signs

　　This%2Bstring%2Bhas%2Bpluses

　　This%2Fstring%2Fhas%2Fslashes

　　This%22string%22has%22quote%22marks

　　This%3Astring%3Ahas%3Acolons

　　This%7Estring%7Ehas%7Etildes

　　This%28string%29has%28parentheses%29

　　This.string.has.periods

　　This%3Dstring%3Dhas%3Dequals%3Dsigns

　　This%26string%26has%26ampersands

　　This%C3%A9string%C3%A9has%C3%A9non-ASCII+characters

　　特别需要注意的是这个方法编码了符号，“\” ,&,=,和：。它不会尝试着去规定在一个URL中这些字符怎样被使用。由此，所以你不得不分块编码你的URL,而不是把整个URL一次传给这个方法。这是很重要的，因为对类URLEncoder最通常的用法就是查询string，为了和服务器端使用GET方法的程序进行交互。例如，假设你想编码这个查询sting，它用来搜索AltaVista网站：

　　pg=q&kl=XX&stype=stext&q=+"Java+I/O"&search.x=38&search.y=3

　　这段代码对其进行编码：

　　String query = URLEncoder.encode( "pg=q&kl=XX&stype=stext&q=+"Java+I/O"&search.x=38&search.y=3");System.out.println(query);

　　不幸的是，得到的输出是:

　　pg%3Dq%26kl%3DXX%26stype%3Dstext%26q%3D%2B%22Java%2BI%2FO%22%26search.x%3D38%26search.y%3D3

　　出现这个问题就是方法URLEncoder.encode( ) 在进行盲目地编码。它不能区分在URL或者查询string中被用到的特殊字符(象前面string中的“=”，和“&”)和确实需要被编码的字符。由此，所以URL需要像下面这样一次只编码一块：

　　String query = URLEncoder.encode("pg");
　　query += "=";
　　query += URLEncoder.encode("q");
　　query += "&";
　　query += URLEncoder.encode("kl");
　　query += "=";
　　query += URLEncoder.encode("XX");
　　query += "&";
　　query += URLEncoder.encode("stype");
　　query += "=";
　　query += URLEncoder.encode("stext");
　　query += "&";
　　query += URLEncoder.encode("q");
　　query += "=";
　　query += URLEncoder.encode(""Java I/O"");
　　query += "&";
　　query += URLEncoder.encode("search.x");
　　query += "=";
　　query += URLEncoder.encode("38");
　　query += "&";
　　query += URLEncoder.encode("search.y");
　　query += "=";
　　query += URLEncoder.encode("3");
　　System.out.println(query);

　　这才是你真正想得到的输出：

　　pg=q&kl=XX&stype=stext&q=%2B%22Java+I%2FO%22&search.x=38&search.y=3

　　例子7-9是一个QueryString类。在一个java对象中，它使用了类URLEncoder来编码连续的属性名和属性值对，这个java对象被用来发送数据到服务器端的程序。

　　当你在创建一个QueryString对象时，你可以把查询string中的第一个属性对传递给类QueryString的构造函数，得到初始string。如果要继续加入后面的属性对，就应调用方法add()，它也能接受两个string作为参数，能对它们进行编码。方法getQuery( )返回一个属性对被逐个编码后得到的整个string。

　　Example 7-9. -The QueryString class

　　package com.macfaq.net;
　　import java.net.URLEncoder;
　　import java.io.UnsupportedEncodingException;
　　public class QueryString {
　　private StringBuffer query = new StringBuffer();
　　public QueryString(String name, String value) {
　　encode(name, value);
　　}
　　public synchronized void add(String name, String value) {
　　query.append(‘&‘);
　　encode(name, value);
　　}
　　private synchronized void encode(String name, String value) {
　　try {
　　query.append(URLEncoder.encode(name, "UTF-8"));
　　query.append(‘=‘);
　　query.append(URLEncoder.encode(value, "UTF-8"));
　　} catch (UnsupportedEncodingException ex) {
　　throw new RuntimeException("Broken VM does not support UTF-8");
　　}
　　}
　　public String getQuery() {
　　return query.toString();
　　}
　　public String toString() {
　　return getQuery();
　　}
　　}

　　利用这个类，现在我们就能对前面那个例子中的string进行编码了:

　　QueryString qs = new QueryString("pg", "q");
　　qs.add("kl", "XX");
　　qs.add("stype", "stext");
　　qs.add("q", "+"Java I/O"");
　　qs.add("search.x", "38");
　　qs.add("search.y", "3");
　　String url = "http://www.altavista.com/cgi-bin/query?" + qs;
　　System.out.println(url);

　　二、URLDecoder

　　与URLEncoder 类相对应的URLDecoder 类有两种静态方法。它们解码以x-www-form-url-encoded这种形式编码的string。也就是说，它们把所有的加号(+)转换成空格符，把所有的%xx分别转换成与之相对应的字符：

　　public static String decode(String s) throws Exception
　　public static String decode(String s, String encoding) // Java 1.4 throws 
UnsupportedEncodingException

　　第一种解码方法在java1.3和java1.2中使用。第二种解码方法在java1.4和更新的版本中使用。如果你拿不定主意用哪种编码方式，那就选择UTF-8吧。它比其他任何的编码形式更有可能得到正确的结果。

　　如果string包含了一个“%”，但紧跟其后的不是两位16进制的数或者被解码成非法序列，该方法就会抛出IllegalArgumentException 异常。当下次再出现这种情况时，它可能就不会被抛出了。这是与运行环境相关的，当检查到有非法序列时，抛不抛出IllegalArgumentException 异常，这时到底会发生什么是不确定的。在Sun‘s JDK 1.4中，不会抛出什么异常，它会把一些莫名其妙的字节加进不能被顺利编码的string中。这的确令人头疼，可能就是一个安全漏洞。

　　由于这个方法没有触及到非转义字符，所以你可以把整个URL作为参数传给该方法，不用像之前那样分块进行。例如：

　　String input = "http://www.altavista.com/cgi-bin/" + "query?
pg=q&kl=XX&stype=stext&q=%2B%22Java+I%2FO%22&search.x=38&search.y=3";

　　try {
　　String output = URLDecoder.decode(input, "UTF-8");
　　System.out.println(output);
　　}

原文来自：http://jishudaima.iteye.com/blog/957169

request对象读取请求参数时默认采用的英文字符集ISO-8859-1。如果请求参数的值含有中文字符，读出的字符串将是乱码。读取含中文字符的参数值需要正确的设置request对象的字符编码。JSP页面需要在调用getParameter()方法之前，调用setCharacterEncoding()方法设置使用什么字符集。常用的表示中文的字符集有：GB2312、GBK、GB18030、BIG5、UTF-8。字符集的设置应该和发送请求的JSP页面的编码一致。

<%@ page language="java" contentType="text/html; charset=GB18030"

pageEncoding="GB18030"%>

<html>

<head>

</head>

<body>

</form>

//设置字符集语句需要放在所有getParameter()方法之前

request.setCharacterEncoding("GB18030");

String name = request.getParameter("name");

if(name!=null) {

out.println("<h2>姓名：" + name+"</h2>");

}

</body>

</html>

正确读取中文字符串的情况：

技术分享

去掉request.setCharaterEncoding("GB18030")出现乱码的情况：

技术分享

原文链接：http://jishudaima.iteye.com/blog/957169

一就是指定页面编码指定为<%@ page contentType="text/html; charset=gb2312"%>和<meta http-equiv="Content-Type" content="text/html; charset=gb2312">，然后request. getParameter()得到参数后通过getBytes()转码。我原来用jsp+servlet写程序时，也是这样处理，而且可行。但由于现在整个项目所有页面编码均指定为utf-8，所以全改为gb2312不太现实。网上也有说通过添加过滤器的方式，设置request如下：request.seCharacterEncoding ("utf-8")，得到参数后通过new String(iso.getBytes("ISO-8859-1"),"utf-8")即可。尝试了一下，依旧失败。奇数乱码，偶数正常。

二就是通过java.net.URLEncoder.encode(keywords)和decode方法来处理。在发送请求之前，先通过encode()对汉字进行编码，在处理参数时，用decode解码。如下示例：

String paramValue = "汉字参数";

<form method=pos

郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。

http与中文编码传输