如何去掉字符串中的非UTF-8编码？

Question

使用Struts2接收iPhone客户端发来的请求，刚刚接收到的时候是做了URL Encode的，比如这个字符串：“%E8%BF%99%E6%98%AF%E4%B8%80%E6%AE%B5%E6%B5%8B%E8%AF%95%00%E7%94%A8%E7%9A%84%E6%96%87%E5%AD%97”。

但是这个字符串中包含了一个非UTF-8编码“%00”，目前所知产生的原因是使用了iPhone原生的文本框，在用户从其他App或者网页粘贴内容后提交的时候会带有一些额外的字符。为了兼容iOS5之后的emoji表情，目前采用的方法是数据库直接保存URL Encode之后的编码，在显示的时候进行Decode并输出，根本原因在于MySQL的编码使用的是GBK。

对于上述字符串，由于包含了非UTF-8编码的字符串，因此如果返回的结果是XML形式的时候客户端（比如iphone App）会出现XML解析失败导致整个页面空白的情况。请教在不改变现有程序实现的情况下（即不更换数据库编码、仍然保存URL Encode之后的字符串），能否通过其他手段过滤掉这些非法字符呢？比如通过正则表达式？

Answer 1

结果
[code="java"]测{方块}试[/code]
只有%00是方块，对头的吧？

我的建议也是你自己说的用正则表达式把非法字符过滤掉。

看你的描述似乎不确定非法字符有哪些，那么就把所有 非 正常 字符 过滤掉。

比如正常字符包括：

• 数字，英文大小写，表达符号。

• 中文。

用正则把不是以上的字符都干掉的方向，具体区间可以参考这篇[url]http://www.reai.us/chinese-in-utf8-and-gbk[/url]

但是，我仍然建议改DB编码吧，一了百了。