注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

phperwuhan的博客

记载一个phper的历程!phperwuhan.blog.163.com

 
 
 

日志

 
 

excel csv bom 编码   

2008-06-19 15:29:14|  分类: 技术 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

来源:http://blog.gooot.com/2007/12/utf-8unicode.html

UTF-8如何转Unicode?

先转一篇来参考.

什么是 Unicode?

历史上, 有两个独立的, 创立单一字符集的尝试. 一个是国际标准化组织(ISO)的 ISO 10646 项目, 另一个是由(一开始大多是美国的)多语言软件制造商组成的协会组织的 Unicode 项目. 幸运的是, 1991年前后, 两个项目的参与者都认识到, 世界不需要两个不同的单一字符集. 它们合并双方的工作成果, 并为创立一个单一编码表而协同工作. 两个项目仍都存在并独立地公布各自的标准, 但 Unicode 协会和 ISO/IEC JTC1/SC2 都同意保持 Unicode 和 ISO 10646 标准的码表兼容, 并紧密地共同调整任何未来的扩展.
什么是 UTF-8?

首先 UCS 和 Unicode 只是分配整数给字符的编码表. 现在存在好几种将一串字符表示为一串字节的方法. 最显而易见的两种方法是将 Unicode 文本存储为 2 个 或 4 个字节序列的串. 这两种方法的正式名称分别为 UCS-2 和 UCS-4. 除非另外指定, 否则大多数的字节都是这样的(Bigendian convention). 将一个 ASCII 或 Latin-1 的文件转换成 UCS-2 只需简单地在每个 ASCII 字节前插入 0x00. 如果要转换成 UCS-4, 则必须在每个 ASCII 字节前插入三个 0x00.

在 Unix 下使用 UCS-2 (或 UCS-4) 会导致非常严重的问题. 用这些编码的字符串会包含一些特殊的字符, 比如 '\0' 或 '/', 它们在 文件名和其他 C 库函数参数里都有特别的含义. 另外, 大多数使用 ASCII 文件的 UNIX 下的工具, 如果不进行重大修改是无法读取 16 位的字符的. 基于这些原因, 在文件名, 文本文件, 环境变量等地方, UCS-2 不适合作为 Unicode 的外部编码.

在 ISO 10646-1 Annex R 和 RFC 2279 里定义的 UTF-8 编码没有这些问题. 它是在 Unix 风格的操作系统下使用 Unicode 的明显的方法.

UTF-8 有一下特性:

* UCS 字符 U+0000 到 U+007F (ASCII) 被编码为字节 0x00 到 0x7F (ASCII 兼容). 这意味着只包含 7 位 ASCII 字符的文件在 ASCII 和 UTF-8 两种编码方式下是一样的.
* 所有 >U+007F 的 UCS 字符被编码为一个多个字节的串, 每个字节都有标记位集. 因此, ASCII 字节 (0x00-0x7F) 不可能作为任何其他字符的一部分.
* 表示非 ASCII 字符的多字节串的第一个字节总是在 0xC0 到 0xFD 的范围里, 并指出这个字符包含多少个字节. 多字节串的其余字节都在 0x80 到 0xBF 范围里. 这使得重新同步非常容易, 并使编码无国界, 且很少受丢失字节的影响.
* 可以编入所有可能的 231个 UCS 代码
* UTF-8 编码字符理论上可以最多到 6 个字节长, 然而 16 位 BMP 字符最多只用到 3 字节长.
* Bigendian UCS-4 字节串的排列顺序是预定的.
* 字节 0xFE 和 0xFF 在 UTF-8 编码中从未用到.

下列字节串用来表示一个字符. 用到哪个串取决于该字符在 Unicode 中的序号.
U-00000000 - U-0000007F: 0xxxxxxx
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

xxx 的位置由字符编码数的二进制表示的位填入. 越靠右的 x 具有越少的特殊意义. 只用最短的那个足够表达一个字符编码数的多字节串. 注意在多字节串中, 第一个字节的开头"1"的数目就是整个串中字节的数目.

例如: Unicode 字符 U+00A9 = 1010 1001 (版权符号) 在 UTF-8 里的编码为:

11000010 10101001 = 0xC2 0xA9

而字符 U+2260 = 0010 0010 0110 0000 (不等于) 编码为:

11100010 10001001 10100000 = 0xE2 0x89 0xA0

这种编码的官方名字拼写为 UTF-8, 其中 UTF 代表 UCS Transformation Format. 请勿在任何文档中用其他名字 (比如 utf8 或 UTF_8) 来表示 UTF-8, 当然除非你指的是一个变量名而不是这种编码本身.
什么编程语言支持 Unicode?

在大约 1993 年之后开发的大多数现代编程语言都有一个特别的数据类型, 叫做 Unicode/ISO 10646-1 字符. 在 Ada95 中叫 Wide_Character, 在 Java 中叫 char.

ISO C 也详细说明了处理多字节编码和宽字符 (wide characters) 的机制, 1994 年 9 月 Amendment 1 to ISO C 发表时又加入了更多. 这些机制主要是为各类东亚编码而设计的, 它们比处理 UCS 所需的要健壮得多. UTF-8 是 ISO C 标准调用多字节字符串的编码的一个例子, wchar_t 类型可以用来存放 Unicode 字符.


这个问题已经解决了,这个问题主要是针对“CSV”的问题。

CSV

  • 导出数据为以“逗号分隔”的CSV文件,可以用 Microsoft Office Excel 打开。
  • 但 Microsoft 一向以“没头脑”著称,这次也不例外,因为导出的CSV文件是UTF-8的文件,Excel 打开时是乱码。麻烦你要先把CSV文件转换成 ANSI,如果你的操作系统是 WIN98 以上,直接用“记事本”打开另存为 ANSI 即可。
  • Microsoft 好象一向和 UTF-8 不和。
  • 具体的 CSV 文件如何操作,你自己去掌握吧。
解决问题的方法是:

CSV不支持“UTF-8”,但是支持“Unicode”,在WIN下我们测试将“.CSV”文件用“记事本”打开另存为 ANSI、Unicode,Microsoft Office Excel 都可以正确识别打开,UTF-8、Unicode big enbian却不行。

KeepAccounts.com是多语言的网站,ANSI编码不可取。Unicode是可以的。

Unicode是“UTF-16LE”,我可以通过:
mb_convert_encoding($str, "UTF-16LE", "UTF-8")
或者
iconv("UTF-8", "UTF-16LE", $str)
将UTF-8转换为Unicode。

但是问题还没有解决,Microsoft Office Excel 打开转换为Unicode编码的“.CSV”文件却依然是乱码,为什么呢??

参考上篇文章我们可以得知,WIN可以识别UTF-8,却不能识别Unicode,所以要在头部加BOM,不知道什么是BOM吗??自己去搜索下就知道了。

实际我们在WIN里建立一个空的UTF-8编码的文本和Unicode编码的文本,还有ANSI编码的文本就会发现,都是空的文本,除了ANSI编码的是0字节,UTF-8编码的文本是3字节,Unicode编码的文本是2字节。这些就是BOM,就是WIN系统用来正确识别文本编码的信息。但是UTF-8编码的文本不用BOM,WIN也可以识别。Unicode编码的文本却不行,所以我开始就一直在这个问题上纠缠。知道了问题就可以解决问题了。不是没有BOM吗?那就自己加啊。

$T_text = '要输出的CSV文件';


header('Cache-control: private');
header('Content-Disposition: attachment; filename=test.csv');

if(function_exists('mb_convert_encoding'))
{
header('Content-type: text/csv; charset=UTF-16LE');
echo(chr(255).chr(254));
echo(mb_convert_encoding($T_text,"UTF-16LE","UTF-8"));
}
elseif(function_exists('iconv'))
{
header('Content-type: text/csv; charset=UTF-16LE');
echo(chr(255).chr(254));
echo(iconv("UTF-8","UTF-16LE",$T_text));
}
else
{
header('Content-type: text/csv; charset=UTF-8');
echo(chr(239).chr(187).chr(191));
echo($T_text);
}


这样问题就解决了。多国语言(UTF-8)网站输出.CSV文件乱码的问题就解决了。

再补充一点:就是Unicode编码的.CSV文件可能不支持“,”分割,请用“\t”空格来分割。以上方法针对WIN2000。

再多说一点,现在很多人都在开发多语言网站,许多都是使用UTF-8编码来设计语言。但是在WIN2000下用记事本(我编程序都是用记事本的)来编写的文件转为UTF-8编码后再输出header后就会出错。问题就是BOM,我们要把它删除就OK了。

a.php,放在UTF-8编码的文件夹下面执行就可以了。(可能要权限支持)



//此文件用于快速测试UTF8编码的文件是不是加了BOM,并可自动移除
//By Bob Shen

$basedir = "."; //修改此行为需要检测的目录,点表示当前目录
$auto = 1; //是否自动移除发现的BOM信息。1为是,0为否。

//以下不用改动

if($dh = opendir($basedir))
{
while(($file = readdir($dh)) !== false)
{
if($file != '.'
&& $file != '..'
&& !is_dir($basedir."/".$file))
echo("filename: $file ".checkBOM("$basedir/$file")."
");
}
closedir($dh);
}

function checkBOM($filename)
{
global $auto;
$contents = file_get_contents($filename);
$charset[1] = substr($contents, 0, 1);
$charset[2] = substr($contents, 1, 1);
$charset[3] = substr($contents, 2, 1);
if(ord($charset[1]) == 239
&& ord($charset[2]) == 187
&& ord($charset[3]) == 191)
{
if($auto == 1)
{
$rest = substr($contents, 3);
rewrite($filename, $rest);
return("BOM found, automatically removed.");
}
else
{
return("BOM found.");
}
}
else return("BOM Not Found.");
}

function rewrite($filename, $data)
{
$filenum = fopen($filename, "w");
flock($filenum, LOCK_EX);
fwrite($filenum, $data);
fclose($filenum);
}

 

  评论这张
 
阅读(1964)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017