2012年9月29日 星期六

識別檔案編碼UTF8與ANSI

開啟一個CSV的文字檔

以二進制的方式開起該文字檔

從上圖可以看出二進制檔的檔頭內容是EF BB BF,此即為UTF8編碼格式
若是在二進制檔的檔頭看不到EF BB BF,而是直接看到檔案的資料,則該檔即為ANSI編碼
其他的編碼原則如下表:

編碼
表示 (十六進位)
表示 (十進位)
UTF-8
EF BB BF
239 187 191
UTF-16(大端序)
FE FF
254 255
UTF-16(小端序)
FF FE
255 254
UTF-32(大端序)
00 00 FE FF
0 0 254 255
UTF-32(小端序)
FF FE 00 00
255 254 0 0
UTF-7
2B 2F 76和以下的一個位元組:[ 38 | 39 | 2B | 2F ]
43 47 118和以下的一個位元組:[ 56 | 57 | 43 | 47 ]
en:UTF-1
F7 64 4C
247 100 76
en:UTF-EBCDIC
DD 73 66 73
221 115 102 115
en:Standard Compression Scheme for Unicode
0E FE FF
14 254 255
en:BOCU-1
FB EE 28 及可能跟隨著FF
251 238 40 及可能跟隨著255

表格參考資料:維基

沒有留言:

張貼留言