VBA高级教程之基础篇：文本编码和字符串处理(包括指针)，ADODB.Stream转换文本编码

liucqa · 发表于 2013-3-31 18:01

本帖最后由 liucqa 于 2014-4-20 12:56 编辑

十、网络文本的传输标准（UTF-8）

很多时候，我们不能直接传输Unicode编码的文本字符。因为Unicode编码不是为传输而设计，其编码为硬性规定。对接收方来说，接到了Unicode编码的数据，很难判断这是什么编码格式，会造成识别上的混乱。为了兼容ASCII字符，并避免遇到\0造成字符串中断，以及解决英文传输体积被填零放大一倍的问题，提出了UTF-8编码规范。UTF-8的每一个字符按规则编码为1~4任一字节组合。中文大部分为为3字节长，部分四字节。

为了避免在文本传输中发生混乱，互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码。

此外，在 Unix 世界中使用 UCS-2( 或 UCS-4) 会导致非常严重的问题。使用这两种编码方式的字符串，可能会包含诸如字节 "/0" 或 "/" 作为很多宽字符的组成部分，而这样的字节在文件名和其它 C 语言库函数中有特殊的意义。此外，大多数 Unix 工具都被设计用来处理 ASCII 文件的，不进行大幅度的修改是无法读取 16-bit 字符的。基于这些原因，在文件名、文本文件、环境变量等地方， UCS-2 ( 或 UCS-4 ) 不是一种合适的 Unicode 外部编码。在 ISO 10646-1:2000 附录 D 、 RFC3629 以及 Unicode 4.0 标准的 3.9 节中均有定义的 UTF-8 编码方法则不存在上述问题。所以在类 Unix 风格的操作系统中使用UTF-8来应用 Unicode编码。

UTF-8编码字节含义

对于UTF-8编码中的任意字节B，如果B的第一位为0，则B为ASCII码，并且B独立的表示一个字符;
如果B的第一位为1，第二位为0，则B为一个非ASCII字符（该字符由多个字节表示）中的一个字节，并且不为字符的第一个字节编码;
如果B的前两位为1，第三位为0，则B为一个非ASCII字符（该字符由多个字节表示）中的第一个字节，并且该字符由两个字节表示;
如果B的前三位为1，第四位为0，则B为一个非ASCII字符（该字符由多个字节表示）中的第一个字节，并且该字符由三个字节表示;
如果B的前四位为1，第五位为0，则B为一个非ASCII字符（该字符由多个字节表示）中的第一个字节，并且该字符由四个字节表示;

因此，对UTF-8编码中的任意字节，  根据第一位，可判断是否为ASCII字符; 根据前二位，可判断该字节是否为一个字符编码的第一个字节; 根据前四位（如果前两位均为1），可确定该字节为字符编码的第一个字节，并且可判断对应的字符由几个字节表示;根据前五位（如果前四位为1），可判断编码是否有错误或数据传输过程中是否有错误。

UTF-8的设计有以下的多字符组串行的特质：
单字节字符的最高有效比特永远为0。
多字节串行中的首个字符组的几个最高有效比特决定了串行的长度。最高有效位为110的是2字节串行，而1110的是三字节串行，如此类推。
多字节串行中其余的字节中的首两个最高有效比特为10。
UTF-8的这些特质，保证了一个字符的字节串行不会包含在另一个字符的字节串行中。这确保了数据接收方可以从任意一个位置来判断字符的起始字节，适用于在文字中搜索字或词。
另一方面，由于其字节串行设计，如果一个疑似为字符串的串行被验证为UTF-8编码，那么我们可以有把握地说它是UTF-8字符串。一段两字节随机串行碰巧为合法的UTF-8而非ASCII的机率为32分1。对于三字节串行的机率为256分1，对更长的串行的机率就更低了。这样从概率上能避免识别的错误。

UCS和 Unicode标准中对UTF-8的定义稍有不同，因为在UCS中，UTF-8字节序列的最大可能长度为6，以表示所有码值不大于U+7FFFFFFF的字符;而在Unicode中，UTF-8字节序列的最大可能长度为4，以表示所有码值不大于U+0010FFFF的字符。(这一差别在本质上与UCS-4 和UTF-32之间的相同)。

如何识别文本传输的编码：
最标准的途径是检测文本最开头的几个字节（BOM），
开头字节                Charset/encoding,
EF BB BF                   UTF-8
FF FE                      UTF-16/UCS-2, little endian  -- Windows标准（低位在前），Unicode编码
FE FF                      UTF-16/UCS-2, big endian
FF FE 00 00             UTF-32/UCS-4, little endian.
00 00 FE FF             UTF-32/UCS-4, big-endian.

如果传输的文本没有Bom，那就需要采用正则或者其他方式来遍历文本，判断编码规范了。

这里有个有趣的现象。如果你打开记事本，输入联通两个字，然后把文件保存成ANSI格式。当你再次打开的时候，会发现文本乱码。
这是因为"联通"的ANSI/GB2312编码是：
c1 1100 0001
aa 1010 1010
cd 1100 1101
a8 1010 1000
恰好符合UTF-8的编码规范，因此造成识别错误。如果你在"联通"之后多输入几个字，其他的字的编码不见得又恰好是110和10开始的字节，这样再次打开时，记事本就不会坚持这是一个utf8编码的文件，而会用ANSI的方式解读之，这时乱码就不出现了。

对于添加UTF-8 BOM( 字节串 :0XFF 0XBB 0XBF) 的做法，不被Unicode组织推荐，特别是是不能在 POSIX 系统中采用这种做法。此外，在文件头部添加 UTF-8 签名会对很多已有惯例产生妨碍，例如处理一个纯文本程序。

正则表达式判断数据是否为UTF-8编码，参考 http://www.w3.org/International/questions/qa-forms-utf-8，后面有参考代码

最后，总结一下各种文本编码：
ANSI/GB2312/GBK/GB18030 这些都是区域性编码，没有BOM
UNICODE                               目前Windows操作系统使用的内码（低位在前），得到大部分编程语言的支持。标准数据有BOM头。
UTF-8/UTF-16                      通常我们把这个看作传输编码（Unicode的实现方式），用于互联网数据传输。标准数据可能有BOM头。

liucqa · 发表于 2013-4-1 01:21

本帖最后由 liucqa 于 2013-4-2 11:54 编辑

十一、关于URL编码和Base64编码
   在网页采集的过程中，我们经常会遇到所谓的URL编码（也叫百分号编码）和Base64编码。

   先说一下Bsae64编码。BASE64编码是一种常用的将二进制数据转换为64个可打印字符的编码，常用于在通常处理文本数据的场合，表示、传输、存储一些二进制数据。例如邮件系统的MIME协议等。这个协议的用途，是确保接收方在只能识别可见文本字符的情况下，能够接受和识别二进制数据。编码后数据长度大约为原长的135.1%。
   Base64编码是一种一对一的映射编码，其编码长度始终是3的倍数，不足3位，用=填充。所以，如果你看到一大堆乱七八糟的数据后面是=结尾的，大部分时候可以判定是Base64编码。由于Base64是映射编码，所以如果人为改变它的映射表，就可以作为一种简单的数据加密手段了。

   再说一下URL编码，这个编码通常用在网页地址（URL）的传递中，在URL解释中，部分字符例如/ +等，有着特定的意义，因此不能直接使用Base64编码来传输地址文本。这个编码也适用于统一资源标志符(URI)的编码。URI所允许的字符分作保留与未保留。保留字符是那些具有特殊含义的字符. 例如, 斜线字符用于URL (或者更一般的, URI)不同部分的分界符，未保留字符没有这些特殊含义。 URL编码把保留字符表示为%开头的特殊字符序列，所以又叫做百分号编码。
   2005年1月发布的RFC 3986，强制所有新的URI必须对未保留字符不加以百分号编码；其它字符要先转换为UTF-8字节序列, 然后对其字节值使用百分号编码。但是在目前的实际应用中，一个URL地址在做百分号编码之前，其未保留的字符序列不一定采用的是UTF-8编码，也有可能是ANSI编码。此外，部分早期的系统将空格编码成+，而不是标准推荐的%20，这是我们在实际应用中应该注意的事项。

   关于URL编码代码可以参考我的帖子 http://club.excelhome.net/forum. ... =894527&pid=6127746，    URL编码方法在此贴中不再涉及。

补充内容 (2013-6-26 22:57):
http://club.excelhome.net/thread-1026277-1-1.html  测试URL编码可以使用这个工具

liucqa · 发表于 2013-4-1 01:22

本帖最后由 liucqa 于 2013-4-3 09:30 编辑

十二、如何处理各种编码转换（ADODB    Active Data Objects database）
   在VBA中，处理编码转换是一件很麻烦的事情，通常我们采用直接编写代码处理字节数组或者通过API函数来转换各种编码，代码冗长难懂。
对初学者来说，我推荐采用ADODB.Stream对象来处理各种编码转换。
   使用Adodb.Stream对象，要求您的机器上要安装有ADO2.5或者更高版本。在安装了office XP或更高版本的机器上，基本都有这个对象。
   没有这个组件，可下载 MDAC 2.5 或更高版本来升级数据访问组件。

   下面简单列举一下这个对象的方法和属性

关于Adodb.Stream 的使用说明，ProgID："Adodb.Stream"

有下列方法：

Cancel 方法
Object.Cancel
说明：取消执行挂起的异步 Execute 或 Open 方法的调用。
Close 方法
Object.Close
：关闭对像
CopyTo 方法
Object.CopyTo(destStream,[CharNumber])
说明：将对像的数据复制，destStream指向要复制的对像，CharNumber为可选参数，指要复制的字节数，不选为全部复制。
Flush 方法
Object.Flush
说明：
LoadFromFile 方法
Object.LoadFromFile(FileName)
说明:将FileName指定的文件装入对像中,参数FileName为指定的用户名。
Open 方法
Object.Open(Source,[Mode],[Options],[UserName],[Password])
说明：打开对像，
参数说明：Sourece 对像源，可不指定
Mode 指定打开模式，可不指定，可选参数如下：
adModeRead =1
adModeReadWrite =3
adModeRecursive =4194304
adModeShareDenyNone =16
adModeShareDenyRead =4
adModeShareDenyWrite =8
adModeShareExclusive =12
adModeUnknown =0
adModeWrite =2
Options 指定打开的选项，可不指定，可选参数如下：
adOpenStreamAsync =1
adOpenStreamFromRecord =4
adOpenStreamUnspecified=-1
UserName 指定用户名，可不指定。
Password 指定用户名的密码
Read 方法
Object.Read(Numbytes)
说明：读取指定长度的二进制内容。
参数说明：Numbytes指定的要读取的找度，不指定则读取全部。
ReadText 方法
Object.ReadText(NumChars)
说明：读取指定长度的文本
参数说明：NumChars指定的要读取的找度，不指定则读取全部。
SaveToFile 方法
Object.SaveToFile(FileName,[Options])
说明：将对像的内容写到FileName指定的文件中
参数说明：FileName指定的文件
Options 存取的选项，可不指定，可选参数如下：
adSaveCreateNotExist =1
adSaveCreateOverWrite =2
SetEOS 方法
Object.setEOS()
说明：
SkipLine 方法
Object.SkipLine()
说明：
Write 方法
Object.Write(Buffer)
说明：将指定的数据装入对像中。
参数说明：Buffer 为指定的要写入的内容。
WriteText 方法
Object.Write(Data,[Options])
说明：将指定的文本数据装入对像中。
参数说明：Data 为指定的要写入的内容。
Options 写入的选项，可不指定，可选参数如下：
adWriteChar =0
adWriteLine =1

复制代码

有下列属性：

Charset
EOS 返回对像内数据是否为空。
LineSeparator 指定换行格式，可选参数有
adCR =13
adCRLF =-1
adLF =10
Mode 指定或返加模式。
Position 指定或返加对像内数据的当前指针。
Size 返回对像内数据的大小。
State 返加对像状态是否打开。
Type 指定或返回的数据类型，可选参数为：
adTypeBinary =1
adTypeText =2

复制代码

Word文件

ADO_2.5对象模型.rar (28.08 KB, 下载次数: 380)

CHM文件

ADO2.5.part1.rar (1 MB, 下载次数: 541)

ADO2.5.part2.rar (734.37 KB, 下载次数: 358)

liucqa · 发表于 2013-4-1 01:24

本帖最后由 liucqa 于 2014-4-20 12:59 编辑

十三、ADODB.Stream做编码转换的示例（ANSI/UNICODE/UTF-8/BASE64等编码）

Sub testAdodbStream()
Dim bg(1) As Byte, bu(1) As Byte, butf(2) As Byte
bg(0) = &HD6 'D6D0是"中"的ANSI/gb2312编码
bg(1) = &HD0
MsgBox "转换GB2312字节数组为BSTR字符串：" & BytesToBstr(bg, "GB2312") '"中"
bu(0) = &H2D '4E2D是"中"的Unicode编码,低位在前
bu(1) = &H4E
MsgBox "转换Unicode字节数组为BSTR字符串：" & BytesToBstr(bu, "Unicode") '"中"
butf(0) = &HE4 'E4 B8 AD 是"中"的UTF-8编码
butf(1) = &HB8
butf(2) = &HAD
MsgBox "转换UTF-8字节数组为BSTR字符串：" & BytesToBstr(butf, "utf-8") '"中"
Dim utfbody() As Byte, str As String, buni() As Byte
str = "中"
buni = str
utfbody = BytesToBytesNoBom(buni, "Unicode", "utf-8") '转换unicode字节数组为utf-8的字节数组
utfbody = BytesToBytesNoBom(bg, "gb2312", "utf-8") '转换gb2312字节数组为utf-8的字节数组
Dim strBase64
strBase64 = Base64Encode(bg, "gb2312") '转换gb2312字节数组为Base64字符串
MsgBox "解码Base64字符串为gb2312字符串:" & Base64Decode(strBase64, "gb2312") '解码Base64字符串为gb2312字符串
strBase64 = Base64Encode(utfbody, "utf-8") '转换uft-8字节数组为Base64字符串
MsgBox "解码Base64字符串为utf-8字符串:" & Base64Decode(strBase64, "utf-8") '解码Base64字符串为utf-8字符串
End Sub

复制代码

下面是用到的函数

Function BytesToBstr(ByRef arrBody() As Byte, ByVal CodeBase As String) As String'- ------------------------------------------- -
' 函数说明：字节数组转换成Unicode字符串（BSTR）
'- ------------------------------------------- -
Dim objStream As Object
Set objStream = CreateObject("ADODB.Stream")
objStream.Type = 1 'adTypeBinary=1 adTypeText=2
objStream.Mode = 3 'adModeRead=1 adModeWrite=2 adModeReadWrit=3 adModeUnknown=0
objStream.Open
objStream.Write arrBody
objStream.Position = 0
objStream.Type = 2 'adTypeBinary=1 adTypeText=2
objStream.Charset = CodeBase
BytesToBstr = objStream.ReadText
objStream.Close
Set objStream = Nothing
End Function
Function BytesToBytesNoBom(ByRef arrBody() As Byte, ByVal SCodeBase As String, ByVal DCodeBase As String) As Byte()
'- ------------------------------------------- -
' 函数说明：不同编码的字节数组转换
'- ------------------------------------------- -
Dim objStream As Object
Dim SText$, Dtext$
Set objStream = CreateObject("ADODB.Stream")
objStream.Type = 1 'adTypeBinary=1 adTypeText=2
objStream.Mode = 3 'adModeRead=1 adModeWrite=2 adModeReadWrit=3 adModeUnknown=0
objStream.Open
objStream.Write arrBody
objStream.Position = 0
objStream.Type = 2 'adTypeText = 2
objStream.Charset = SCodeBase
SText = objStream.ReadText '读取文本到sCode(Unicode)
objStream.Position = 0 ' 这只是定位到文件头
objStream.SetEOS 'Position=0,更新 EOS 属性的值。使EOS的位置为0（也就是把结尾设成开头的位置）
objStream.Type = 2 'adTypeText = 2
objStream.Charset = DCodeBase '指定输出编码
objStream.WriteText SText '写入文本数据到Adodb.Stream
'objStream.SaveToFile ThisWorkbook.Path & Application.PathSeparator & "out.bin", 2 '输出成文件
objStream.Position = 0 '切换type之前，要先重置指针为0
objStream.Type = 1 'adTypeBinary=1 adTypeText=2
If InStr(1, DCodeBase, "utf-8", vbTextCompare) > 0 Then '去掉BOM
objStream.Position = 3
ElseIf InStr(1, DCodeBase, "unicode", vbTextCompare) > 0 Then
objStream.Position = 2
End If
BytesToBytesNoBom = objStream.Read
objStream.Close
Set objStream = Nothing
End Function
Public Function Base64Encode(varIn As Variant, CodeBase As String) As String
'- ------------------------------------------- -
' 函数说明：BASE64编码
'- ------------------------------------------- -
Dim adoStream As Object
Dim xmlDoc As Object
Dim xmlNode As Object
Set adoStream = CreateObject("ADODB.Stream")
adoStream.Charset = CodeBase '文本编码
If VarType(varIn) = vbString Then
adoStream.Type = 2 'adTypeText
adoStream.Open
adoStream.WriteText varIn
ElseIf VarType(varIn) = vbByte Or vbArray Then
adoStream.Type = 1 'adTypeBinary
adoStream.Open
adoStream.Write varIn
Else
Exit Function
End If
adoStream.Position = 0
adoStream.Type = 1 'adTypeBinary
Set xmlDoc = CreateObject("MSXML2.DOMDocument")
Set xmlNode = xmlDoc.createElement("MyNode")
xmlNode.DataType = "bin.base64"
xmlNode.nodeTypedValue = adoStream.Read
Base64Encode = xmlNode.Text
adoStream.Close
End Function
Public Function Base64Decode(varIn As Variant, CodeBase As String, Optional ByVal ReturnValueType As VbVarType = vbString) As Byte()
'- ------------------------------------------- -
' 函数说明：BASE64解码
'- ------------------------------------------- -
Dim adoStream As Object
Dim xmlDoc As Object
Dim xmlNode As Object
Set xmlDoc = CreateObject("MSXML2.DOMDocument")
Set xmlNode = xmlDoc.createElement("MyNode")
xmlNode.DataType = "bin.base64"
If VarType(varIn) = vbString Then
xmlNode.Text = Replace(varIn, vbCrLf, "")
ElseIf VarType(varIn) = vbByte Or vbArray Then
xmlNode.Text = Replace(StrConv(varIn, vbUnicode), vbCrLf, "")
Else
Exit Function
End If
Set adoStream = CreateObject("ADODB.Stream")
adoStream.Charset = CodeBase '文本的编码
adoStream.Type = 1 'adTypeBinary
adoStream.Open
adoStream.Write xmlNode.nodeTypedValue
adoStream.Position = 0
If ReturnValueType = vbString Then
adoStream.Type = 2 'adTypeText
Base64Decode = adoStream.ReadText
Else
Base64Decode = adoStream.Read
End If
adoStream.Close
End Function

复制代码

ADODB.Stream可以在不同的地区ANSI编码之间利用Unicode做中转，进行区域编码转换，用处很大。同时，还能操作文件的读取和写入，功能强大，值得大家研究。

此外，上面的Base64编解码函数还用到了MSXML2.DOMDocument对象，本文不做讲解，请自行百度。

liucqa · 发表于 2013-4-1 01:38

本帖最后由 liucqa 于 2014-4-20 13:00 编辑

十四、使用 Adodb.Stream判断文件的Bom头，并返回编码类型

Function CheckTextCode(fullname As String)
'- ------------------------------------------- -
' ANSI无格式定义
' EFBBBF UTF-8
' FFFE UTF-16/UCS-2, little endian
' FEFF UTF-16/UCS-2, big endian
' FFFE 0000 UTF-32/UCS-4, little endian
' 0000 FEFF UTF-32/UCS-4, big endian
'- ------------------------------------------- -
Dim body() As Byte
Set objStream = server.CreateObject("adodb.stream")
objStream.Type = 1
objStream.Mode = 3
objStream.Open
objStream.Position = 0
objStream.LoadFromFile fullname
body = objStream.read(2)
If AscB(MidB(body, 1, 1)) = &HEF And AscB(MidB(body, 2, 1)) = &HBB And AscB(MidB(body, 3, 1)) = &HBF Then
CheckTextCode = "utf-8"
ElseIf AscB(MidB(body, 1, 1)) = &HFF And AscB(MidB(body, 2, 1)) = &HFE Then
CheckTextCode = "unicode"
Else
CheckTextCode = "ANSI/gb2312"
End If
objStream.Close
Set objStream = Nothing
End Function

复制代码

这个函数只能判断有Bom头的文件编码类型。无BOM的数据，需要通过遍历或者正则来进行判断。

正则判断字节数组是不是UTF8格式，数组前面不能有BOM

Sub testUTF8()
Dim butf(2)
butf(0) = &HE4 'E4 B8 AD 是"中"的UTF-8编码
butf(1) = &HB8
butf(2) = &HAD
MsgBox isUTF8(Join(butf))
End Sub
Function isUTF8(ByRef text) As Boolean 'ByRef以提高效率
Dim s$, objReg As Object
Set objReg = CreateObject("vbscript.regexp")
s = "[\xC0-\xDF]([^\x80-\xBF]|$)"
s = s & "|[\xE0-\xEF].{0,1}([^\x80-\xBF]|$)"
s = s & "|[\xF0-\xF7].{0,2}([^\x80-\xBF]|$)"
s = s & "|[\xF8-\xFB].{0,3}([^\x80-\xBF]|$)"
s = s & "|[\xFC-\xFD].{0,4}([^\x80-\xBF]|$)"
s = s & "|[\xFE-\xFE].{0,5}([^\x80-\xBF]|$)"
s = s & "|[\x00-\x7F][\x80-\xBF]"
s = s & "|[\xC0-\xDF].[\x80-\xBF]"
s = s & "|[\xE0-\xEF]..[\x80-\xBF]"
s = s & "|[\xF0-\xF7]...[\x80-\xBF]"
s = s & "|[\xF8-\xFB]....[\x80-\xBF]"
s = s & "|[\xFC-\xFD].....[\x80-\xBF]"
s = s & "|[\xFE-\xFE]......[\x80-\xBF]"
s = s & "|^[\x80-\xBF]"
objReg.Pattern = s
isUTF8 = Not objReg.test(text)
End Function

复制代码

liucqa · 发表于 2013-4-1 01:39

本帖最后由 liucqa 于 2013-4-3 09:31 编辑

十五、如何识别\u前缀的文本字符
在网页处理过程中，我们经常会遇到以\u开头的文本，这种格式是在每个Unicode编码前加上\u的前缀，在ISO标准中已经被淘汰，但部分早期网站和一些编写不规范的网站还在使用这个编码。

处理包含这种编码的文本，通常需要用到正则或者JS对象，下面给出一个使用正则的代码，供参考

Sub TestRegUni()
Dim strTest$, i%, y%, arr1(), arr2()
Dim ireg As Object, imch As Object, mch As Object
strTest = "\u4e2d \u56fd Test\u4e2d\+ \u56fd123"
Set ireg = CreateObject("vbscript.regexp")
ireg.Global = True
ireg.Pattern = "\\u\w{4}"
Set imch = ireg.Execute(strTest)
For Each mch In imch
y = y + 1
ReDim Preserve arr1(1 To y)
ReDim Preserve arr2(1 To y)
arr1(y) = ChrW(CLng(Replace(mch.Value, "\u", "&h")))
arr2(y) = mch.Value
Next
For i = 1 To UBound(arr1)
strTest = Replace(strTest, arr2(i), arr1(i))
Next
MsgBox strTest
Set ireg = Nothing
End Sub

复制代码

本教程到此结束。

附言：文本编码是一个深奥的课题，本文不过是介绍了冰山一角而已，如果您有更好的资料，欢迎跟帖支持，谢谢！

战战如疯 · 发表于 2013-4-1 09:41

这个必须得顶啊！！！！占位占位

战战如疯 · 发表于 2013-4-1 09:43

这个必须得给加精啊

amesman · 发表于 2013-4-1 14:21

学习。。。

lcsccc · 发表于 2013-4-1 14:27

好帖必顶。学习了。

		自动登录	找回密码
密码			免费注册

[分享] VBA高级教程之基础篇：文本编码和字符串处理(包括指针)，ADODB.Stream转换文本编码

评分

评分

评分