文本ANSI、UTF-8、GBK不同编码间转换的疑问

aman1516

一段文字，在记事本中用指定ANSI格式保存（另存为）



然后用Notepad++打开文档，显示正常：

但当我选择编码为ANSI，却显示乱码：


当再用UTF-8编码时，反而是正常的：


问题一，为什么同为ANSI编码，一个正确，一个乱码，ANSI与UTF-8GI 不同应用会自动转换？

问题二，UTF-8如何转为GBK编码？一定要用 GBK汉字字符集 逐个翻译吗

高个子

问题一，正常情况下会自动转换的

wanghan519

notepad++前两天刚爆出来，不反桦就改你代码的问题，作者说是开个玩笑，最好别讨论这个。

另外，常见的转码工具是iconv，或者vim真的很好用，set fileencoding=cp936就可以转码，也可以批量处理

aman1516

高个子 发表于 2023-2-14 18:55
问题一，正常情况下会自动转换的

怎样用NASI仍显示正常，不是以文本原格式为准，其他格式"兼容"也能显示吗，反倒是原格式不能正常显示了
。。。。。。
测试了一下，发现与 Notepad++ 打开似乎默认用UTF-8编码格式显示（反正不是NASI），与原格式无关，
但当你设置好当前页面编码格式，以粘贴方式贴入数据时，设置什么就是什么，都能显示，与原格式无关，
但粘贴后，再转换选择不同编码时，同样不能正常显示

aman1516

文本文档，可用下面函数作个判断：

1. Function GetFileCode(ByVal strFilePath As String)
   
2.     Dim intFile As Integer
   
3.     Dim arrTmp(2) As Byte
   
4.     Dim i As Long
   
5.     intFile = FreeFile
   
6.     Open strFilePath For Binary Access Read As #intFile
   
7.     Get #intFile, 1, arrTmp
   
8.     Close #intFile
   
9.     Select Case arrTmp(0) & arrTmp(1)
   
10.         Case "255254"
    
11.             GetEncode = "Unicode"
    
12.         Case "254255"
    
13.             GetEncode = "Unicode Big Endian"
    
14.         Case "239187"
    
15.             GetEncode = "UTF-8"
    
16.         Case Else
    
17.             GetEncode = "ANSI or Other"
    
18.     End Select
    
19.     GetFileCode = GetEncode
    
20. End Function

复制代码

perfect131

aman1516 发表于 2023-2-14 20:06
文本文档，可用下面函数作个判断：

NO BOM UTF-8判断
https://club.excelhome.net/thread-1646478-1-1.html

aman1516

perfect131 发表于 2023-2-15 12:37
NO BOM UTF-8判断
https://club.excelhome.net/thread-1646478-1-1.html

谢谢分享，学习了，
问题二，UTF-8如何转为GBK编码？
请教下如何实现

smsn

aman1516 发表于 2023-2-15 18:36
谢谢分享，学习了，
问题二，UTF-8如何转为GBK编码？
请教下如何实现

1. #If Win64 Then
   
2.     Public Declare PtrSafe Function WideCharToMultiByte Lib "kernel32" (ByVal CodePage As Long, _
   
3.         ByVal dwFlags As Long, ByVal lpWideCharStr As Long, ByVal cchWideChar As Long, _
   
4.         ByVal lpMultiByteStr As Long, ByVal cchMultiByte As Long, ByVal lpDefaultChar As Long, _
   
5.         ByVal lpUsedDefaultChar As Long) As Long
   
6.     Public Declare PtrSafe Function MultiByteToWideChar Lib "kernel32.dll" (ByVal CodePage As Long, _
   
7.         ByVal dwFlags As Long, ByVal lpMultiByteStr As Long, ByVal cchMultiByte As Long, _
   
8.         ByVal lpWideCharStr As Long, ByVal cchWideChar As Long) As Long
   
9. #Else
   
10.     Public Declare Function WideCharToMultiByte Lib "kernel32" (ByVal CodePage As Long, _
    
11.         ByVal dwFlags As Long, ByVal lpWideCharStr As Long, ByVal cchWideChar As Long, _
    
12.         ByVal lpMultiByteStr As Long, ByVal cchMultiByte As Long, ByVal lpDefaultChar As Long, _
    
13.         ByVal lpUsedDefaultChar As Long) As Long
    
14.     Public Declare Function MultiByteToWideChar Lib "kernel32.dll" (ByVal CodePage As Long, _
    
15.         ByVal dwFlags As Long, ByVal lpMultiByteStr As Long, ByVal cchMultiByte As Long, _
    
16.         ByVal lpWideCharStr As Long, ByVal cchWideChar As Long) As Long
    
17. #End If
    
18. 
    
19. 'GB2312 转换成UTF-8
    
20. Public Function GB2312toUTF8(ByVal str As String) As String
    
21.     Dim b() As Byte, i As Long, j As Long, k As Long
    
22.     b = StrConv(str, vbFromUnicode)
    
23.     ReDim c(UBound(b) * 3) As Byte
    
24.     For i = 0 To UBound(b)
    
25.         If b(i) < 128 Then
    
26.             c(j) = b(i)
    
27.             j = j + 1
    
28.         Else
    
29.             k = WideCharToMultiByte(CP_UTF8, 0, StrConv(ChrW$(b(i)), vbUnicode), -1, ByVal 0&, 0, ByVal 0&, ByVal 0&)
    
30.             If k > 2 Then
    
31.                 WideCharToMultiByte CP_UTF8, 0, StrConv(ChrW$(b(i)), vbUnicode), -1, c(j), k + 1, ByVal 0&, ByVal 0&
    
32.                 j = j + k - 1
    
33.             End If
    
34.         End If
    
35.     Next i
    
36.     GB2312toUTF8 = StrConv(c(), vbUnicode)
    
37. End Function
    
38. 
    
39. 'UTF-8 转换成GB2312
    
40. Public Function UTF8toGB2312(ByVal str As String) As String
    
41.     Dim b() As Byte, i As Long, j As Long
    
42.     b = StrConv(str & ChrW$(&HFEFF), vbFromUnicode)
    
43.     For i = LBound(b) To UBound(b)
    
44.         If (b(i) And &H80&) <> &H80& Then
    
45.             j = MultiByteToWideChar(CP_UTF8, MB_PRECOMPOSED Or MB_ERR_INVALID_CHARS, b(i), -1, ByVal lpBuffer&, LenB(lpBuffer))
    
46.         ElseIf (b(i) And &HE0&) <> &HE0& Then
    
47.             j = MultiByteToWideChar(CP_UTF8, MB_PRECOMPOSED Or MB_ERR_INVALID_CHARS, CLng((b(i) And &H1F&) * &H10000 Or (b(i + 1) And &H3F&) * &H100& Or (b(i + 2) And &H3F&)), -1, ByVal lpBuffer&, LenB(lpBuffer))
    
48.             i = i + 2
    
49.         ElseIf (b(i) And &HF0&) <> &HF0& Then
    
50.             j = MultiByteToWideChar(CP_UTF8, MB_PRECOMPOSED Or MB_ERR_INVALID_CHARS, CLng((b(i) And &HF&) * &H40000000 Or (b(i + 1) And &H3F&) * &H10000 Or (b(i + 2) And &H3F&) * &H100& Or (b(i + 3) And &H3F&)), -1, ByVal lpBuffer&, LenB(lpBuffer))
    
51.             i = i + 3
    
52.         End If
    
53.     Next i
    
54.     UTF8toGB2312 = StrConv(lpBuffer, j, vbFromUnicode)
    
55. End Function
    
56. 
    

复制代码

参考 http://www.exceloffice.net/archives/999

aman1516

smsn 发表于 2023-2-16 19:12
参考 http://www.exceloffice.net/archives/999

在学习摸索中前行.......

aman1516

VBA高级教程之基础篇：文本编码和字符串处理(包括指针)，ADODB.Stream转换文本编码
https://club.excelhome.net/thread-998747-1-1.html

正如老师所说，文本编码是一个深奥的课题，本文不过是介绍了冰山一角而已
看完终于摸了一下皮毛......