C++ char* 转 C# string 时中文乱码如何解决？

Question

在C++/C#混合编程（如P/Invoke或COM互操作）中，将C++的`char*`（尤其含中文）传递至C#并转为`string`时，常因编码不一致导致乱码：若C++侧使用UTF-8编码但C#默认以ANSI（系统本地代码页，如GBK）解码，或反之，均会失真。典型场景包括DLL导出函数返回`const char*`、回调函数传参、或内存共享字符串。根本原因在于`Marshal.PtrToStringAnsi()`强制按系统ANSI解码，而现代C++多采用UTF-8；而`PtrToStringUTF8()`（.NET 5+）虽可解UTF-8，但旧框架不支持。此外，未显式指定编码、忽略BOM、跨平台（Windows/Linux默认编码差异）亦加剧问题。解决关键在于**两端编码契约统一**：C++明确输出UTF-8字节流，C#选用`Marshal.PtrToStringUTF8()`（.NET 5+）或`Encoding.UTF8.GetString()`配合`Marshal.Copy()`（全版本兼容），严禁依赖`PtrToStringAnsi`处理非ANSI文本。

Answer 1

```html

一、现象层：乱码的典型表现与复现路径

• Windows平台调用UTF-8编码的C++ DLL时，C#侧显示“文件夹”而非“文件夹”；
• Linux下P/Invoke返回中文字符串，在.NET Core 3.1中显示为字符；
• COM回调函数传入const char*，C#用Marshal.PtrToStringAnsi()解码后首字节截断或偏移；
• 跨平台共享内存字符串（如mmap + null-terminated UTF-8），在macOS上解码失败率高于Windows。

二、机制层：编码失配的底层执行链路

以下流程图揭示从C++内存到C#托管字符串的关键转换节点：

flowchart LR
    A[C++: char* buf = u8\"你好\"] --> B[内存布局：0xE4 0xBD 0xA0 0xE5 0xA5 0xBD 0x00]
    B --> C{C# Marshal调用}
    C --> D[PtrToStringAnsi() → 用GBK解码 → 错误映射]
    C --> E[PtrToStringUTF8() → UTF-8解码 → 正确]
    C --> F[Encoding.UTF8.GetString + Marshal.Copy → 兼容全版本]
    D --> G[乱码输出]
    E & F --> H[正确string]

三、契约层：显式编码约定的三大黄金法则

维度	C++侧义务	C#侧义务
编码声明	所有char*文档/注释明确标注// UTF-8 encoded, no BOM	P/Invoke签名添加[return: MarshalAs(UnmanagedType.LPStr)]并配套UTF-8解码逻辑
内存管理	导出函数返回堆分配字符串时，提供void free_string(char*)供C#显式释放	使用Marshal.AllocHGlobal申请缓冲区时，必须配对Marshal.FreeHGlobal
边界安全	回调参数强制校验长度（如size_t len）+ 显式null终止	禁用PtrToStringAuto——该API在.NET Framework中行为不一致

四、实现层：全框架兼容的健壮转换方案

以下代码覆盖.NET Framework 4.6.1至.NET 8全栈场景：

// ✅ 推荐：全版本兼容的UTF-8安全转换
public static string PtrToStringUtf8(IntPtr ptr)
{
    if (ptr == IntPtr.Zero) return string.Empty;
    
    // Step 1: 获取C字符串长度（避免strlen依赖本地locale）
    int len = 0;
    while (Marshal.ReadByte(ptr, len) != 0) len++;
    
    // Step 2: 复制字节流（绕过PtrToStringAnsi陷阱）
    byte[] bytes = new byte[len];
    Marshal.Copy(ptr, bytes, 0, len);
    
    // Step 3: UTF-8解码（自动处理BOM，容错性强）
    return Encoding.UTF8.GetString(bytes);
}

// ✅ .NET 5+ 简洁写法（需TargetFramework≥net5.0）
[DllImport("MyNative.dll")]
[return: MarshalAs(UnmanagedType.LPStr)]
private static extern IntPtr GetUtf8String();

// 调用时：
var ptr = GetUtf8String();
string s = Marshal.PtrToStringUTF8(ptr); // 自动处理null终止与UTF-8

五、验证层：跨平台编码一致性检测矩阵

• 【Windows】运行chcp确认当前代码页为936（GBK）→ 验证PtrToStringAnsi是否必然失败；
• 【Linux/macOS】执行locale -a | grep -i utf确认系统默认UTF-8 → 验证PtrToStringAnsi在非Windows下返回null；
• 使用xxd -g1查看DLL导出字符串原始字节，比对C#端Encoding.UTF8.GetBytes(s)是否完全一致；
• 注入测试：构造含U+1F600（😀）的UTF-8字符串（4字节序列），验证C#端是否能完整还原而非截断为。

六、演进层：面向未来的混合编程编码治理策略

随着C++20 std::u8string和C# 12 ref struct Utf8Span普及，建议建立组织级编码治理规范：

1. 新建C++项目强制启用/utf-8（MSVC）或-finput-charset=utf-8（Clang/GCC）；
2. C# P/Invoke抽象层封装为IStringEncodingBridge接口，支持动态切换UTF-8/UTF-16/GBK策略；
3. CI流水线集成iconv --from-code=GBK --to-code=UTF-8扫描遗留C++源码中的非UTF-8字符串字面量；
4. 文档中心强制要求所有跨语言API契约包含“Encoding: UTF-8 (RFC 3629)”字段。

```