Camera1预览镜像时画面左右颠倒如何解决？

Question

在使用Android Camera1 API进行预览时，开启镜像（如前置摄像头常见需求）后画面左右颠倒的问题较为常见。尤其是在视频通话或自拍场景中，开发者通过`setMatrix()`或`setScale(-1, 1)`实现水平翻转后，预览图像虽呈镜像效果，但触摸对焦、人脸识别等坐标未同步调整，导致交互错位。此外，部分机型在不同屏幕旋转状态下，Camera预览Surface显示方向与传感器方向不一致，加剧了视觉混乱。如何在保持正确预览方向的同时，精准校正触控坐标与图像数据的映射关系，成为Camera1架构下镜像处理的关键难题。

Answer 1

Android Camera1 API 镜像预览中的坐标映射与显示方向校准深度解析

1. 问题背景与常见表现

在使用 Android Camera1 API 实现前置摄像头镜像功能时，开发者通常通过 Matrix.setScale(-1, 1) 对预览 SurfaceView 或 TextureView 进行水平翻转，以实现“自拍镜像”效果。然而，这种视觉上的翻转并未改变底层图像数据的原始布局，导致触摸对焦、人脸识别框绘制等基于屏幕坐标的交互逻辑出现左右颠倒的错位。

更复杂的是，当设备处于不同旋转状态（如横屏左/右、竖屏倒置）时，Camera 的传感器方向（Sensor Orientation）与屏幕显示方向（Display Rotation）之间存在动态偏移，若未正确补偿，预览画面会出现90°或180°旋转偏差，叠加镜像后进一步加剧用户感知混乱。

2. 技术原理分层剖析

1. Camera 预览流管道：图像从 Sensor 输出 → 经过 ISP 处理 → 编码为 NV21/YUV 格式 → 送入预览 Surface 渲染。
2. 显示变换机制：通过 Canvas.drawBitmap() 结合 Matrix 变换实现 UI 层翻转，不影响原始帧数据。
3. 坐标系统差异：触控事件返回的是屏幕坐标系（left-handed），而相机识别模块常工作于图像坐标系（可能为 right-handed after flip）。
4. 传感器方向获取：调用 Camera.CameraInfo.orientation 获取物理传感器相对于自然方向的角度。
5. Activity 窗口旋转监听：通过 Display.getRotation() 动态获取当前屏幕旋转状态。

3. 关键挑战归纳

挑战维度	具体问题	影响范围
视觉一致性	镜像后画面左右颠倒但数据未变	用户体验割裂
坐标映射	触摸点无法准确对应到图像区域	对焦失败
多机型兼容性	厂商定制 ROM 对 Camera 方向处理不一致	适配成本高
动态旋转响应	屏幕旋转后预览方向错乱	横屏场景失效
性能开销	频繁矩阵计算与坐标转换	低端机卡顿

4. 解决方案设计路径

为解决上述问题，需构建一个统一的坐标映射校正框架，涵盖以下核心步骤：

• 获取当前屏幕旋转角度（0°, 90°, 180°, 270°）
• 查询 Camera 传感器方向（通常为90°或270° for front camera）
• 计算预览显示所需旋转角度：displayRotation - sensorOrientation
• 若为前置摄像头且需镜像，则额外应用水平翻转
• 建立逆向变换矩阵用于将触控坐标映射回原始图像空间
• 在人脸检测回调中同步应用相同变换

5. 核心代码实现示例

private Matrix getTransformationMatrix(int viewWidth, int viewHeight,
                                      int bitmapWidth, int bitmapHeight,
                                      int rotation, boolean flipHorizontal) {
    Matrix matrix = new Matrix();
    // 先缩放至视图尺寸
    float scale = Math.max(viewWidth / (float) bitmapWidth,
                           viewHeight / (float) bitmapHeight);
    matrix.postScale(scale, scale);
    // 平移到中心
    matrix.postTranslate((viewWidth - bitmapWidth * scale) / 2,
                         (viewHeight - bitmapHeight * scale) / 2);
    // 应用旋转
    matrix.postRotate(rotation, viewWidth / 2f, viewHeight / 2f);
    // 条件性水平翻转（镜像）
    if (flipHorizontal) {
        matrix.postScale(-1, 1, viewWidth / 2f, viewHeight / 2f);
    }
    return matrix;
}

// 触摸坐标反向映射
public PointF mapScreenToImage(float rawX, float rawY, Matrix inverseMatrix) {
    float[] pts = {rawX, rawY};
    inverseMatrix.mapPoints(pts);
    return new PointF(pts[0], pts[1]);
}
    

6. 坐标变换流程图（Mermaid）

graph TD
    A[原始触控坐标] --> B{是否启用镜像?}
    B -- 是 --> C[应用 Matrix.inverse()]
    B -- 否 --> D[直接使用]
    C --> E[得到图像空间坐标]
    D --> E
    E --> F[传递给人脸识别/对焦模块]
    F --> G[在原始帧上定位目标]
    G --> H[返回结果并正向渲染标注框]
    H --> I[使用正向 Matrix 绘制 UI]
    

7. 多状态组合下的处理策略

针对不同摄像头类型与旋转组合，应预计算变换参数。例如：

设备朝向	Camera Facing	Required Rotation	Apply Flip?	Note
Portrait	Front	270°	Yes	标准自拍模式
Landscape Right	Front	0°	Yes	横屏视频通话
Portrait Upside Down	Rear	180°	No	倒拿手机
Landscape Left	Rear	90°	No	常规横拍
Portrait	Rear	0°	No	默认后置

8. 实际开发建议与最佳实践

• 始终在 onConfigurationChanged() 或 OrientationEventListener 中重新计算变换矩阵
• 缓存 CameraInfo 信息避免重复查询
• 对前置摄像头默认开启镜像，可通过配置项关闭
• 使用 RectF 和 PointF 进行浮点精度坐标运算
• 在低端设备上避免每帧重建 Matrix，仅在配置变更时更新
• 结合 Firebase ML Kit 或 MediaPipe 时注意其输入方向要求
• 录制视频时不应对编码帧做软件翻转，应在渲染层处理镜像