Android屏幕共享时视频卡顿如何优化？

Question

在Android屏幕共享过程中，常见问题是由于系统捕获帧率不稳定导致视频卡顿。尤其在低端设备上，MediaProjection API获取的画面存在丢帧、编码延迟等问题，叠加SurfaceView与GLRenderer间数据传递效率低，进一步加剧卡顿。如何优化屏幕采集帧率与编码性能的平衡，提升共享画面流畅性？

Answer 1

一、Android屏幕共享中的帧率稳定性问题剖析

在Android平台进行屏幕共享时，MediaProjection API是实现画面捕获的核心机制。然而，在实际应用中，尤其是在低端设备上，系统级画面采集常出现帧率波动、丢帧和编码延迟等问题。这些问题的根本原因在于：系统资源调度优先级较低，GPU与CPU协同效率不足，以及视频编码器（如MediaCodec）在高负载下响应缓慢。

此外，当使用SurfaceView作为显示输出载体，并通过GLRenderer进行图像渲染处理时，数据在Surface与OpenGL ES之间的传递路径较长，增加了内存拷贝开销与线程同步延迟，进一步加剧了整体卡顿现象。

二、从采集到编码的全流程瓶颈分析

1. 采集层：MediaProjection返回的VirtualDisplay将画面绘制到Surface上，若未合理设置刷新间隔（如requestScreenCapture调用频率不当），会导致采集帧率低于预期（如目标30fps实际仅15~20fps）。
2. 传输层：Surface到MediaCodec的数据通路依赖底层BufferQueue机制，若生产者（VirtualDisplay）与消费者（Encoder）速率不匹配，则触发缓冲区堆积或丢弃。
3. 编码层：H.264编码器在低性能SoC上难以维持恒定码率输出，特别是在动态画面场景下，I帧编码耗时显著增加，造成编码延迟累积。
4. 渲染层：GLRenderer若未采用离屏FBO（Frame Buffer Object）异步读取策略，会阻塞主线程或渲染线程，影响帧提交及时性。

三、关键优化策略与技术方案对比

优化方向	具体措施	适用场景	性能增益
采集控制	动态调节VirtualDisplay刷新率，结合 Choreographer 回调对齐VSYNC	所有Android设备	+20% 帧稳定性
编码参数调优	启用CBR+LTR模式，降低Profile为Baseline，减小GOP size	低端设备优先	+30% 编码吞吐
数据通路优化	使用ImageReader替代Surface作为中间媒介，直接获取YUV数据	需精细控制编码输入	-40% 内存拷贝延迟
GPU加速	通过EGL+OES纹理共享，实现SurfaceTexture → Shader → MediaCodec零拷贝路径	支持OpenGL ES 3.0+	+50% 渲染效率
线程模型重构	分离采集、编码、网络发送至独立HandlerThread，避免阻塞	高并发推流场景	+25% 系统响应速度

四、典型代码实现：高效屏幕采集与编码链路

// 创建安全的编码Surface
private MediaCodec createVideoEncoder() {
    MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE, width, height);
    format.setInteger(MediaFormat.KEY_COLOR_FORMAT, 
                     MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
    format.setInteger(MediaFormat.KEY_BIT_RATE, BITRATE);
    format.setInteger(MediaFormat.KEY_FRAME_RATE, FRAME_RATE);
    format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1); // 每秒关键帧
    format.setInteger(MediaFormat.KEY_PROFILE, MediaCodecInfo.CodecProfileLevel.AVCProfileBaseline);
    format.setInteger("latency", 1); // 启用低延迟模式（部分厂商支持）

    MediaCodec encoder = MediaCodec.createEncoderByType(MIME_TYPE);
    encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
    
    Surface surface = encoder.createInputSurface();
    encoder.start();
    return encoder;
}

// 使用Choreographer同步采集节奏
Choreographer.getInstance().postFrameCallback(new Choreographer.FrameCallback() {
    @Override
    public void doFrame(long frameTimeNanos) {
        virtualDisplay.getSurface().lockCanvas(null).drawColor(Color.TRANSPARENT, Mode.CLEAR);
        // 触发下一帧采集
        Choreographer.getInstance().postFrameCallback(this);
    }
});
  

五、系统级架构优化：基于Mermaid的流程图展示

graph TD
      A[MediaProjection] --> B[VirtualDisplay]
      B --> C{选择通路}
      C -->|高性能路径| D[Surface + EGL共享纹理]
      C -->|可控路径| E[ImageReader获取YUV]
      D --> F[OpenGL ES Shader处理]
      E --> G[NV12转YUV420P]
      F --> H[MediaCodec编码]
      G --> H
      H --> I[RTMP/WebRTC推送]
      J[Choreographer VSYNC] --> K[驱动采集节奏]
      K --> B
      style D fill:#e0f7fa,stroke:#006064
      style E fill:#f0f4c3,stroke:#9e9d24

六、实测性能指标与调参建议

• 目标帧率设定应根据设备能力分级：高端机可设30fps，低端机建议15~20fps以保流畅。
• 启用Adaptive Bitrate Control，根据编码队列深度动态调整输出码率。
• 使用StatsLog监控GraphicBuffer生产/消费延迟，识别瓶颈阶段。
• 对于内存受限设备，限制预分配Buffer数量（setMaximumBufferSize）防止OOM。
• 避免在onDrawFrame中执行阻塞性操作，确保GLRenderer帧间间隔稳定。
• 考虑使用MediaMuxer本地录制辅助调试，分析原始帧时间戳分布。
• 在API 29+设备上尝试使用Persistent Data Channel减少Surface重建开销。
• 监控CPU占用率，若mediaserver线程持续>80%，需降分辨率或关闭滤镜特效。
• 利用Traceview/Systrace定位Java层方法阻塞点，特别是SurfaceControl交互部分。
• 测试不同厂商ROM下的MediaCodec行为差异，例如华为EMUI对编码器有额外功耗限制。