non-existing PPS 0 reference

Question

使用javacv转封装rtsp为rtmp时偶尔会出现如下问题：
no frame!
[h264 @ 000000004faf7500] non-existing PPS 0 referenced
[h264 @ 000000004faf7500] non-existing PPS 0 referenced
[h264 @ 000000004faf7500] decode_slice_header error

Answer 1

引自免费微信小程序：皆我百晓生

在使用JavaCV进行RTSP到RTMP的转封装过程中遇到“no frame!”、"non-existing PPS 0 referenced"以及"decode_slice_header error"等错误，这通常与H.264编码流的解码过程有关。这些错误提示表明解码器在处理视频帧时遇到了不完整的序列参数集（SPS）或图像参数集（PPS），导致无法正确解析和解码视频数据。为解决这个问题，可以尝试以下几种方法：

1. 确保源RTSP流稳定性： 检查RTSP流的稳定性，确认是否存在丢包、延迟或间歇性中断等问题。如果源头流不稳定，可能会导致SPS/PPS信息丢失或乱序。确保网络环境良好，或者与流提供者沟通优化源流质量。

2. 捕获并缓存SPS/PPS： 在解码过程中，首次接收到SPS和PPS时将其缓存起来，并在后续解码过程中，尤其是遇到“non-existing PPS 0 referenced”错误时，手动将缺失的SPS/PPS插入到帧数据前。以下是一个简单的示例代码片段：

   FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(rtspUrl);
   grabber.start();
   
   // 缓存SPS和PPS
   byte[] sps = null, pps = null;
   
   Frame frame;
   while ((frame = grabber.grab()) != null) {
       if (frame instanceof AVPacketFrame) {
           AVPacket packet = ((AVPacketFrame) frame).packet();
           if (packet.streamIndex() == grabber.getVideoStreamIndex()) {
               if (packet.isKeyFrame()) {
                   ByteBuffer data = packet.data();
                   if (data.hasRemaining() && NALUnitType.fromByte(data.get(0)) == NALUnitType.SPS) {
                       sps = new byte[packet.size()];
                       packet.data().get(sps);
                   } else if (data.hasRemaining() && NALUnitType.fromByte(data.get(0)) == NALUnitType.PPS) {
                       pps = new byte[packet.size()];
                       packet.data().get(pps);
                   }
               }
   
               // 如果已获取到SPS和PPS，且当前帧解码出错，尝试修复
               if (sps != null && pps != null && packet.isKeyFrame()) {
                   // ...（此处实现错误检测逻辑，如检查日志输出或抛出的异常）
                   // 若检测到"non-existing PPS 0 referenced"错误，插入缺失的SPS/PPS
   
                   // 创建新的AVPacket，包含SPS和PPS
                   AVPacket spsPpsPacket = new AVPacket();
                   spsPpsPacket.pts(packet.pts());
                   spsPpsPacket.dts(packet.dts());
   
                   // 封装SPS
                   ByteBuffer spsBuffer = ByteBuffer.allocate(4 + sps.length);
                   spsBuffer.putInt(1); // NALU start code
                   spsBuffer.put(sps);
                   spsPpsPacket.setData(spsBuffer);
   
                   // 封装PPS
                   ByteBuffer ppsBuffer = ByteBuffer.allocate(4 + pps.length);
                   ppsBuffer.putInt(1); // NALU start code
                   ppsBuffer.put(pps);
                   spsPpsPacket.appendData(ppsBuffer);
   
                   // 将包含SPS和PPS的新packet发送到RTMP推流器
   
                   // 继续处理原packet
                   // ...
               }
           }
       }
   }
   

   注意：上述代码仅作为示例，实际应用中可能需要根据具体项目结构和使用的库版本进行适当调整。此外，由于JavaCV并未直接提供插入SPS/PPS的方法，您可能需要深入FFmpeg的API层次，或者寻找其他第三方库来实现这一功能。

3. 调整解码器配置： 使用FFmpeg命令行工具或JavaCV提供的API设置解码器选项，尝试增加对不完整或损坏流的容错能力。例如，可以尝试添加以下解码器选项：

   grabber.setOption("fflags", "discardcorrupt");
   grabber.setOption("error-resilient", "1");
   grabber.setOption("max_interleave_delta", "0");
   

   这些选项有助于跳过损坏的数据块、启用错误恢复模式以及限制交错处理的最大延迟，可能有助于缓解解码问题。

4. 更新或替换解码器： 确保使用的FFmpeg版本及附带的H.264解码器是最新的。有时，旧版解码器可能无法正确处理某些编码流。如果问题依然存在，考虑更换为其他解码器库（如OpenH264）或使用更稳定的FFmpeg构建。

5. 监控与调试： 使用FFmpeg命令行工具直接拉取RTSP流并进行转封装，观察是否同样出现类似错误。这有助于判断问题是否源于JavaCV封装层，还是底层FFmpeg库。同时，启用详细的日志输出，分析错误发生的具体上下文，以便进一步定位问题。

通过上述方法，您可以逐步排查并解决RTSP到RTMP转封装过程中遇到的H.264解码问题。请注意，由于JavaCV对FFmpeg的封装较为复杂，部分解决方案可能需要深入FFmpeg API或寻求第三方库支持。在实际操作中，请根据项目具体情况灵活调整。