]> git.sesse.net Git - nageru/blobdiff - nageru/ffmpeg_capture.cpp
Fix a warning wording in FFmpegCapture.
[nageru] / nageru / ffmpeg_capture.cpp
index 0dea5598555921c401d8e3d463796dc3edaad9f6..79fba7b9ab4ebf4135e8e9f34c145e78a676e7b4 100644 (file)
@@ -26,6 +26,7 @@ extern "C" {
 #include <cstdint>
 #include <utility>
 #include <vector>
+#include <unordered_set>
 
 #include <Eigen/Core>
 #include <Eigen/LU>
@@ -43,8 +44,6 @@ extern "C" {
 #include <srt/srt.h>
 #endif
 
-#define FRAME_SIZE (8 << 20)  // 8 MB.
-
 using namespace std;
 using namespace std::chrono;
 using namespace bmusb;
@@ -124,8 +123,8 @@ AVPixelFormat decide_dst_format(AVPixelFormat src_format, bmusb::PixelFormat dst
                if (desc->comp[0].depth != 8) continue;
 
                // Same or better chroma resolution only.
-               int chroma_w_diff = desc->log2_chroma_w - src_desc->log2_chroma_w;
-               int chroma_h_diff = desc->log2_chroma_h - src_desc->log2_chroma_h;
+               int chroma_w_diff = src_desc->log2_chroma_w - desc->log2_chroma_w;
+               int chroma_h_diff = src_desc->log2_chroma_h - desc->log2_chroma_h;
                if (chroma_w_diff < 0 || chroma_h_diff < 0)
                        continue;
 
@@ -457,22 +456,60 @@ void FFmpegCapture::send_disconnected_frame()
 template<AVHWDeviceType type>
 AVPixelFormat get_hw_format(AVCodecContext *ctx, const AVPixelFormat *fmt)
 {
-       for (const AVPixelFormat *fmt_ptr = fmt; *fmt_ptr != -1; ++fmt_ptr) {
-               for (int i = 0;; ++i) {  // Termination condition inside loop.
-                       const AVCodecHWConfig *config = avcodec_get_hw_config(ctx->codec, i);
-                       if (config == nullptr) {  // End of list.
-                               fprintf(stderr, "Decoder %s does not support device.\n", ctx->codec->name);
-                               break;
-                       }
-                       if (config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX &&
-                           config->device_type == type &&
-                           config->pix_fmt == *fmt_ptr) {
+       bool found_config_of_right_type = false;
+       for (int i = 0;; ++i) {  // Termination condition inside loop.
+               const AVCodecHWConfig *config = avcodec_get_hw_config(ctx->codec, i);
+               if (config == nullptr) {  // End of list.
+                       break;
+               }
+               if (!(config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX) ||
+                   config->device_type != type) {
+                       // Not interesting for us.
+                       continue;
+               }
+
+               // We have a config of the right type, but does it actually support
+               // the pixel format we want? (Seemingly, FFmpeg's way of signaling errors
+               // is to just replace the pixel format with a software-decoded one,
+               // such as yuv420p.)
+               found_config_of_right_type = true;
+               for (const AVPixelFormat *fmt_ptr = fmt; *fmt_ptr != -1; ++fmt_ptr) {
+                       if (config->pix_fmt == *fmt_ptr) {
+                               fprintf(stderr, "Initialized '%s' hardware decoding for codec '%s'.\n",
+                                       av_hwdevice_get_type_name(type), ctx->codec->name);
+                               if (ctx->profile == FF_PROFILE_H264_BASELINE) {
+                                       fprintf(stderr, "WARNING: Stream claims to be H.264 Baseline, which is generally poorly supported in hardware decoders.\n");
+                                       fprintf(stderr, "         Consider encoding it as Constrained Baseline, Main or High instead.\n");
+                                       fprintf(stderr, "         Decoding might fail and fall back to software.\n");
+                               }
                                return config->pix_fmt;
                        }
                }
+               fprintf(stderr, "Decoder '%s' supports only these pixel formats:", ctx->codec->name);
+               unordered_set<AVPixelFormat> seen;
+               for (const AVPixelFormat *fmt_ptr = fmt; *fmt_ptr != -1; ++fmt_ptr) {
+                       if (!seen.count(*fmt_ptr)) {
+                               fprintf(stderr, " %s", av_get_pix_fmt_name(*fmt_ptr));
+                               seen.insert(*fmt_ptr);
+                       }
+               }
+               fprintf(stderr, " (wanted %s for hardware acceleration)\n", av_get_pix_fmt_name(config->pix_fmt));
+
+       }
+
+       if (!found_config_of_right_type) {
+               fprintf(stderr, "Decoder '%s' does not support device type '%s'.\n", ctx->codec->name, av_hwdevice_get_type_name(type));
+       }
+
+       // We found no VA-API formats, so take the first software format.
+       for (const AVPixelFormat *fmt_ptr = fmt; *fmt_ptr != -1; ++fmt_ptr) {
+               if ((av_pix_fmt_desc_get(*fmt_ptr)->flags & AV_PIX_FMT_FLAG_HWACCEL) == 0) {
+                       fprintf(stderr, "Falling back to software format %s.\n", av_get_pix_fmt_name(*fmt_ptr));
+                       return *fmt_ptr;
+               }
        }
 
-       // We found no VA-API formats, so take the best software format.
+       // Fallback: Just return anything. (Should never really happen.)
        return fmt[0];
 }
 
@@ -620,7 +657,7 @@ bool FFmpegCapture::play_video(const string &pathname)
                        pathname, video_stream_index, audio_stream_index, subtitle_stream_index, audio_frame.get(), &audio_format, &audio_pts, &error);
                if (error) {
                        if (++consecutive_errors >= 100) {
-                               fprintf(stderr, "More than 100 consecutive video frames, aborting playback.\n");
+                               fprintf(stderr, "More than 100 consecutive error video frames, aborting playback.\n");
                                return false;
                        } else {
                                continue;
@@ -1107,6 +1144,16 @@ UniqueFrame FFmpegCapture::make_video_frame(const AVFrame *frame, const string &
 
                current_frame_ycbcr_format = decode_ycbcr_format(desc, frame, is_mjpeg, &last_colorspace, &last_chroma_location);
        }
+
+       // FIXME: Currently, if the video is too high-res for one of the allocated
+       // frames, we simply refuse to scale it here to avoid crashes. It would be better
+       // if we could somehow signal getting larger frames, especially as 4K is a thing now.
+       if (video_frame->len > FRAME_SIZE) {
+               fprintf(stderr, "%s: Decoded frame would be larger than supported FRAME_SIZE (%zu > %u), not decoding.\n", pathname.c_str(), video_frame->len, FRAME_SIZE);
+               *error = true;
+               return video_frame;
+       }
+
        sws_scale(sws_ctx.get(), frame->data, frame->linesize, 0, frame->height, pic_data, linesizes);
 
        return video_frame;