git.sesse.net Git - nageru/blob - kaeru.cpp

   1 // Kaeru (変える), a simple transcoder intended for use with Nageru.
   2 // This is experimental code, not yet supported.
   3
   4 #include "audio_encoder.h"
   5 #include "defs.h"
   6 #include "flags.h"
   7 #include "ffmpeg_capture.h"
   8 #include "mixer.h"
   9 #include "mux.h"
  10 #include "timebase.h"
  11 #include "x264_encoder.h"
  12
  13 #include <assert.h>
  14 #include <fcntl.h>
  15 #include <unistd.h>
  16 #include <string>
  17
  18 using namespace bmusb;
  19 using namespace movit;
  20 using namespace std;
  21 using namespace std::placeholders;
  22
  23 Mixer *global_mixer = nullptr;
  24
  25 int write_packet(void *opaque, uint8_t *buf, int buf_size, AVIODataMarkerType type, int64_t time)
  26 {
  27         static bool seen_sync_markers = false;
  28         static string stream_mux_header;
  29         HTTPD *httpd = (HTTPD *)opaque;
  30
  31         if (type == AVIO_DATA_MARKER_SYNC_POINT || type == AVIO_DATA_MARKER_BOUNDARY_POINT) {
  32                 seen_sync_markers = true;
  33         } else if (type == AVIO_DATA_MARKER_UNKNOWN && !seen_sync_markers) {
  34                 // We don't know if this is a keyframe or not (the muxer could
  35                 // avoid marking it), so we just have to make the best of it.
  36                 type = AVIO_DATA_MARKER_SYNC_POINT;
  37         }
  38
  39         if (type == AVIO_DATA_MARKER_HEADER) {
  40                 stream_mux_header.append((char *)buf, buf_size);
  41                 httpd->set_header(stream_mux_header);
  42         } else {
  43                 httpd->add_data((char *)buf, buf_size, type == AVIO_DATA_MARKER_SYNC_POINT);
  44         }
  45         return buf_size;
  46 }
  47
  48 unique_ptr<Mux> create_mux(HTTPD *httpd, AVOutputFormat *oformat, X264Encoder *x264_encoder, AudioEncoder *audio_encoder)
  49 {
  50         AVFormatContext *avctx = avformat_alloc_context();
  51         avctx->oformat = oformat;
  52
  53         uint8_t *buf = (uint8_t *)av_malloc(MUX_BUFFER_SIZE);
  54         avctx->pb = avio_alloc_context(buf, MUX_BUFFER_SIZE, 1, httpd, nullptr, nullptr, nullptr);
  55         avctx->pb->write_data_type = &write_packet;
  56         avctx->pb->ignore_boundary_point = 1;
  57
  58         string video_extradata = x264_encoder->get_global_headers();
  59
  60         unique_ptr<Mux> mux;
  61         int time_base = global_flags.stream_coarse_timebase ? COARSE_TIMEBASE : TIMEBASE;
  62         mux.reset(new Mux(avctx, global_flags.width, global_flags.height, Mux::CODEC_H264, video_extradata, audio_encoder->get_codec_parameters().get(), time_base,
  63                 /*write_callback=*/nullptr, Mux::WRITE_FOREGROUND, {}));
  64         return mux;
  65 }
  66
  67 void video_frame_callback(FFmpegCapture *video, X264Encoder *x264_encoder, AudioEncoder *audio_encoder,
  68                           int64_t video_pts, AVRational video_timebase,
  69                           int64_t audio_pts, AVRational audio_timebase,
  70                           uint16_t timecode,
  71                           FrameAllocator::Frame video_frame, size_t video_offset, VideoFormat video_format,
  72                           FrameAllocator::Frame audio_frame, size_t audio_offset, AudioFormat audio_format)
  73 {
  74         if (video_pts >= 0 && video_frame.len > 0) {
  75                 video_pts = av_rescale_q(video_pts, video_timebase, AVRational{ 1, TIMEBASE });
  76                 int64_t frame_duration = TIMEBASE * video_format.frame_rate_nom / video_format.frame_rate_den;
  77                 x264_encoder->add_frame(video_pts, frame_duration, video->get_current_frame_ycbcr_format().luma_coefficients, video_frame.data + video_offset, ReceivedTimestamps());
  78         }
  79         if (audio_frame.len > 0) {
  80                 // FFmpegCapture takes care of this for us.
  81                 assert(audio_format.num_channels == 2);
  82                 assert(audio_format.sample_rate == OUTPUT_FREQUENCY);
  83
  84                 // TODO: Reduce some duplication against AudioMixer here.
  85                 size_t num_samples = audio_frame.len / (audio_format.bits_per_sample / 8);
  86                 vector<float> float_samples;
  87                 float_samples.resize(num_samples);
  88                 if (audio_format.bits_per_sample == 16) {
  89                         const int16_t *src = (const int16_t *)audio_frame.data;
  90                         float *dst = &float_samples[0];
  91                         for (size_t i = 0; i < num_samples; ++i) {
  92                                 *dst++ = le16toh(*src++) * (1.0f / 32768.0f);
  93                         }
  94                 } else if (audio_format.bits_per_sample == 32) {
  95                         const int32_t *src = (const int32_t *)audio_frame.data;
  96                         float *dst = &float_samples[0];
  97                         for (size_t i = 0; i < num_samples; ++i) {
  98                                 *dst++ = le32toh(*src++) * (1.0f / 2147483648.0f);
  99                         }
 100                 } else {
 101                         assert(false);
 102                 }
 103                 audio_pts = av_rescale_q(audio_pts, audio_timebase, AVRational{ 1, TIMEBASE });
 104                 audio_encoder->encode_audio(float_samples, audio_pts);
 105         }
 106
 107         if (video_frame.owner) {
 108                 video_frame.owner->release_frame(video_frame);
 109         }
 110         if (audio_frame.owner) {
 111                 audio_frame.owner->release_frame(audio_frame);
 112         }
 113 }
 114
 115 void audio_frame_callback(Mux *mux, const AVPacket *pkt, AVRational timebase)
 116 {
 117         mux->add_packet(*pkt, pkt->pts, pkt->dts == AV_NOPTS_VALUE ? pkt->pts : pkt->dts, timebase);
 118 }
 119
 120 int main(int argc, char *argv[])
 121 {
 122         parse_flags(PROGRAM_KAERU, argc, argv);
 123         if (optind + 1 != argc) {
 124                 usage(PROGRAM_KAERU);
 125                 exit(1);
 126         }
 127
 128         av_register_all();
 129         avformat_network_init();
 130
 131         HTTPD httpd;
 132
 133         AVOutputFormat *oformat = av_guess_format(global_flags.stream_mux_name.c_str(), nullptr, nullptr);
 134         assert(oformat != nullptr);
 135
 136         unique_ptr<AudioEncoder> audio_encoder;
 137         if (global_flags.transcode_audio) {
 138                 if (global_flags.stream_audio_codec_name.empty()) {
 139                         audio_encoder.reset(new AudioEncoder(AUDIO_OUTPUT_CODEC_NAME, DEFAULT_AUDIO_OUTPUT_BIT_RATE, oformat));
 140                 } else {
 141                         audio_encoder.reset(new AudioEncoder(global_flags.stream_audio_codec_name, global_flags.stream_audio_codec_bitrate, oformat));
 142                 }
 143         }
 144
 145         X264Encoder x264_encoder(oformat);
 146         unique_ptr<Mux> http_mux = create_mux(&httpd, oformat, &x264_encoder, audio_encoder.get());
 147         if (global_flags.transcode_audio) {
 148                 audio_encoder->add_mux(http_mux.get());
 149         }
 150         x264_encoder.add_mux(http_mux.get());
 151
 152         FFmpegCapture video(argv[optind], global_flags.width, global_flags.height);
 153         video.set_pixel_format(FFmpegCapture::PixelFormat_NV12);
 154         video.set_frame_callback(bind(video_frame_callback, &video, &x264_encoder, audio_encoder.get(), _1, _2, _3, _4, _5, _6, _7, _8, _9, _10, _11));
 155         if (!global_flags.transcode_audio) {
 156                 video.set_audio_callback(bind(audio_frame_callback, http_mux.get(), _1, _2));
 157         }
 158         video.configure_card();
 159         video.start_bm_capture();
 160         video.change_rate(2.0);  // Be sure never to really fall behind, but also don't dump huge amounts of stuff onto x264.
 161
 162         httpd.start(9095);
 163
 164         for ( ;; ) {
 165                 sleep(3600);
 166         }
 167 }