]> git.sesse.net Git - nageru/blob - nageru/kaeru.cpp
52cf70f6aaced56a9ac6588430ccdb9380b6ce2b
[nageru] / nageru / kaeru.cpp
1 // Kaeru (換える), a simple transcoder intended for use with Nageru.
2
3 #include "audio_encoder.h"
4 #include "basic_stats.h"
5 #include "defs.h"
6 #include "flags.h"
7 #include "ffmpeg_capture.h"
8 #include "mixer.h"
9 #include "shared/mux.h"
10 #include "quittable_sleeper.h"
11 #include "shared/timebase.h"
12 #include "x264_encoder.h"
13
14 #include <assert.h>
15 #include <fcntl.h>
16 #include <signal.h>
17 #include <unistd.h>
18 #include <chrono>
19 #include <string>
20
21 extern "C" {
22 #include <libavcodec/bsf.h>
23 }
24
25 using namespace bmusb;
26 using namespace movit;
27 using namespace std;
28 using namespace std::chrono;
29 using namespace std::placeholders;
30
31 Mixer *global_mixer = nullptr;
32 X264Encoder *global_x264_encoder = nullptr;
33 int frame_num = 0;
34 BasicStats *global_basic_stats = nullptr;
35 QuittableSleeper should_quit;
36 MuxMetrics stream_mux_metrics;
37
38 namespace {
39
40 int write_packet(void *opaque, uint8_t *buf, int buf_size, AVIODataMarkerType type, int64_t time)
41 {
42         static bool seen_sync_markers = false;
43         static string stream_mux_header;
44         HTTPD *httpd = (HTTPD *)opaque;
45
46         if (type == AVIO_DATA_MARKER_SYNC_POINT || type == AVIO_DATA_MARKER_BOUNDARY_POINT) {
47                 seen_sync_markers = true;
48         } else if (type == AVIO_DATA_MARKER_UNKNOWN && !seen_sync_markers) {
49                 // We don't know if this is a keyframe or not (the muxer could
50                 // avoid marking it), so we just have to make the best of it.
51                 type = AVIO_DATA_MARKER_SYNC_POINT;
52         }
53
54         HTTPD::StreamID stream_id{ HTTPD::MAIN_STREAM, 0 };
55         if (type == AVIO_DATA_MARKER_HEADER) {
56                 stream_mux_header.append((char *)buf, buf_size);
57                 httpd->set_header(stream_id, stream_mux_header);
58         } else {
59                 httpd->add_data(stream_id, (char *)buf, buf_size, type == AVIO_DATA_MARKER_SYNC_POINT, time, AVRational{ AV_TIME_BASE, 1 });
60         }
61         return buf_size;
62 }
63
64 }  // namespace
65
66 unique_ptr<Mux> create_mux(HTTPD *httpd, const AVOutputFormat *oformat, X264Encoder *x264_encoder, AudioEncoder *audio_encoder)
67 {
68         AVFormatContext *avctx = avformat_alloc_context();
69         avctx->oformat = oformat;  // const_cast is a hack to work in FFmpeg both before and after 5.0.
70
71         uint8_t *buf = (uint8_t *)av_malloc(MUX_BUFFER_SIZE);
72         avctx->pb = avio_alloc_context(buf, MUX_BUFFER_SIZE, 1, httpd, nullptr, nullptr, nullptr);
73         avctx->pb->write_data_type = &write_packet;
74         avctx->pb->ignore_boundary_point = 1;
75         avctx->flags = AVFMT_FLAG_CUSTOM_IO;
76
77         string video_extradata = x264_encoder->get_global_headers();
78
79         // If audio is disabled (ie., we won't ever see any audio packets),
80         // set nullptr here to also not include the stream in the mux.
81         AVCodecParameters *audio_codecpar =
82                 global_flags.enable_audio ? audio_encoder->get_codec_parameters().release() : nullptr;
83
84         unique_ptr<Mux> mux;
85         mux.reset(new Mux(avctx, global_flags.width, global_flags.height, Mux::CODEC_H264, video_extradata, audio_codecpar,
86                 get_color_space(global_flags.ycbcr_rec709_coefficients), COARSE_TIMEBASE,
87                 /*write_callback=*/nullptr, Mux::WRITE_FOREGROUND, { &stream_mux_metrics }));
88         stream_mux_metrics.init({{ "destination", "http" }});
89         return mux;
90 }
91
92 void video_frame_callback(FFmpegCapture *video, X264Encoder *x264_encoder, AudioEncoder *audio_encoder,
93                           int64_t video_pts, AVRational video_timebase,
94                           int64_t audio_pts, AVRational audio_timebase,
95                           uint16_t timecode,
96                           FrameAllocator::Frame video_frame, size_t video_offset, VideoFormat video_format,
97                           FrameAllocator::Frame audio_frame, size_t audio_offset, AudioFormat audio_format)
98 {
99         if (video_pts >= 0 && video_frame.len > 0) {
100                 ReceivedTimestamps ts;
101                 ts.ts.push_back(steady_clock::now());
102
103                 video_pts = av_rescale_q(video_pts, video_timebase, AVRational{ 1, TIMEBASE });
104                 int64_t frame_duration = int64_t(TIMEBASE) * video_format.frame_rate_den / video_format.frame_rate_nom;
105                 x264_encoder->add_frame(video_pts, frame_duration, video->get_current_frame_ycbcr_format().luma_coefficients, video_frame.data + video_offset, ts);
106                 global_basic_stats->update(frame_num++, /*dropped_frames=*/0);
107         }
108         if (audio_frame.len > 0) {
109                 // FFmpegCapture takes care of this for us.
110                 assert(audio_format.num_channels == 2);
111                 assert(audio_format.sample_rate == OUTPUT_FREQUENCY);
112
113                 // TODO: Reduce some duplication against AudioMixer here.
114                 size_t num_samples = audio_frame.len / (audio_format.bits_per_sample / 8);
115                 vector<float> float_samples;
116                 float_samples.resize(num_samples);
117
118                 if (audio_format.bits_per_sample == 16) {
119                         const int16_t *src = (const int16_t *)audio_frame.data;
120                         float *dst = &float_samples[0];
121                         for (size_t i = 0; i < num_samples; ++i) {
122                                 *dst++ = int16_t(le16toh(*src++)) * (1.0f / 32768.0f);
123                         }
124                 } else if (audio_format.bits_per_sample == 32) {
125                         const int32_t *src = (const int32_t *)audio_frame.data;
126                         float *dst = &float_samples[0];
127                         for (size_t i = 0; i < num_samples; ++i) {
128                                 *dst++ = int32_t(le32toh(*src++)) * (1.0f / 2147483648.0f);
129                         }
130                 } else {
131                         assert(false);
132                 }
133                 audio_pts = av_rescale_q(audio_pts, audio_timebase, AVRational{ 1, TIMEBASE });
134                 audio_encoder->encode_audio(float_samples, audio_pts);
135         }
136
137         if (video_frame.owner) {
138                 video_frame.owner->release_frame(video_frame);
139         }
140         if (audio_frame.owner) {
141                 audio_frame.owner->release_frame(audio_frame);
142         }
143 }
144
145 void raw_packet_callback(Mux *mux, int stream_index, const AVPacket *pkt, AVRational timebase)
146 {
147         mux->add_packet(*pkt, pkt->pts, pkt->dts == AV_NOPTS_VALUE ? pkt->pts : pkt->dts, timebase, stream_index);
148 }
149
150 void filter_packet_callback(Mux *mux, int stream_index, AVBSFContext *bsfctx, const AVPacket *pkt, AVRational timebase)
151 {
152         if (pkt->size <= 2 || pkt->data[0] != 0xff || (pkt->data[1] & 0xf0) != 0xf0) {
153                 // Not ADTS data, so just pass it through.
154                 mux->add_packet(*pkt, pkt->pts, pkt->dts == AV_NOPTS_VALUE ? pkt->pts : pkt->dts, timebase, stream_index);
155                 return;
156         }
157
158         AVPacket *in_pkt = av_packet_clone(pkt);
159         unique_ptr<AVPacket, decltype(av_packet_unref) *> in_pkt_cleanup(in_pkt, av_packet_unref);
160         int err = av_bsf_send_packet(bsfctx, in_pkt);
161         if (err < 0) {
162                 fprintf(stderr, "av_bsf_send_packet() failed with %d, ignoring\n", err);
163         }
164         for ( ;; ) {
165                 AVPacketWithDeleter out_pkt = av_packet_alloc_unique();
166                 err = av_bsf_receive_packet(bsfctx, out_pkt.get());
167                 if (err == AVERROR(EAGAIN)) {
168                         break;
169                 }
170                 if (err < 0) {
171                         fprintf(stderr, "av_bsf_receive_packet() failed with %d, ignoring\n", err);
172                         return;
173                 }
174                 mux->add_packet(*out_pkt, out_pkt->pts, out_pkt->dts == AV_NOPTS_VALUE ? out_pkt->pts : out_pkt->dts, timebase, stream_index);
175         }
176 }
177
178 void adjust_bitrate(int signal)
179 {
180         int new_bitrate = global_flags.x264_bitrate;
181         if (signal == SIGUSR1) {
182                 new_bitrate += 100;
183                 if (new_bitrate > 100000) {
184                         fprintf(stderr, "Ignoring SIGUSR1, can't increase bitrate below 100000 kbit/sec (currently at %d kbit/sec)\n",
185                                 global_flags.x264_bitrate);
186                 } else {
187                         fprintf(stderr, "Increasing bitrate to %d kbit/sec due to SIGUSR1.\n", new_bitrate);
188                         global_flags.x264_bitrate = new_bitrate;
189                         global_x264_encoder->change_bitrate(new_bitrate);
190                 }
191         } else if (signal == SIGUSR2) {
192                 new_bitrate -= 100;
193                 if (new_bitrate < 100) {
194                         fprintf(stderr, "Ignoring SIGUSR2, can't decrease bitrate below 100 kbit/sec (currently at %d kbit/sec)\n",
195                                 global_flags.x264_bitrate);
196                 } else {
197                         fprintf(stderr, "Decreasing bitrate to %d kbit/sec due to SIGUSR2.\n", new_bitrate);
198                         global_flags.x264_bitrate = new_bitrate;
199                         global_x264_encoder->change_bitrate(new_bitrate);
200                 }
201         }
202 }
203
204 void request_quit(int signal)
205 {
206         should_quit.quit();
207 }
208
209 int main(int argc, char *argv[])
210 {
211         parse_flags(PROGRAM_KAERU, argc, argv);
212         if (optind + 1 != argc) {
213                 usage(PROGRAM_KAERU);
214                 abort();
215         }
216         global_flags.max_num_cards = 1;  // For latency metrics.
217
218 #if LIBAVFORMAT_VERSION_INT < AV_VERSION_INT(58, 9, 100)
219         av_register_all();
220 #endif
221         avformat_network_init();
222
223         HTTPD httpd;
224
225         const AVOutputFormat *oformat = av_guess_format(global_flags.stream_mux_name.c_str(), nullptr, nullptr);
226         assert(oformat != nullptr);
227
228         unique_ptr<AudioEncoder> audio_encoder;
229         if (global_flags.stream_audio_codec_name.empty()) {
230                 audio_encoder.reset(new AudioEncoder(AUDIO_OUTPUT_CODEC_NAME, DEFAULT_AUDIO_OUTPUT_BIT_RATE, oformat));
231         } else {
232                 audio_encoder.reset(new AudioEncoder(global_flags.stream_audio_codec_name, global_flags.stream_audio_codec_bitrate, oformat));
233         }
234
235         unique_ptr<X264Encoder> x264_encoder(new X264Encoder(oformat, /*use_separate_disk_params=*/false));
236         unique_ptr<Mux> http_mux = create_mux(&httpd, oformat, x264_encoder.get(), audio_encoder.get());
237         if (global_flags.transcode_audio) {
238                 audio_encoder->add_mux(http_mux.get());
239         }
240         if (global_flags.transcode_video) {
241                 x264_encoder->add_mux(http_mux.get());
242         }
243         global_x264_encoder = x264_encoder.get();
244
245         FFmpegCapture video(argv[optind], global_flags.width, global_flags.height);
246         video.set_pixel_format(FFmpegCapture::PixelFormat_NV12);
247         if (global_flags.transcode_video) {
248                 video.set_frame_callback(bind(video_frame_callback, &video, x264_encoder.get(), audio_encoder.get(), _1, _2, _3, _4, _5, _6, _7, _8, _9, _10, _11));
249         } else {
250                 video.set_video_callback(bind(raw_packet_callback, http_mux.get(), /*stream_index=*/0, _1, _2));
251         }
252         if (!global_flags.transcode_audio && global_flags.enable_audio) {
253                 AVBSFContext *bsfctx = nullptr;
254                 if (strcmp(oformat->name, "mp4") == 0 && strcmp(audio_encoder->get_codec()->name, "aac") == 0) {
255                         // We need to insert the aac_adtstoasc filter, seemingly (or we will get warnings to do so).
256                         const AVBitStreamFilter *filter = av_bsf_get_by_name("aac_adtstoasc");
257                         int err = av_bsf_alloc(filter, &bsfctx);
258                         if (err < 0) {
259                                 fprintf(stderr, "av_bsf_alloc() failed with %d\n", err);
260                                 exit(1);
261                         }
262                 }
263                 if (bsfctx == nullptr) {
264                         video.set_audio_callback(bind(raw_packet_callback, http_mux.get(), /*stream_index=*/1, _1, _2));
265                 } else {
266                         video.set_audio_callback(bind(filter_packet_callback, http_mux.get(), /*stream_index=*/1, bsfctx, _1, _2));
267                 }
268         }
269         video.configure_card();
270         video.start_bm_capture();
271         video.change_rate(10.0);  // Play as fast as possible.
272
273         BasicStats basic_stats(/*verbose=*/false, /*use_opengl=*/false);
274         global_basic_stats = &basic_stats;
275         httpd.start(global_flags.http_port);
276
277         signal(SIGUSR1, adjust_bitrate);
278         signal(SIGUSR2, adjust_bitrate);
279         signal(SIGINT, request_quit);
280
281         while (!should_quit.should_quit()) {
282                 should_quit.sleep_for(hours(1000));
283         }
284
285         video.stop_dequeue_thread();
286         // Stop the x264 encoder before killing the mux it's writing to.
287         global_x264_encoder = nullptr;
288         x264_encoder.reset();
289         return 0;
290 }