git.sesse.net Git - ffmpeg/blob - libavformat/mpegtsenc.c

   1 /*
   2  * MPEG-2 transport stream (aka DVB) muxer
   3  * Copyright (c) 2003 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "libavutil/avassert.h"
  23 #include "libavutil/bswap.h"
  24 #include "libavutil/crc.h"
  25 #include "libavutil/dict.h"
  26 #include "libavutil/intreadwrite.h"
  27 #include "libavutil/mathematics.h"
  28 #include "libavutil/opt.h"
  29
  30 #include "libavcodec/internal.h"
  31
  32 #include "avformat.h"
  33 #include "avio_internal.h"
  34 #include "internal.h"
  35 #include "mpegts.h"
  36
  37 #define PCR_TIME_BASE 27000000
  38
  39 /* write DVB SI sections */
  40
  41 #define DVB_PRIVATE_NETWORK_START 0xff01
  42
  43 /*********************************************/
  44 /* mpegts section writer */
  45
  46 typedef struct MpegTSSection {
  47     int pid;
  48     int cc;
  49     int discontinuity;
  50     void (*write_packet)(struct MpegTSSection *s, const uint8_t *packet);
  51     void *opaque;
  52 } MpegTSSection;
  53
  54 typedef struct MpegTSService {
  55     MpegTSSection pmt; /* MPEG-2 PMT table context */
  56     int sid;           /* service ID */
  57     uint8_t name[256];
  58     uint8_t provider_name[256];
  59     int pcr_pid;
  60     AVProgram *program;
  61 } MpegTSService;
  62
  63 // service_type values as defined in ETSI 300 468
  64 enum {
  65     MPEGTS_SERVICE_TYPE_DIGITAL_TV                   = 0x01,
  66     MPEGTS_SERVICE_TYPE_DIGITAL_RADIO                = 0x02,
  67     MPEGTS_SERVICE_TYPE_TELETEXT                     = 0x03,
  68     MPEGTS_SERVICE_TYPE_ADVANCED_CODEC_DIGITAL_RADIO = 0x0A,
  69     MPEGTS_SERVICE_TYPE_MPEG2_DIGITAL_HDTV           = 0x11,
  70     MPEGTS_SERVICE_TYPE_ADVANCED_CODEC_DIGITAL_SDTV  = 0x16,
  71     MPEGTS_SERVICE_TYPE_ADVANCED_CODEC_DIGITAL_HDTV  = 0x19,
  72     MPEGTS_SERVICE_TYPE_HEVC_DIGITAL_HDTV            = 0x1F,
  73 };
  74 typedef struct MpegTSWrite {
  75     const AVClass *av_class;
  76     MpegTSSection pat; /* MPEG-2 PAT table */
  77     MpegTSSection sdt; /* MPEG-2 SDT table context */
  78     MpegTSService **services;
  79     int64_t sdt_period; /* SDT period in PCR time base */
  80     int64_t pat_period; /* PAT/PMT period in PCR time base */
  81     int nb_services;
  82     int onid;
  83     int tsid;
  84     int64_t first_pcr;
  85     int64_t next_pcr;
  86     int mux_rate; ///< set to 1 when VBR
  87     int pes_payload_size;
  88
  89     int transport_stream_id;
  90     int original_network_id;
  91     int service_id;
  92     int service_type;
  93
  94     int pmt_start_pid;
  95     int start_pid;
  96     int m2ts_mode;
  97
  98     int pcr_period_ms;
  99 #define MPEGTS_FLAG_REEMIT_PAT_PMT  0x01
 100 #define MPEGTS_FLAG_AAC_LATM        0x02
 101 #define MPEGTS_FLAG_PAT_PMT_AT_FRAMES           0x04
 102 #define MPEGTS_FLAG_SYSTEM_B        0x08
 103 #define MPEGTS_FLAG_DISCONT         0x10
 104     int flags;
 105     int copyts;
 106     int tables_version;
 107     int64_t pat_period_us;
 108     int64_t sdt_period_us;
 109     int64_t last_pat_ts;
 110     int64_t last_sdt_ts;
 111
 112     int omit_video_pes_length;
 113 } MpegTSWrite;
 114
 115 /* a PES packet header is generated every DEFAULT_PES_HEADER_FREQ packets */
 116 #define DEFAULT_PES_HEADER_FREQ  16
 117 #define DEFAULT_PES_PAYLOAD_SIZE ((DEFAULT_PES_HEADER_FREQ - 1) * 184 + 170)
 118
 119 /* The section length is 12 bits. The first 2 are set to 0, the remaining
 120  * 10 bits should not exceed 1021. */
 121 #define SECTION_LENGTH 1020
 122
 123 /* NOTE: 4 bytes must be left at the end for the crc32 */
 124 static void mpegts_write_section(MpegTSSection *s, uint8_t *buf, int len)
 125 {
 126     unsigned int crc;
 127     unsigned char packet[TS_PACKET_SIZE];
 128     const unsigned char *buf_ptr;
 129     unsigned char *q;
 130     int first, b, len1, left;
 131
 132     crc = av_bswap32(av_crc(av_crc_get_table(AV_CRC_32_IEEE),
 133                             -1, buf, len - 4));
 134
 135     buf[len - 4] = (crc >> 24) & 0xff;
 136     buf[len - 3] = (crc >> 16) & 0xff;
 137     buf[len - 2] = (crc >>  8) & 0xff;
 138     buf[len - 1] =  crc        & 0xff;
 139
 140     /* send each packet */
 141     buf_ptr = buf;
 142     while (len > 0) {
 143         first = buf == buf_ptr;
 144         q     = packet;
 145         *q++  = 0x47;
 146         b     = s->pid >> 8;
 147         if (first)
 148             b |= 0x40;
 149         *q++  = b;
 150         *q++  = s->pid;
 151         s->cc = s->cc + 1 & 0xf;
 152         *q++  = 0x10 | s->cc;
 153         if (s->discontinuity) {
 154             q[-1] |= 0x20;
 155             *q++ = 1;
 156             *q++ = 0x80;
 157             s->discontinuity = 0;
 158         }
 159         if (first)
 160             *q++ = 0; /* 0 offset */
 161         len1 = TS_PACKET_SIZE - (q - packet);
 162         if (len1 > len)
 163             len1 = len;
 164         memcpy(q, buf_ptr, len1);
 165         q += len1;
 166         /* add known padding data */
 167         left = TS_PACKET_SIZE - (q - packet);
 168         if (left > 0)
 169             memset(q, 0xff, left);
 170
 171         s->write_packet(s, packet);
 172
 173         buf_ptr += len1;
 174         len     -= len1;
 175     }
 176 }
 177
 178 static inline void put16(uint8_t **q_ptr, int val)
 179 {
 180     uint8_t *q;
 181     q      = *q_ptr;
 182     *q++   = val >> 8;
 183     *q++   = val;
 184     *q_ptr = q;
 185 }
 186
 187 static int mpegts_write_section1(MpegTSSection *s, int tid, int id,
 188                                  int version, int sec_num, int last_sec_num,
 189                                  uint8_t *buf, int len)
 190 {
 191     uint8_t section[1024], *q;
 192     unsigned int tot_len;
 193     /* reserved_future_use field must be set to 1 for SDT */
 194     unsigned int flags = tid == SDT_TID ? 0xf000 : 0xb000;
 195
 196     tot_len = 3 + 5 + len + 4;
 197     /* check if not too big */
 198     if (tot_len > 1024)
 199         return AVERROR_INVALIDDATA;
 200
 201     q    = section;
 202     *q++ = tid;
 203     put16(&q, flags | (len + 5 + 4)); /* 5 byte header + 4 byte CRC */
 204     put16(&q, id);
 205     *q++ = 0xc1 | (version << 1); /* current_next_indicator = 1 */
 206     *q++ = sec_num;
 207     *q++ = last_sec_num;
 208     memcpy(q, buf, len);
 209
 210     mpegts_write_section(s, section, tot_len);
 211     return 0;
 212 }
 213
 214 /*********************************************/
 215 /* mpegts writer */
 216
 217 #define DEFAULT_PROVIDER_NAME   "FFmpeg"
 218 #define DEFAULT_SERVICE_NAME    "Service"
 219
 220 /* we retransmit the SI info at this rate */
 221 #define SDT_RETRANS_TIME 500
 222 #define PAT_RETRANS_TIME 100
 223 #define PCR_RETRANS_TIME 20
 224
 225 typedef struct MpegTSWriteStream {
 226     int pid; /* stream associated pid */
 227     int cc;
 228     int discontinuity;
 229     int payload_size;
 230     int first_pts_check; ///< first pts check needed
 231     int prev_payload_key;
 232     int64_t payload_pts;
 233     int64_t payload_dts;
 234     int payload_flags;
 235     uint8_t *payload;
 236     AVFormatContext *amux;
 237
 238     int64_t pcr_period; /* PCR period in PCR time base */
 239     int64_t last_pcr;
 240
 241     /* For Opus */
 242     int opus_queued_samples;
 243     int opus_pending_trim_start;
 244 } MpegTSWriteStream;
 245
 246 static void mpegts_write_pat(AVFormatContext *s)
 247 {
 248     MpegTSWrite *ts = s->priv_data;
 249     MpegTSService *service;
 250     uint8_t data[SECTION_LENGTH], *q;
 251     int i;
 252
 253     q = data;
 254     for (i = 0; i < ts->nb_services; i++) {
 255         service = ts->services[i];
 256         put16(&q, service->sid);
 257         put16(&q, 0xe000 | service->pmt.pid);
 258     }
 259     mpegts_write_section1(&ts->pat, PAT_TID, ts->tsid, ts->tables_version, 0, 0,
 260                           data, q - data);
 261 }
 262
 263 static void putbuf(uint8_t **q_ptr, const uint8_t *buf, size_t len)
 264 {
 265     memcpy(*q_ptr, buf, len);
 266     *q_ptr += len;
 267 }
 268
 269 static void put_registration_descriptor(uint8_t **q_ptr, uint32_t tag)
 270 {
 271     uint8_t *q = *q_ptr;
 272     *q++ = 0x05; /* MPEG-2 registration descriptor*/
 273     *q++ = 4;
 274     *q++ = tag;
 275     *q++ = tag >> 8;
 276     *q++ = tag >> 16;
 277     *q++ = tag >> 24;
 278     *q_ptr = q;
 279 }
 280
 281 static int mpegts_write_pmt(AVFormatContext *s, MpegTSService *service)
 282 {
 283     MpegTSWrite *ts = s->priv_data;
 284     uint8_t data[SECTION_LENGTH], *q, *desc_length_ptr, *program_info_length_ptr;
 285     int val, stream_type, i, err = 0;
 286
 287     q = data;
 288     put16(&q, 0xe000 | service->pcr_pid);
 289
 290     program_info_length_ptr = q;
 291     q += 2; /* patched after */
 292
 293     /* put program info here */
 294
 295     val = 0xf000 | (q - program_info_length_ptr - 2);
 296     program_info_length_ptr[0] = val >> 8;
 297     program_info_length_ptr[1] = val;
 298
 299     for (i = 0; i < s->nb_streams; i++) {
 300         AVStream *st = s->streams[i];
 301         MpegTSWriteStream *ts_st = st->priv_data;
 302         AVDictionaryEntry *lang = av_dict_get(st->metadata, "language", NULL, 0);
 303
 304         if (s->nb_programs) {
 305             int k, found = 0;
 306             AVProgram *program = service->program;
 307
 308             for (k = 0; k < program->nb_stream_indexes; k++)
 309                 if (program->stream_index[k] == i) {
 310                     found = 1;
 311                     break;
 312                 }
 313
 314             if (!found)
 315                 continue;
 316         }
 317
 318         if (q - data > SECTION_LENGTH - 32) {
 319             err = 1;
 320             break;
 321         }
 322         switch (st->codecpar->codec_id) {
 323         case AV_CODEC_ID_MPEG1VIDEO:
 324         case AV_CODEC_ID_MPEG2VIDEO:
 325             stream_type = STREAM_TYPE_VIDEO_MPEG2;
 326             break;
 327         case AV_CODEC_ID_MPEG4:
 328             stream_type = STREAM_TYPE_VIDEO_MPEG4;
 329             break;
 330         case AV_CODEC_ID_H264:
 331             stream_type = STREAM_TYPE_VIDEO_H264;
 332             break;
 333         case AV_CODEC_ID_HEVC:
 334             stream_type = STREAM_TYPE_VIDEO_HEVC;
 335             break;
 336         case AV_CODEC_ID_CAVS:
 337             stream_type = STREAM_TYPE_VIDEO_CAVS;
 338             break;
 339         case AV_CODEC_ID_DIRAC:
 340             stream_type = STREAM_TYPE_VIDEO_DIRAC;
 341             break;
 342         case AV_CODEC_ID_VC1:
 343             stream_type = STREAM_TYPE_VIDEO_VC1;
 344             break;
 345         case AV_CODEC_ID_MP2:
 346         case AV_CODEC_ID_MP3:
 347             if (   st->codecpar->sample_rate > 0
 348                 && st->codecpar->sample_rate < 32000) {
 349                 stream_type = STREAM_TYPE_AUDIO_MPEG2;
 350             } else {
 351                 stream_type = STREAM_TYPE_AUDIO_MPEG1;
 352             }
 353             break;
 354         case AV_CODEC_ID_AAC:
 355             stream_type = (ts->flags & MPEGTS_FLAG_AAC_LATM)
 356                           ? STREAM_TYPE_AUDIO_AAC_LATM
 357                           : STREAM_TYPE_AUDIO_AAC;
 358             break;
 359         case AV_CODEC_ID_AAC_LATM:
 360             stream_type = STREAM_TYPE_AUDIO_AAC_LATM;
 361             break;
 362         case AV_CODEC_ID_AC3:
 363             stream_type = (ts->flags & MPEGTS_FLAG_SYSTEM_B)
 364                           ? STREAM_TYPE_PRIVATE_DATA
 365                           : STREAM_TYPE_AUDIO_AC3;
 366             break;
 367         case AV_CODEC_ID_EAC3:
 368             stream_type = (ts->flags & MPEGTS_FLAG_SYSTEM_B)
 369                           ? STREAM_TYPE_PRIVATE_DATA
 370                           : STREAM_TYPE_AUDIO_EAC3;
 371             break;
 372         case AV_CODEC_ID_DTS:
 373             stream_type = STREAM_TYPE_AUDIO_DTS;
 374             break;
 375         case AV_CODEC_ID_TRUEHD:
 376             stream_type = STREAM_TYPE_AUDIO_TRUEHD;
 377             break;
 378         case AV_CODEC_ID_OPUS:
 379             stream_type = STREAM_TYPE_PRIVATE_DATA;
 380             break;
 381         case AV_CODEC_ID_TIMED_ID3:
 382             stream_type = STREAM_TYPE_METADATA;
 383             break;
 384         default:
 385             stream_type = STREAM_TYPE_PRIVATE_DATA;
 386             break;
 387         }
 388
 389         *q++ = stream_type;
 390         put16(&q, 0xe000 | ts_st->pid);
 391         desc_length_ptr = q;
 392         q += 2; /* patched after */
 393
 394         /* write optional descriptors here */
 395         switch (st->codecpar->codec_type) {
 396         case AVMEDIA_TYPE_AUDIO:
 397             if (st->codecpar->codec_id==AV_CODEC_ID_AC3 && (ts->flags & MPEGTS_FLAG_SYSTEM_B)) {
 398                 *q++=0x6a; // AC3 descriptor see A038 DVB SI
 399                 *q++=1; // 1 byte, all flags sets to 0
 400                 *q++=0; // omit all fields...
 401             }
 402             if (st->codecpar->codec_id==AV_CODEC_ID_EAC3 && (ts->flags & MPEGTS_FLAG_SYSTEM_B)) {
 403                 *q++=0x7a; // EAC3 descriptor see A038 DVB SI
 404                 *q++=1; // 1 byte, all flags sets to 0
 405                 *q++=0; // omit all fields...
 406             }
 407             if (st->codecpar->codec_id==AV_CODEC_ID_S302M)
 408                 put_registration_descriptor(&q, MKTAG('B', 'S', 'S', 'D'));
 409             if (st->codecpar->codec_id==AV_CODEC_ID_OPUS) {
 410                 /* 6 bytes registration descriptor, 4 bytes Opus audio descriptor */
 411                 if (q - data > SECTION_LENGTH - 6 - 4) {
 412                     err = 1;
 413                     break;
 414                 }
 415
 416                 put_registration_descriptor(&q, MKTAG('O', 'p', 'u', 's'));
 417
 418                 *q++ = 0x7f; /* DVB extension descriptor */
 419                 *q++ = 2;
 420                 *q++ = 0x80;
 421
 422                 if (st->codecpar->extradata && st->codecpar->extradata_size >= 19) {
 423                     if (st->codecpar->extradata[18] == 0 && st->codecpar->channels <= 2) {
 424                         /* RTP mapping family */
 425                         *q++ = st->codecpar->channels;
 426                     } else if (st->codecpar->extradata[18] == 1 && st->codecpar->channels <= 8 &&
 427                                st->codecpar->extradata_size >= 21 + st->codecpar->channels) {
 428                         static const uint8_t coupled_stream_counts[9] = {
 429                             1, 0, 1, 1, 2, 2, 2, 3, 3
 430                         };
 431                         static const uint8_t channel_map_a[8][8] = {
 432                             {0},
 433                             {0, 1},
 434                             {0, 2, 1},
 435                             {0, 1, 2, 3},
 436                             {0, 4, 1, 2, 3},
 437                             {0, 4, 1, 2, 3, 5},
 438                             {0, 4, 1, 2, 3, 5, 6},
 439                             {0, 6, 1, 2, 3, 4, 5, 7},
 440                         };
 441                         static const uint8_t channel_map_b[8][8] = {
 442                             {0},
 443                             {0, 1},
 444                             {0, 1, 2},
 445                             {0, 1, 2, 3},
 446                             {0, 1, 2, 3, 4},
 447                             {0, 1, 2, 3, 4, 5},
 448                             {0, 1, 2, 3, 4, 5, 6},
 449                             {0, 1, 2, 3, 4, 5, 6, 7},
 450                         };
 451                         /* Vorbis mapping family */
 452
 453                         if (st->codecpar->extradata[19] == st->codecpar->channels - coupled_stream_counts[st->codecpar->channels] &&
 454                             st->codecpar->extradata[20] == coupled_stream_counts[st->codecpar->channels] &&
 455                             memcmp(&st->codecpar->extradata[21], channel_map_a[st->codecpar->channels-1], st->codecpar->channels) == 0) {
 456                             *q++ = st->codecpar->channels;
 457                         } else if (st->codecpar->channels >= 2 && st->codecpar->extradata[19] == st->codecpar->channels &&
 458                                    st->codecpar->extradata[20] == 0 &&
 459                                    memcmp(&st->codecpar->extradata[21], channel_map_b[st->codecpar->channels-1], st->codecpar->channels) == 0) {
 460                             *q++ = st->codecpar->channels | 0x80;
 461                         } else {
 462                             /* Unsupported, could write an extended descriptor here */
 463                             av_log(s, AV_LOG_ERROR, "Unsupported Opus Vorbis-style channel mapping");
 464                             *q++ = 0xff;
 465                         }
 466                     } else {
 467                         /* Unsupported */
 468                         av_log(s, AV_LOG_ERROR, "Unsupported Opus channel mapping for family %d", st->codecpar->extradata[18]);
 469                         *q++ = 0xff;
 470                     }
 471                 } else if (st->codecpar->channels <= 2) {
 472                     /* Assume RTP mapping family */
 473                     *q++ = st->codecpar->channels;
 474                 } else {
 475                     /* Unsupported */
 476                     av_log(s, AV_LOG_ERROR, "Unsupported Opus channel mapping");
 477                     *q++ = 0xff;
 478                 }
 479             }
 480
 481             if (lang) {
 482                 char *p;
 483                 char *next = lang->value;
 484                 uint8_t *len_ptr;
 485
 486                 *q++     = 0x0a; /* ISO 639 language descriptor */
 487                 len_ptr  = q++;
 488                 *len_ptr = 0;
 489
 490                 for (p = lang->value; next && *len_ptr < 255 / 4 * 4; p = next + 1) {
 491                     if (q - data > SECTION_LENGTH - 4) {
 492                         err = 1;
 493                         break;
 494                     }
 495                     next = strchr(p, ',');
 496                     if (strlen(p) != 3 && (!next || next != p + 3))
 497                         continue; /* not a 3-letter code */
 498
 499                     *q++ = *p++;
 500                     *q++ = *p++;
 501                     *q++ = *p++;
 502
 503                     if (st->disposition & AV_DISPOSITION_CLEAN_EFFECTS)
 504                         *q++ = 0x01;
 505                     else if (st->disposition & AV_DISPOSITION_HEARING_IMPAIRED)
 506                         *q++ = 0x02;
 507                     else if (st->disposition & AV_DISPOSITION_VISUAL_IMPAIRED)
 508                         *q++ = 0x03;
 509                     else
 510                         *q++ = 0; /* undefined type */
 511
 512                     *len_ptr += 4;
 513                 }
 514
 515                 if (*len_ptr == 0)
 516                     q -= 2; /* no language codes were written */
 517             }
 518             break;
 519         case AVMEDIA_TYPE_SUBTITLE:
 520         {
 521            const char default_language[] = "und";
 522            const char *language = lang && strlen(lang->value) >= 3 ? lang->value : default_language;
 523
 524            if (st->codecpar->codec_id == AV_CODEC_ID_DVB_SUBTITLE) {
 525                uint8_t *len_ptr;
 526                int extradata_copied = 0;
 527
 528                *q++ = 0x59; /* subtitling_descriptor */
 529                len_ptr = q++;
 530
 531                while (strlen(language) >= 3) {
 532                    if (sizeof(data) - (q - data) < 8) { /* 8 bytes per DVB subtitle substream data */
 533                        err = 1;
 534                        break;
 535                    }
 536                    *q++ = *language++;
 537                    *q++ = *language++;
 538                    *q++ = *language++;
 539                    /* Skip comma */
 540                    if (*language != '\0')
 541                        language++;
 542
 543                    if (st->codecpar->extradata_size - extradata_copied >= 5) {
 544                        *q++ = st->codecpar->extradata[extradata_copied + 4]; /* subtitling_type */
 545                        memcpy(q, st->codecpar->extradata + extradata_copied, 4); /* composition_page_id and ancillary_page_id */
 546                        extradata_copied += 5;
 547                        q += 4;
 548                    } else {
 549                        /* subtitling_type:
 550                         * 0x10 - normal with no monitor aspect ratio criticality
 551                         * 0x20 - for the hard of hearing with no monitor aspect ratio criticality */
 552                        *q++ = (st->disposition & AV_DISPOSITION_HEARING_IMPAIRED) ? 0x20 : 0x10;
 553                        if ((st->codecpar->extradata_size == 4) && (extradata_copied == 0)) {
 554                            /* support of old 4-byte extradata format */
 555                            memcpy(q, st->codecpar->extradata, 4); /* composition_page_id and ancillary_page_id */
 556                            extradata_copied += 4;
 557                            q += 4;
 558                        } else {
 559                            put16(&q, 1); /* composition_page_id */
 560                            put16(&q, 1); /* ancillary_page_id */
 561                        }
 562                    }
 563                }
 564
 565                *len_ptr = q - len_ptr - 1;
 566            } else if (st->codecpar->codec_id == AV_CODEC_ID_DVB_TELETEXT) {
 567                uint8_t *len_ptr = NULL;
 568                int extradata_copied = 0;
 569
 570                /* The descriptor tag. teletext_descriptor */
 571                *q++ = 0x56;
 572                len_ptr = q++;
 573
 574                while (strlen(language) >= 3 && q - data < sizeof(data) - 6) {
 575                    *q++ = *language++;
 576                    *q++ = *language++;
 577                    *q++ = *language++;
 578                    /* Skip comma */
 579                    if (*language != '\0')
 580                        language++;
 581
 582                    if (st->codecpar->extradata_size - 1 > extradata_copied) {
 583                        memcpy(q, st->codecpar->extradata + extradata_copied, 2);
 584                        extradata_copied += 2;
 585                        q += 2;
 586                    } else {
 587                        /* The Teletext descriptor:
 588                         * teletext_type: This 5-bit field indicates the type of Teletext page indicated. (0x01 Initial Teletext page)
 589                         * teletext_magazine_number: This is a 3-bit field which identifies the magazine number.
 590                         * teletext_page_number: This is an 8-bit field giving two 4-bit hex digits identifying the page number. */
 591                        *q++ = 0x08;
 592                        *q++ = 0x00;
 593                    }
 594                }
 595
 596                *len_ptr = q - len_ptr - 1;
 597             }
 598         }
 599         break;
 600         case AVMEDIA_TYPE_VIDEO:
 601             if (stream_type == STREAM_TYPE_VIDEO_DIRAC) {
 602                 put_registration_descriptor(&q, MKTAG('d', 'r', 'a', 'c'));
 603             } else if (stream_type == STREAM_TYPE_VIDEO_VC1) {
 604                 put_registration_descriptor(&q, MKTAG('V', 'C', '-', '1'));
 605             } else if (stream_type == STREAM_TYPE_VIDEO_HEVC && s->strict_std_compliance <= FF_COMPLIANCE_NORMAL) {
 606                 put_registration_descriptor(&q, MKTAG('H', 'E', 'V', 'C'));
 607             }
 608             break;
 609         case AVMEDIA_TYPE_DATA:
 610             if (st->codecpar->codec_id == AV_CODEC_ID_SMPTE_KLV) {
 611                 put_registration_descriptor(&q, MKTAG('K', 'L', 'V', 'A'));
 612             } else if (st->codecpar->codec_id == AV_CODEC_ID_TIMED_ID3) {
 613                 const char *tag = "ID3 ";
 614                 *q++ = 0x26; /* metadata descriptor */
 615                 *q++ = 13;
 616                 put16(&q, 0xffff);    /* metadata application format */
 617                 putbuf(&q, tag, strlen(tag));
 618                 *q++ = 0xff;        /* metadata format */
 619                 putbuf(&q, tag, strlen(tag));
 620                 *q++ = 0;            /* metadata service ID */
 621                 *q++ = 0xF;          /* metadata_locator_record_flag|MPEG_carriage_flags|reserved */
 622             }
 623             break;
 624         }
 625
 626         val = 0xf000 | (q - desc_length_ptr - 2);
 627         desc_length_ptr[0] = val >> 8;
 628         desc_length_ptr[1] = val;
 629     }
 630
 631     if (err)
 632         av_log(s, AV_LOG_ERROR,
 633                "The PMT section cannot fit stream %d and all following streams.\n"
 634                "Try reducing the number of languages in the audio streams "
 635                "or the total number of streams.\n", i);
 636
 637     mpegts_write_section1(&service->pmt, PMT_TID, service->sid, ts->tables_version, 0, 0,
 638                           data, q - data);
 639     return 0;
 640 }
 641
 642 static void mpegts_write_sdt(AVFormatContext *s)
 643 {
 644     MpegTSWrite *ts = s->priv_data;
 645     MpegTSService *service;
 646     uint8_t data[SECTION_LENGTH], *q, *desc_list_len_ptr, *desc_len_ptr;
 647     int i, running_status, free_ca_mode, val;
 648
 649     q = data;
 650     put16(&q, ts->onid);
 651     *q++ = 0xff;
 652     for (i = 0; i < ts->nb_services; i++) {
 653         service = ts->services[i];
 654         put16(&q, service->sid);
 655         *q++              = 0xfc | 0x00; /* currently no EIT info */
 656         desc_list_len_ptr = q;
 657         q                += 2;
 658         running_status    = 4; /* running */
 659         free_ca_mode      = 0;
 660
 661         /* write only one descriptor for the service name and provider */
 662         *q++         = 0x48;
 663         desc_len_ptr = q;
 664         q++;
 665         *q++         = ts->service_type;
 666         putbuf(&q, service->provider_name, service->provider_name[0] + 1);
 667         putbuf(&q, service->name, service->name[0] + 1);
 668         desc_len_ptr[0] = q - desc_len_ptr - 1;
 669
 670         /* fill descriptor length */
 671         val = (running_status << 13) | (free_ca_mode << 12) |
 672               (q - desc_list_len_ptr - 2);
 673         desc_list_len_ptr[0] = val >> 8;
 674         desc_list_len_ptr[1] = val;
 675     }
 676     mpegts_write_section1(&ts->sdt, SDT_TID, ts->tsid, ts->tables_version, 0, 0,
 677                           data, q - data);
 678 }
 679
 680 /* This stores a string in buf with the correct encoding and also sets the
 681  * first byte as the length. !str is accepted for an empty string.
 682  * If the string is already encoded, invalid UTF-8 or has no multibyte sequence
 683  * then we keep it as is, otherwise we signal UTF-8 encoding. */
 684 static int encode_str8(uint8_t *buf, const char *str)
 685 {
 686     size_t str_len;
 687     if (!str)
 688         str = "";
 689     str_len = strlen(str);
 690     if (str[0] && (unsigned)str[0] >= 0x20) {   /* Make sure the string is not already encoded. */
 691         const uint8_t *q = str;
 692         int has_multibyte = 0;
 693         while (*q) {
 694             uint32_t code;
 695             GET_UTF8(code, *q++, goto invalid;) /* Is it valid UTF-8? */
 696             has_multibyte |= (code > 127);      /* Does it have multibyte UTF-8 chars in it? */
 697         }
 698         if (has_multibyte) {                    /* If we have multibyte chars and valid UTF-8, then encode as such! */
 699             if (str_len > 254)
 700                 return AVERROR(EINVAL);
 701             buf[0] = str_len + 1;
 702             buf[1] = 0x15;
 703             memcpy(&buf[2], str, str_len);
 704             return 0;
 705         }
 706     }
 707 invalid:
 708     /* Otherwise let's just encode the string as is! */
 709     if (str_len > 255)
 710         return AVERROR(EINVAL);
 711     buf[0] = str_len;
 712     memcpy(&buf[1], str, str_len);
 713     return 0;
 714 }
 715
 716 static int64_t get_pcr(const MpegTSWrite *ts, AVIOContext *pb)
 717 {
 718     return av_rescale(avio_tell(pb) + 11, 8 * PCR_TIME_BASE, ts->mux_rate) +
 719            ts->first_pcr;
 720 }
 721
 722 static void write_packet(AVFormatContext *s, const uint8_t *packet)
 723 {
 724     MpegTSWrite *ts = s->priv_data;
 725     if (ts->m2ts_mode) {
 726         int64_t pcr = get_pcr(s->priv_data, s->pb);
 727         uint32_t tp_extra_header = pcr % 0x3fffffff;
 728         tp_extra_header = AV_RB32(&tp_extra_header);
 729         avio_write(s->pb, (unsigned char *) &tp_extra_header,
 730                    sizeof(tp_extra_header));
 731     }
 732     avio_write(s->pb, packet, TS_PACKET_SIZE);
 733 }
 734
 735 static void section_write_packet(MpegTSSection *s, const uint8_t *packet)
 736 {
 737     AVFormatContext *ctx = s->opaque;
 738     write_packet(ctx, packet);
 739 }
 740
 741 static MpegTSService *mpegts_add_service(AVFormatContext *s, int sid,
 742                                          const AVDictionary *metadata,
 743                                          AVProgram *program)
 744 {
 745     MpegTSWrite *ts = s->priv_data;
 746     MpegTSService *service;
 747     AVDictionaryEntry *title, *provider;
 748     char default_service_name[32];
 749     const char *service_name;
 750     const char *provider_name;
 751
 752     title = av_dict_get(metadata, "service_name", NULL, 0);
 753     if (!title)
 754         title = av_dict_get(metadata, "title", NULL, 0);
 755     snprintf(default_service_name, sizeof(default_service_name), "%s%02d", DEFAULT_SERVICE_NAME, ts->nb_services + 1);
 756     service_name  = title ? title->value : default_service_name;
 757     provider      = av_dict_get(metadata, "service_provider", NULL, 0);
 758     provider_name = provider ? provider->value : DEFAULT_PROVIDER_NAME;
 759
 760     service = av_mallocz(sizeof(MpegTSService));
 761     if (!service)
 762         return NULL;
 763     service->pmt.pid       = ts->pmt_start_pid + ts->nb_services;
 764     service->sid           = sid;
 765     service->pcr_pid       = 0x1fff;
 766     if (encode_str8(service->provider_name, provider_name) < 0 ||
 767         encode_str8(service->name, service_name) < 0) {
 768         av_log(s, AV_LOG_ERROR, "Too long service or provider name\n");
 769         goto fail;
 770     }
 771     if (av_dynarray_add_nofree(&ts->services, &ts->nb_services, service) < 0)
 772         goto fail;
 773
 774     service->pmt.write_packet = section_write_packet;
 775     service->pmt.opaque       = s;
 776     service->pmt.cc           = 15;
 777     service->pmt.discontinuity= ts->flags & MPEGTS_FLAG_DISCONT;
 778     service->program          = program;
 779
 780     return service;
 781 fail:
 782     av_free(service);
 783     return NULL;
 784 }
 785
 786 static void enable_pcr_generation_for_stream(AVFormatContext *s, AVStream *pcr_st)
 787 {
 788     MpegTSWrite *ts = s->priv_data;
 789     MpegTSWriteStream *ts_st = pcr_st->priv_data;
 790
 791     if (ts->mux_rate > 1 || ts->pcr_period_ms >= 0) {
 792         int pcr_period_ms = ts->pcr_period_ms == -1 ? PCR_RETRANS_TIME : ts->pcr_period_ms;
 793         ts_st->pcr_period = av_rescale(pcr_period_ms, PCR_TIME_BASE, 1000);
 794     } else {
 795         /* By default, for VBR we select the highest multiple of frame duration which is less than 100 ms. */
 796         int64_t frame_period = 0;
 797         if (pcr_st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {
 798             int frame_size = av_get_audio_frame_duration2(pcr_st->codecpar, 0);
 799             if (!frame_size) {
 800                av_log(s, AV_LOG_WARNING, "frame size not set\n");
 801                frame_size = 512;
 802             }
 803             frame_period = av_rescale_rnd(frame_size, PCR_TIME_BASE, pcr_st->codecpar->sample_rate, AV_ROUND_UP);
 804         } else if (pcr_st->avg_frame_rate.num) {
 805             frame_period = av_rescale_rnd(pcr_st->avg_frame_rate.den, PCR_TIME_BASE, pcr_st->avg_frame_rate.num, AV_ROUND_UP);
 806         }
 807         if (frame_period > 0 && frame_period <= PCR_TIME_BASE / 10)
 808             ts_st->pcr_period = frame_period * (PCR_TIME_BASE / 10 / frame_period);
 809         else
 810             ts_st->pcr_period = 1;
 811     }
 812
 813     // output a PCR as soon as possible
 814     ts_st->last_pcr   = ts->first_pcr - ts_st->pcr_period;
 815 }
 816
 817 static void select_pcr_streams(AVFormatContext *s)
 818 {
 819     MpegTSWrite *ts = s->priv_data;
 820
 821     for (int i = 0; i < ts->nb_services; i++) {
 822         MpegTSService *service = ts->services[i];
 823         AVStream *pcr_st = NULL;
 824         AVProgram *program = service->program;
 825         int nb_streams = program ? program->nb_stream_indexes : s->nb_streams;
 826
 827         for (int j = 0; j < nb_streams; j++) {
 828             AVStream *st = s->streams[program ? program->stream_index[j] : j];
 829             if (!pcr_st ||
 830                 pcr_st->codecpar->codec_type != AVMEDIA_TYPE_VIDEO && st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO)
 831             {
 832                 pcr_st = st;
 833             }
 834         }
 835
 836         if (pcr_st) {
 837             MpegTSWriteStream *ts_st = pcr_st->priv_data;
 838             service->pcr_pid = ts_st->pid;
 839             enable_pcr_generation_for_stream(s, pcr_st);
 840             av_log(s, AV_LOG_VERBOSE, "service %i using PCR in pid=%i, pcr_period=%"PRId64"ms\n",
 841                 service->sid, service->pcr_pid, av_rescale(ts_st->pcr_period, 1000, PCR_TIME_BASE));
 842         }
 843     }
 844 }
 845
 846 static int mpegts_init(AVFormatContext *s)
 847 {
 848     MpegTSWrite *ts = s->priv_data;
 849     int i, j;
 850     int *pids;
 851     int ret;
 852
 853     if (ts->m2ts_mode == -1) {
 854         if (av_match_ext(s->url, "m2ts")) {
 855             ts->m2ts_mode = 1;
 856         } else {
 857             ts->m2ts_mode = 0;
 858         }
 859     }
 860
 861     if (s->max_delay < 0) /* Not set by the caller */
 862         s->max_delay = 0;
 863
 864     // round up to a whole number of TS packets
 865     ts->pes_payload_size = (ts->pes_payload_size + 14 + 183) / 184 * 184 - 14;
 866
 867     ts->tsid = ts->transport_stream_id;
 868     ts->onid = ts->original_network_id;
 869     if (!s->nb_programs) {
 870         /* allocate a single DVB service */
 871         if (!mpegts_add_service(s, ts->service_id, s->metadata, NULL))
 872             return AVERROR(ENOMEM);
 873     } else {
 874         for (i = 0; i < s->nb_programs; i++) {
 875             AVProgram *program = s->programs[i];
 876             if (!mpegts_add_service(s, program->id, program->metadata, program))
 877                 return AVERROR(ENOMEM);
 878         }
 879     }
 880
 881     ts->pat.pid          = PAT_PID;
 882     /* Initialize at 15 so that it wraps and is equal to 0 for the
 883      * first packet we write. */
 884     ts->pat.cc           = 15;
 885     ts->pat.discontinuity= ts->flags & MPEGTS_FLAG_DISCONT;
 886     ts->pat.write_packet = section_write_packet;
 887     ts->pat.opaque       = s;
 888
 889     ts->sdt.pid          = SDT_PID;
 890     ts->sdt.cc           = 15;
 891     ts->sdt.discontinuity= ts->flags & MPEGTS_FLAG_DISCONT;
 892     ts->sdt.write_packet = section_write_packet;
 893     ts->sdt.opaque       = s;
 894
 895     pids = av_malloc_array(s->nb_streams, sizeof(*pids));
 896     if (!pids) {
 897         ret = AVERROR(ENOMEM);
 898         goto fail;
 899     }
 900
 901     /* assign pids to each stream */
 902     for (i = 0; i < s->nb_streams; i++) {
 903         AVStream *st = s->streams[i];
 904         MpegTSWriteStream *ts_st;
 905
 906         ts_st = av_mallocz(sizeof(MpegTSWriteStream));
 907         if (!ts_st) {
 908             ret = AVERROR(ENOMEM);
 909             goto fail;
 910         }
 911         st->priv_data = ts_st;
 912
 913         avpriv_set_pts_info(st, 33, 1, 90000);
 914
 915         ts_st->payload = av_mallocz(ts->pes_payload_size);
 916         if (!ts_st->payload) {
 917             ret = AVERROR(ENOMEM);
 918             goto fail;
 919         }
 920
 921         /* MPEG pid values < 16 are reserved. Applications which set st->id in
 922          * this range are assigned a calculated pid. */
 923         if (st->id < 16) {
 924             ts_st->pid = ts->start_pid + i;
 925         } else {
 926             ts_st->pid = st->id;
 927         }
 928         if (ts_st->pid >= 0x1FFF) {
 929             av_log(s, AV_LOG_ERROR,
 930                    "Invalid stream id %d, must be less than 8191\n", st->id);
 931             ret = AVERROR(EINVAL);
 932             goto fail;
 933         }
 934         for (j = 0; j < ts->nb_services; j++) {
 935             if (ts->services[j]->pmt.pid > LAST_OTHER_PID) {
 936                 av_log(s, AV_LOG_ERROR,
 937                        "Invalid PMT PID %d, must be less than %d\n", ts->services[j]->pmt.pid, LAST_OTHER_PID + 1);
 938                 ret = AVERROR(EINVAL);
 939                 goto fail;
 940             }
 941             if (ts_st->pid == ts->services[j]->pmt.pid) {
 942                 av_log(s, AV_LOG_ERROR, "PID %d cannot be both elementary and PMT PID\n", ts_st->pid);
 943                 ret = AVERROR(EINVAL);
 944                 goto fail;
 945             }
 946         }
 947         for (j = 0; j < i; j++) {
 948             if (pids[j] == ts_st->pid) {
 949                 av_log(s, AV_LOG_ERROR, "Duplicate stream id %d\n", ts_st->pid);
 950                 ret = AVERROR(EINVAL);
 951                 goto fail;
 952             }
 953         }
 954         pids[i]                = ts_st->pid;
 955         ts_st->payload_pts     = AV_NOPTS_VALUE;
 956         ts_st->payload_dts     = AV_NOPTS_VALUE;
 957         ts_st->first_pts_check = 1;
 958         ts_st->cc              = 15;
 959         ts_st->discontinuity   = ts->flags & MPEGTS_FLAG_DISCONT;
 960         if (st->codecpar->codec_id == AV_CODEC_ID_AAC &&
 961             st->codecpar->extradata_size > 0) {
 962             AVStream *ast;
 963             ts_st->amux = avformat_alloc_context();
 964             if (!ts_st->amux) {
 965                 ret = AVERROR(ENOMEM);
 966                 goto fail;
 967             }
 968             ts_st->amux->oformat =
 969                 av_guess_format((ts->flags & MPEGTS_FLAG_AAC_LATM) ? "latm" : "adts",
 970                                 NULL, NULL);
 971             if (!ts_st->amux->oformat) {
 972                 ret = AVERROR(EINVAL);
 973                 goto fail;
 974             }
 975             if (!(ast = avformat_new_stream(ts_st->amux, NULL))) {
 976                 ret = AVERROR(ENOMEM);
 977                 goto fail;
 978             }
 979             ret = avcodec_parameters_copy(ast->codecpar, st->codecpar);
 980             if (ret != 0)
 981                 goto fail;
 982             ast->time_base = st->time_base;
 983             ret = avformat_write_header(ts_st->amux, NULL);
 984             if (ret < 0)
 985                 goto fail;
 986         }
 987         if (st->codecpar->codec_id == AV_CODEC_ID_OPUS) {
 988             ts_st->opus_pending_trim_start = st->codecpar->initial_padding * 48000 / st->codecpar->sample_rate;
 989         }
 990     }
 991
 992     av_freep(&pids);
 993
 994     if (ts->copyts < 1)
 995         ts->first_pcr = av_rescale(s->max_delay, PCR_TIME_BASE, AV_TIME_BASE);
 996
 997     select_pcr_streams(s);
 998
 999     ts->last_pat_ts = AV_NOPTS_VALUE;
1000     ts->last_sdt_ts = AV_NOPTS_VALUE;
1001     ts->pat_period = av_rescale(ts->pat_period_us, PCR_TIME_BASE, AV_TIME_BASE);
1002     ts->sdt_period = av_rescale(ts->sdt_period_us, PCR_TIME_BASE, AV_TIME_BASE);
1003
1004     if (ts->mux_rate == 1)
1005         av_log(s, AV_LOG_VERBOSE, "muxrate VBR, ");
1006     else
1007         av_log(s, AV_LOG_VERBOSE, "muxrate %d, ", ts->mux_rate);
1008     av_log(s, AV_LOG_VERBOSE,
1009            "sdt every %"PRId64" ms, pat/pmt every %"PRId64" ms\n",
1010            av_rescale(ts->sdt_period, 1000, PCR_TIME_BASE),
1011            av_rescale(ts->pat_period, 1000, PCR_TIME_BASE));
1012
1013     return 0;
1014
1015 fail:
1016     av_freep(&pids);
1017     return ret;
1018 }
1019
1020 /* send SDT, PAT and PMT tables regularly */
1021 static void retransmit_si_info(AVFormatContext *s, int force_pat, int force_sdt, int64_t pcr)
1022 {
1023     MpegTSWrite *ts = s->priv_data;
1024     int i;
1025
1026     if ((pcr != AV_NOPTS_VALUE && ts->last_sdt_ts == AV_NOPTS_VALUE) ||
1027         (pcr != AV_NOPTS_VALUE && pcr - ts->last_sdt_ts >= ts->sdt_period) ||
1028         force_sdt
1029     ) {
1030         if (pcr != AV_NOPTS_VALUE)
1031             ts->last_sdt_ts = FFMAX(pcr, ts->last_sdt_ts);
1032         mpegts_write_sdt(s);
1033     }
1034     if ((pcr != AV_NOPTS_VALUE && ts->last_pat_ts == AV_NOPTS_VALUE) ||
1035         (pcr != AV_NOPTS_VALUE && pcr - ts->last_pat_ts >= ts->pat_period) ||
1036         force_pat) {
1037         if (pcr != AV_NOPTS_VALUE)
1038             ts->last_pat_ts = FFMAX(pcr, ts->last_pat_ts);
1039         mpegts_write_pat(s);
1040         for (i = 0; i < ts->nb_services; i++)
1041             mpegts_write_pmt(s, ts->services[i]);
1042     }
1043 }
1044
1045 static int write_pcr_bits(uint8_t *buf, int64_t pcr)
1046 {
1047     int64_t pcr_low = pcr % 300, pcr_high = pcr / 300;
1048
1049     *buf++ = pcr_high >> 25;
1050     *buf++ = pcr_high >> 17;
1051     *buf++ = pcr_high >>  9;
1052     *buf++ = pcr_high >>  1;
1053     *buf++ = pcr_high <<  7 | pcr_low >> 8 | 0x7e;
1054     *buf++ = pcr_low;
1055
1056     return 6;
1057 }
1058
1059 /* Write a single null transport stream packet */
1060 static void mpegts_insert_null_packet(AVFormatContext *s)
1061 {
1062     uint8_t *q;
1063     uint8_t buf[TS_PACKET_SIZE];
1064
1065     q    = buf;
1066     *q++ = 0x47;
1067     *q++ = 0x00 | 0x1f;
1068     *q++ = 0xff;
1069     *q++ = 0x10;
1070     memset(q, 0x0FF, TS_PACKET_SIZE - (q - buf));
1071     write_packet(s, buf);
1072 }
1073
1074 /* Write a single transport stream packet with a PCR and no payload */
1075 static void mpegts_insert_pcr_only(AVFormatContext *s, AVStream *st)
1076 {
1077     MpegTSWrite *ts = s->priv_data;
1078     MpegTSWriteStream *ts_st = st->priv_data;
1079     uint8_t *q;
1080     uint8_t buf[TS_PACKET_SIZE];
1081
1082     q    = buf;
1083     *q++ = 0x47;
1084     *q++ = ts_st->pid >> 8;
1085     *q++ = ts_st->pid;
1086     *q++ = 0x20 | ts_st->cc;   /* Adaptation only */
1087     /* Continuity Count field does not increment (see 13818-1 section 2.4.3.3) */
1088     *q++ = TS_PACKET_SIZE - 5; /* Adaptation Field Length */
1089     *q++ = 0x10;               /* Adaptation flags: PCR present */
1090     if (ts_st->discontinuity) {
1091         q[-1] |= 0x80;
1092         ts_st->discontinuity = 0;
1093     }
1094
1095     /* PCR coded into 6 bytes */
1096     q += write_pcr_bits(q, get_pcr(ts, s->pb));
1097
1098     /* stuffing bytes */
1099     memset(q, 0xFF, TS_PACKET_SIZE - (q - buf));
1100     write_packet(s, buf);
1101 }
1102
1103 static void write_pts(uint8_t *q, int fourbits, int64_t pts)
1104 {
1105     int val;
1106
1107     val  = fourbits << 4 | (((pts >> 30) & 0x07) << 1) | 1;
1108     *q++ = val;
1109     val  = (((pts >> 15) & 0x7fff) << 1) | 1;
1110     *q++ = val >> 8;
1111     *q++ = val;
1112     val  = (((pts) & 0x7fff) << 1) | 1;
1113     *q++ = val >> 8;
1114     *q++ = val;
1115 }
1116
1117 /* Set an adaptation field flag in an MPEG-TS packet*/
1118 static void set_af_flag(uint8_t *pkt, int flag)
1119 {
1120     // expect at least one flag to set
1121     av_assert0(flag);
1122
1123     if ((pkt[3] & 0x20) == 0) {
1124         // no AF yet, set adaptation field flag
1125         pkt[3] |= 0x20;
1126         // 1 byte length, no flags
1127         pkt[4] = 1;
1128         pkt[5] = 0;
1129     }
1130     pkt[5] |= flag;
1131 }
1132
1133 /* Extend the adaptation field by size bytes */
1134 static void extend_af(uint8_t *pkt, int size)
1135 {
1136     // expect already existing adaptation field
1137     av_assert0(pkt[3] & 0x20);
1138     pkt[4] += size;
1139 }
1140
1141 /* Get a pointer to MPEG-TS payload (right after TS packet header) */
1142 static uint8_t *get_ts_payload_start(uint8_t *pkt)
1143 {
1144     if (pkt[3] & 0x20)
1145         return pkt + 5 + pkt[4];
1146     else
1147         return pkt + 4;
1148 }
1149
1150 /* Add a PES header to the front of the payload, and segment into an integer
1151  * number of TS packets. The final TS packet is padded using an oversized
1152  * adaptation header to exactly fill the last TS packet.
1153  * NOTE: 'payload' contains a complete PES payload. */
1154 static void mpegts_write_pes(AVFormatContext *s, AVStream *st,
1155                              const uint8_t *payload, int payload_size,
1156                              int64_t pts, int64_t dts, int key, int stream_id)
1157 {
1158     MpegTSWriteStream *ts_st = st->priv_data;
1159     MpegTSWrite *ts = s->priv_data;
1160     uint8_t buf[TS_PACKET_SIZE];
1161     uint8_t *q;
1162     int val, is_start, len, header_len, write_pcr, is_dvb_subtitle, is_dvb_teletext, flags;
1163     int afc_len, stuffing_len;
1164     int64_t delay = av_rescale(s->max_delay, 90000, AV_TIME_BASE);
1165     int force_pat = st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO && key && !ts_st->prev_payload_key;
1166     int force_sdt = 0;
1167
1168     av_assert0(ts_st->payload != buf || st->codecpar->codec_type != AVMEDIA_TYPE_VIDEO);
1169     if (ts->flags & MPEGTS_FLAG_PAT_PMT_AT_FRAMES && st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
1170         force_pat = 1;
1171     }
1172
1173     if (ts->flags & MPEGTS_FLAG_REEMIT_PAT_PMT) {
1174         force_pat = 1;
1175         force_sdt = 1;
1176         ts->flags &= ~MPEGTS_FLAG_REEMIT_PAT_PMT;
1177     }
1178
1179     is_start = 1;
1180     while (payload_size > 0) {
1181         int64_t pcr = AV_NOPTS_VALUE;
1182         if (ts->mux_rate > 1)
1183             pcr = get_pcr(ts, s->pb);
1184         else if (dts != AV_NOPTS_VALUE)
1185             pcr = (dts - delay) * 300;
1186
1187         retransmit_si_info(s, force_pat, force_sdt, pcr);
1188         force_pat = 0;
1189         force_sdt = 0;
1190
1191         write_pcr = 0;
1192         if (ts->mux_rate > 1) {
1193             /* Send PCR packets for all PCR streams if needed */
1194             pcr = get_pcr(ts, s->pb);
1195             if (pcr >= ts->next_pcr) {
1196                 int64_t next_pcr = INT64_MAX;
1197                 for (int i = 0; i < s->nb_streams; i++) {
1198                     /* Make the current stream the last, because for that we
1199                      * can insert the pcr into the payload later */
1200                     int st2_index = i < st->index ? i : (i + 1 == s->nb_streams ? st->index : i + 1);
1201                     AVStream *st2 = s->streams[st2_index];
1202                     MpegTSWriteStream *ts_st2 = st2->priv_data;
1203                     if (ts_st2->pcr_period) {
1204                         if (pcr - ts_st2->last_pcr >= ts_st2->pcr_period) {
1205                             ts_st2->last_pcr = FFMAX(pcr - ts_st2->pcr_period, ts_st2->last_pcr + ts_st2->pcr_period);
1206                             if (st2 != st) {
1207                                 mpegts_insert_pcr_only(s, st2);
1208                                 pcr = get_pcr(ts, s->pb);
1209                             } else {
1210                                 write_pcr = 1;
1211                             }
1212                         }
1213                         next_pcr = FFMIN(next_pcr, ts_st2->last_pcr + ts_st2->pcr_period);
1214                     }
1215                 }
1216                 ts->next_pcr = next_pcr;
1217             }
1218             if (dts != AV_NOPTS_VALUE && (dts - pcr / 300) > delay) {
1219                 /* pcr insert gets priority over null packet insert */
1220                 if (write_pcr)
1221                     mpegts_insert_pcr_only(s, st);
1222                 else
1223                     mpegts_insert_null_packet(s);
1224                 /* recalculate write_pcr and possibly retransmit si_info */
1225                 continue;
1226             }
1227         } else if (ts_st->pcr_period && pcr != AV_NOPTS_VALUE) {
1228             if (pcr - ts_st->last_pcr >= ts_st->pcr_period && is_start) {
1229                 ts_st->last_pcr = FFMAX(pcr - ts_st->pcr_period, ts_st->last_pcr + ts_st->pcr_period);
1230                 write_pcr = 1;
1231             }
1232         }
1233
1234         /* prepare packet header */
1235         q    = buf;
1236         *q++ = 0x47;
1237         val  = ts_st->pid >> 8;
1238         if (ts->m2ts_mode && st->codecpar->codec_id == AV_CODEC_ID_AC3)
1239             val |= 0x20;
1240         if (is_start)
1241             val |= 0x40;
1242         *q++      = val;
1243         *q++      = ts_st->pid;
1244         ts_st->cc = ts_st->cc + 1 & 0xf;
1245         *q++      = 0x10 | ts_st->cc; // payload indicator + CC
1246         if (ts_st->discontinuity) {
1247             set_af_flag(buf, 0x80);
1248             q = get_ts_payload_start(buf);
1249             ts_st->discontinuity = 0;
1250         }
1251         if (key && is_start && pts != AV_NOPTS_VALUE) {
1252             // set Random Access for key frames
1253             if (ts_st->pcr_period)
1254                 write_pcr = 1;
1255             set_af_flag(buf, 0x40);
1256             q = get_ts_payload_start(buf);
1257         }
1258         if (write_pcr) {
1259             set_af_flag(buf, 0x10);
1260             q = get_ts_payload_start(buf);
1261             // add 11, pcr references the last byte of program clock reference base
1262             if (dts != AV_NOPTS_VALUE && dts < pcr / 300)
1263                 av_log(s, AV_LOG_WARNING, "dts < pcr, TS is invalid\n");
1264             extend_af(buf, write_pcr_bits(q, pcr));
1265             q = get_ts_payload_start(buf);
1266         }
1267         if (is_start) {
1268             int pes_extension = 0;
1269             int pes_header_stuffing_bytes = 0;
1270             /* write PES header */
1271             *q++ = 0x00;
1272             *q++ = 0x00;
1273             *q++ = 0x01;
1274             is_dvb_subtitle = 0;
1275             is_dvb_teletext = 0;
1276             if (st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
1277                 if (st->codecpar->codec_id == AV_CODEC_ID_DIRAC)
1278                     *q++ = 0xfd;
1279                 else
1280                     *q++ = 0xe0;
1281             } else if (st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO &&
1282                        (st->codecpar->codec_id == AV_CODEC_ID_MP2 ||
1283                         st->codecpar->codec_id == AV_CODEC_ID_MP3 ||
1284                         st->codecpar->codec_id == AV_CODEC_ID_AAC)) {
1285                 *q++ = 0xc0;
1286             } else if (st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO &&
1287                         st->codecpar->codec_id == AV_CODEC_ID_AC3 &&
1288                         ts->m2ts_mode) {
1289                 *q++ = 0xfd;
1290             } else if (st->codecpar->codec_type == AVMEDIA_TYPE_DATA &&
1291                        st->codecpar->codec_id == AV_CODEC_ID_TIMED_ID3) {
1292                 *q++ = 0xbd;
1293             } else if (st->codecpar->codec_type == AVMEDIA_TYPE_DATA) {
1294                 *q++ = stream_id != -1 ? stream_id : 0xfc;
1295
1296                 if (stream_id == 0xbd) /* asynchronous KLV */
1297                     pts = dts = AV_NOPTS_VALUE;
1298             } else {
1299                 *q++ = 0xbd;
1300                 if (st->codecpar->codec_type == AVMEDIA_TYPE_SUBTITLE) {
1301                     if (st->codecpar->codec_id == AV_CODEC_ID_DVB_SUBTITLE) {
1302                         is_dvb_subtitle = 1;
1303                     } else if (st->codecpar->codec_id == AV_CODEC_ID_DVB_TELETEXT) {
1304                         is_dvb_teletext = 1;
1305                     }
1306                 }
1307             }
1308             header_len = 0;
1309             flags      = 0;
1310             if (pts != AV_NOPTS_VALUE) {
1311                 header_len += 5;
1312                 flags      |= 0x80;
1313             }
1314             if (dts != AV_NOPTS_VALUE && pts != AV_NOPTS_VALUE && dts != pts) {
1315                 header_len += 5;
1316                 flags      |= 0x40;
1317             }
1318             if (st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO &&
1319                 st->codecpar->codec_id == AV_CODEC_ID_DIRAC) {
1320                 /* set PES_extension_flag */
1321                 pes_extension = 1;
1322                 flags        |= 0x01;
1323
1324                 /* One byte for PES2 extension flag +
1325                  * one byte for extension length +
1326                  * one byte for extension id */
1327                 header_len += 3;
1328             }
1329             /* for Blu-ray AC3 Audio the PES Extension flag should be as follow
1330              * otherwise it will not play sound on blu-ray
1331              */
1332             if (ts->m2ts_mode &&
1333                 st->codecpar->codec_type == AVMEDIA_TYPE_AUDIO &&
1334                 st->codecpar->codec_id == AV_CODEC_ID_AC3) {
1335                         /* set PES_extension_flag */
1336                         pes_extension = 1;
1337                         flags |= 0x01;
1338                         header_len += 3;
1339             }
1340             if (is_dvb_teletext) {
1341                 pes_header_stuffing_bytes = 0x24 - header_len;
1342                 header_len = 0x24;
1343             }
1344             len = payload_size + header_len + 3;
1345             /* 3 extra bytes should be added to DVB subtitle payload: 0x20 0x00 at the beginning and trailing 0xff */
1346             if (is_dvb_subtitle) {
1347                 len += 3;
1348                 payload_size++;
1349             }
1350             if (len > 0xffff)
1351                 len = 0;
1352             if (ts->omit_video_pes_length && st->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
1353                 len = 0;
1354             }
1355             *q++ = len >> 8;
1356             *q++ = len;
1357             val  = 0x80;
1358             /* data alignment indicator is required for subtitle and data streams */
1359             if (st->codecpar->codec_type == AVMEDIA_TYPE_SUBTITLE || st->codecpar->codec_type == AVMEDIA_TYPE_DATA)
1360                 val |= 0x04;
1361             *q++ = val;
1362             *q++ = flags;
1363             *q++ = header_len;
1364             if (pts != AV_NOPTS_VALUE) {
1365                 write_pts(q, flags >> 6, pts);
1366                 q += 5;
1367             }
1368             if (dts != AV_NOPTS_VALUE && pts != AV_NOPTS_VALUE && dts != pts) {
1369                 write_pts(q, 1, dts);
1370                 q += 5;
1371             }
1372             if (pes_extension && st->codecpar->codec_id == AV_CODEC_ID_DIRAC) {
1373                 flags = 0x01;  /* set PES_extension_flag_2 */
1374                 *q++  = flags;
1375                 *q++  = 0x80 | 0x01; /* marker bit + extension length */
1376                 /* Set the stream ID extension flag bit to 0 and
1377                  * write the extended stream ID. */
1378                 *q++ = 0x00 | 0x60;
1379             }
1380             /* For Blu-ray AC3 Audio Setting extended flags */
1381           if (ts->m2ts_mode &&
1382               pes_extension &&
1383               st->codecpar->codec_id == AV_CODEC_ID_AC3) {
1384                       flags = 0x01; /* set PES_extension_flag_2 */
1385                       *q++ = flags;
1386                       *q++ = 0x80 | 0x01; /* marker bit + extension length */
1387                       *q++ = 0x00 | 0x71; /* for AC3 Audio (specifically on blue-rays) */
1388               }
1389
1390
1391             if (is_dvb_subtitle) {
1392                 /* First two fields of DVB subtitles PES data:
1393                  * data_identifier: for DVB subtitle streams shall be coded with the value 0x20
1394                  * subtitle_stream_id: for DVB subtitle stream shall be identified by the value 0x00 */
1395                 *q++ = 0x20;
1396                 *q++ = 0x00;
1397             }
1398             if (is_dvb_teletext) {
1399                 memset(q, 0xff, pes_header_stuffing_bytes);
1400                 q += pes_header_stuffing_bytes;
1401             }
1402             is_start = 0;
1403         }
1404         /* header size */
1405         header_len = q - buf;
1406         /* data len */
1407         len = TS_PACKET_SIZE - header_len;
1408         if (len > payload_size)
1409             len = payload_size;
1410         stuffing_len = TS_PACKET_SIZE - header_len - len;
1411         if (stuffing_len > 0) {
1412             /* add stuffing with AFC */
1413             if (buf[3] & 0x20) {
1414                 /* stuffing already present: increase its size */
1415                 afc_len = buf[4] + 1;
1416                 memmove(buf + 4 + afc_len + stuffing_len,
1417                         buf + 4 + afc_len,
1418                         header_len - (4 + afc_len));
1419                 buf[4] += stuffing_len;
1420                 memset(buf + 4 + afc_len, 0xff, stuffing_len);
1421             } else {
1422                 /* add stuffing */
1423                 memmove(buf + 4 + stuffing_len, buf + 4, header_len - 4);
1424                 buf[3] |= 0x20;
1425                 buf[4]  = stuffing_len - 1;
1426                 if (stuffing_len >= 2) {
1427                     buf[5] = 0x00;
1428                     memset(buf + 6, 0xff, stuffing_len - 2);
1429                 }
1430             }
1431         }
1432
1433         if (is_dvb_subtitle && payload_size == len) {
1434             memcpy(buf + TS_PACKET_SIZE - len, payload, len - 1);
1435             buf[TS_PACKET_SIZE - 1] = 0xff; /* end_of_PES_data_field_marker: an 8-bit field with fixed contents 0xff for DVB subtitle */
1436         } else {
1437             memcpy(buf + TS_PACKET_SIZE - len, payload, len);
1438         }
1439
1440         payload      += len;
1441         payload_size -= len;
1442         write_packet(s, buf);
1443     }
1444     ts_st->prev_payload_key = key;
1445 }
1446
1447 int ff_check_h264_startcode(AVFormatContext *s, const AVStream *st, const AVPacket *pkt)
1448 {
1449     if (pkt->size < 5 || AV_RB32(pkt->data) != 0x0000001 && AV_RB24(pkt->data) != 0x000001) {
1450         if (!st->nb_frames) {
1451             av_log(s, AV_LOG_ERROR, "H.264 bitstream malformed, "
1452                    "no startcode found, use the video bitstream filter 'h264_mp4toannexb' to fix it "
1453                    "('-bsf:v h264_mp4toannexb' option with ffmpeg)\n");
1454             return AVERROR_INVALIDDATA;
1455         }
1456         av_log(s, AV_LOG_WARNING, "H.264 bitstream error, startcode missing, size %d", pkt->size);
1457         if (pkt->size)
1458             av_log(s, AV_LOG_WARNING, " data %08"PRIX32, AV_RB32(pkt->data));
1459         av_log(s, AV_LOG_WARNING, "\n");
1460     }
1461     return 0;
1462 }
1463
1464 static int check_hevc_startcode(AVFormatContext *s, const AVStream *st, const AVPacket *pkt)
1465 {
1466     if (pkt->size < 5 || AV_RB32(pkt->data) != 0x0000001 && AV_RB24(pkt->data) != 0x000001) {
1467         if (!st->nb_frames) {
1468             av_log(s, AV_LOG_ERROR, "HEVC bitstream malformed, no startcode found\n");
1469             return AVERROR_PATCHWELCOME;
1470         }
1471         av_log(s, AV_LOG_WARNING, "HEVC bitstream error, startcode missing, size %d", pkt->size);
1472         if (pkt->size)
1473             av_log(s, AV_LOG_WARNING, " data %08"PRIX32, AV_RB32(pkt->data));
1474         av_log(s, AV_LOG_WARNING, "\n");
1475     }
1476     return 0;
1477 }
1478
1479 /* Based on GStreamer's gst-plugins-base/ext/ogg/gstoggstream.c
1480  * Released under the LGPL v2.1+, written by
1481  * Vincent Penquerc'h <vincent.penquerch@collabora.co.uk>
1482  */
1483 static int opus_get_packet_samples(AVFormatContext *s, AVPacket *pkt)
1484 {
1485     static const int durations[32] = {
1486       480, 960, 1920, 2880,       /* Silk NB */
1487       480, 960, 1920, 2880,       /* Silk MB */
1488       480, 960, 1920, 2880,       /* Silk WB */
1489       480, 960,                   /* Hybrid SWB */
1490       480, 960,                   /* Hybrid FB */
1491       120, 240, 480, 960,         /* CELT NB */
1492       120, 240, 480, 960,         /* CELT NB */
1493       120, 240, 480, 960,         /* CELT NB */
1494       120, 240, 480, 960,         /* CELT NB */
1495     };
1496     int toc, frame_duration, nframes, duration;
1497
1498     if (pkt->size < 1)
1499         return 0;
1500
1501     toc = pkt->data[0];
1502
1503     frame_duration = durations[toc >> 3];
1504     switch (toc & 3) {
1505     case 0:
1506         nframes = 1;
1507         break;
1508     case 1:
1509         nframes = 2;
1510         break;
1511     case 2:
1512         nframes = 2;
1513         break;
1514     case 3:
1515         if (pkt->size < 2)
1516             return 0;
1517         nframes = pkt->data[1] & 63;
1518         break;
1519     }
1520
1521     duration = nframes * frame_duration;
1522     if (duration > 5760) {
1523         av_log(s, AV_LOG_WARNING,
1524                "Opus packet duration > 120 ms, invalid");
1525         return 0;
1526     }
1527
1528     return duration;
1529 }
1530
1531 static int mpegts_write_packet_internal(AVFormatContext *s, AVPacket *pkt)
1532 {
1533     AVStream *st = s->streams[pkt->stream_index];
1534     int size = pkt->size;
1535     uint8_t *buf = pkt->data;
1536     uint8_t *data = NULL;
1537     MpegTSWrite *ts = s->priv_data;
1538     MpegTSWriteStream *ts_st = st->priv_data;
1539     const int64_t delay = av_rescale(s->max_delay, 90000, AV_TIME_BASE) * 2;
1540     const int64_t max_audio_delay = av_rescale(s->max_delay, 90000, AV_TIME_BASE) / 2;
1541     int64_t dts = pkt->dts, pts = pkt->pts;
1542     int opus_samples = 0;
1543     int side_data_size;
1544     uint8_t *side_data = NULL;
1545     int stream_id = -1;
1546
1547     side_data = av_packet_get_side_data(pkt,
1548                                         AV_PKT_DATA_MPEGTS_STREAM_ID,
1549                                         &side_data_size);
1550     if (side_data)
1551         stream_id = side_data[0];
1552
1553     if (ts->copyts < 1) {
1554         if (pts != AV_NOPTS_VALUE)
1555             pts += delay;
1556         if (dts != AV_NOPTS_VALUE)
1557             dts += delay;
1558     }
1559
1560     if (ts_st->first_pts_check && pts == AV_NOPTS_VALUE) {
1561         av_log(s, AV_LOG_ERROR, "first pts value must be set\n");
1562         return AVERROR_INVALIDDATA;
1563     }
1564     ts_st->first_pts_check = 0;
1565
1566     if (st->codecpar->codec_id == AV_CODEC_ID_H264) {
1567         const uint8_t *p = buf, *buf_end = p + size;
1568         uint32_t state = -1;
1569         int extradd = (pkt->flags & AV_PKT_FLAG_KEY) ? st->codecpar->extradata_size : 0;
1570         int ret = ff_check_h264_startcode(s, st, pkt);
1571         if (ret < 0)
1572             return ret;
1573
1574         if (extradd && AV_RB24(st->codecpar->extradata) > 1)
1575             extradd = 0;
1576
1577         do {
1578             p = avpriv_find_start_code(p, buf_end, &state);
1579             av_log(s, AV_LOG_TRACE, "nal %"PRId32"\n", state & 0x1f);
1580             if ((state & 0x1f) == 7)
1581                 extradd = 0;
1582         } while (p < buf_end && (state & 0x1f) != 9 &&
1583                  (state & 0x1f) != 5 && (state & 0x1f) != 1);
1584
1585         if ((state & 0x1f) != 5)
1586             extradd = 0;
1587         if ((state & 0x1f) != 9) { // AUD NAL
1588             data = av_malloc(pkt->size + 6 + extradd);
1589             if (!data)
1590                 return AVERROR(ENOMEM);
1591             memcpy(data + 6, st->codecpar->extradata, extradd);
1592             memcpy(data + 6 + extradd, pkt->data, pkt->size);
1593             AV_WB32(data, 0x00000001);
1594             data[4] = 0x09;
1595             data[5] = 0xf0; // any slice type (0xe) + rbsp stop one bit
1596             buf     = data;
1597             size    = pkt->size + 6 + extradd;
1598         }
1599     } else if (st->codecpar->codec_id == AV_CODEC_ID_AAC) {
1600         if (pkt->size < 2) {
1601             av_log(s, AV_LOG_ERROR, "AAC packet too short\n");
1602             return AVERROR_INVALIDDATA;
1603         }
1604         if ((AV_RB16(pkt->data) & 0xfff0) != 0xfff0) {
1605             int ret;
1606             AVPacket pkt2;
1607
1608             if (!ts_st->amux) {
1609                 av_log(s, AV_LOG_ERROR, "AAC bitstream not in ADTS format "
1610                                         "and extradata missing\n");
1611             } else {
1612             av_init_packet(&pkt2);
1613             pkt2.data = pkt->data;
1614             pkt2.size = pkt->size;
1615             av_assert0(pkt->dts != AV_NOPTS_VALUE);
1616             pkt2.dts = av_rescale_q(pkt->dts, st->time_base, ts_st->amux->streams[0]->time_base);
1617
1618             ret = avio_open_dyn_buf(&ts_st->amux->pb);
1619             if (ret < 0)
1620                 return AVERROR(ENOMEM);
1621
1622             ret = av_write_frame(ts_st->amux, &pkt2);
1623             if (ret < 0) {
1624                 ffio_free_dyn_buf(&ts_st->amux->pb);
1625                 return ret;
1626             }
1627             size            = avio_close_dyn_buf(ts_st->amux->pb, &data);
1628             ts_st->amux->pb = NULL;
1629             buf             = data;
1630             }
1631         }
1632     } else if (st->codecpar->codec_id == AV_CODEC_ID_HEVC) {
1633         const uint8_t *p = buf, *buf_end = p + size;
1634         uint32_t state = -1;
1635         int extradd = (pkt->flags & AV_PKT_FLAG_KEY) ? st->codecpar->extradata_size : 0;
1636         int ret = check_hevc_startcode(s, st, pkt);
1637         if (ret < 0)
1638             return ret;
1639
1640         if (extradd && AV_RB24(st->codecpar->extradata) > 1)
1641             extradd = 0;
1642
1643         do {
1644             p = avpriv_find_start_code(p, buf_end, &state);
1645             av_log(s, AV_LOG_TRACE, "nal %"PRId32"\n", (state & 0x7e)>>1);
1646             if ((state & 0x7e) == 2*32)
1647                 extradd = 0;
1648         } while (p < buf_end && (state & 0x7e) != 2*35 &&
1649                  (state & 0x7e) >= 2*32);
1650
1651         if ((state & 0x7e) < 2*16 || (state & 0x7e) >= 2*24)
1652             extradd = 0;
1653         if ((state & 0x7e) != 2*35) { // AUD NAL
1654             data = av_malloc(pkt->size + 7 + extradd);
1655             if (!data)
1656                 return AVERROR(ENOMEM);
1657             memcpy(data + 7, st->codecpar->extradata, extradd);
1658             memcpy(data + 7 + extradd, pkt->data, pkt->size);
1659             AV_WB32(data, 0x00000001);
1660             data[4] = 2*35;
1661             data[5] = 1;
1662             data[6] = 0x50; // any slice type (0x4) + rbsp stop one bit
1663             buf     = data;
1664             size    = pkt->size + 7 + extradd;
1665         }
1666     } else if (st->codecpar->codec_id == AV_CODEC_ID_OPUS) {
1667         if (pkt->size < 2) {
1668             av_log(s, AV_LOG_ERROR, "Opus packet too short\n");
1669             return AVERROR_INVALIDDATA;
1670         }
1671
1672         /* Add Opus control header */
1673         if ((AV_RB16(pkt->data) >> 5) != 0x3ff) {
1674             uint8_t *side_data;
1675             int side_data_size;
1676             int i, n;
1677             int ctrl_header_size;
1678             int trim_start = 0, trim_end = 0;
1679
1680             opus_samples = opus_get_packet_samples(s, pkt);
1681
1682             side_data = av_packet_get_side_data(pkt,
1683                                                 AV_PKT_DATA_SKIP_SAMPLES,
1684                                                 &side_data_size);
1685
1686             if (side_data && side_data_size >= 10) {
1687                 trim_end = AV_RL32(side_data + 4) * 48000 / st->codecpar->sample_rate;
1688             }
1689
1690             ctrl_header_size = pkt->size + 2 + pkt->size / 255 + 1;
1691             if (ts_st->opus_pending_trim_start)
1692               ctrl_header_size += 2;
1693             if (trim_end)
1694               ctrl_header_size += 2;
1695
1696             data = av_malloc(ctrl_header_size);
1697             if (!data)
1698                 return AVERROR(ENOMEM);
1699
1700             data[0] = 0x7f;
1701             data[1] = 0xe0;
1702             if (ts_st->opus_pending_trim_start)
1703                 data[1] |= 0x10;
1704             if (trim_end)
1705                 data[1] |= 0x08;
1706
1707             n = pkt->size;
1708             i = 2;
1709             do {
1710                 data[i] = FFMIN(n, 255);
1711                 n -= 255;
1712                 i++;
1713             } while (n >= 0);
1714
1715             av_assert0(2 + pkt->size / 255 + 1 == i);
1716
1717             if (ts_st->opus_pending_trim_start) {
1718                 trim_start = FFMIN(ts_st->opus_pending_trim_start, opus_samples);
1719                 AV_WB16(data + i, trim_start);
1720                 i += 2;
1721                 ts_st->opus_pending_trim_start -= trim_start;
1722             }
1723             if (trim_end) {
1724                 trim_end = FFMIN(trim_end, opus_samples - trim_start);
1725                 AV_WB16(data + i, trim_end);
1726                 i += 2;
1727             }
1728
1729             memcpy(data + i, pkt->data, pkt->size);
1730             buf     = data;
1731             size    = ctrl_header_size;
1732         } else {
1733             /* TODO: Can we get TS formatted data here? If so we will
1734              * need to count the samples of that too! */
1735             av_log(s, AV_LOG_WARNING, "Got MPEG-TS formatted Opus data, unhandled");
1736         }
1737     }
1738
1739     if (ts_st->payload_size && (ts_st->payload_size + size > ts->pes_payload_size ||
1740         (dts != AV_NOPTS_VALUE && ts_st->payload_dts != AV_NOPTS_VALUE &&
1741          dts - ts_st->payload_dts >= max_audio_delay) ||
1742         ts_st->opus_queued_samples + opus_samples >= 5760 /* 120ms */)) {
1743         mpegts_write_pes(s, st, ts_st->payload, ts_st->payload_size,
1744                          ts_st->payload_pts, ts_st->payload_dts,
1745                          ts_st->payload_flags & AV_PKT_FLAG_KEY, stream_id);
1746         ts_st->payload_size = 0;
1747         ts_st->opus_queued_samples = 0;
1748     }
1749
1750     if (st->codecpar->codec_type != AVMEDIA_TYPE_AUDIO || size > ts->pes_payload_size) {
1751         av_assert0(!ts_st->payload_size);
1752         // for video and subtitle, write a single pes packet
1753         mpegts_write_pes(s, st, buf, size, pts, dts,
1754                          pkt->flags & AV_PKT_FLAG_KEY, stream_id);
1755         ts_st->opus_queued_samples = 0;
1756         av_free(data);
1757         return 0;
1758     }
1759
1760     if (!ts_st->payload_size) {
1761         ts_st->payload_pts   = pts;
1762         ts_st->payload_dts   = dts;
1763         ts_st->payload_flags = pkt->flags;
1764     }
1765
1766     memcpy(ts_st->payload + ts_st->payload_size, buf, size);
1767     ts_st->payload_size += size;
1768     ts_st->opus_queued_samples += opus_samples;
1769
1770     av_free(data);
1771
1772     return 0;
1773 }
1774
1775 static void mpegts_write_flush(AVFormatContext *s)
1776 {
1777     MpegTSWrite *ts = s->priv_data;
1778     int i;
1779
1780     /* flush current packets */
1781     for (i = 0; i < s->nb_streams; i++) {
1782         AVStream *st = s->streams[i];
1783         MpegTSWriteStream *ts_st = st->priv_data;
1784         if (ts_st->payload_size > 0) {
1785             mpegts_write_pes(s, st, ts_st->payload, ts_st->payload_size,
1786                              ts_st->payload_pts, ts_st->payload_dts,
1787                              ts_st->payload_flags & AV_PKT_FLAG_KEY, -1);
1788             ts_st->payload_size = 0;
1789             ts_st->opus_queued_samples = 0;
1790         }
1791     }
1792
1793     if (ts->m2ts_mode) {
1794         int packets = (avio_tell(s->pb) / (TS_PACKET_SIZE + 4)) % 32;
1795         while (packets++ < 32)
1796             mpegts_insert_null_packet(s);
1797     }
1798 }
1799
1800 static int mpegts_write_packet(AVFormatContext *s, AVPacket *pkt)
1801 {
1802     if (!pkt) {
1803         mpegts_write_flush(s);
1804         return 1;
1805     } else {
1806         return mpegts_write_packet_internal(s, pkt);
1807     }
1808 }
1809
1810 static int mpegts_write_end(AVFormatContext *s)
1811 {
1812     if (s->pb)
1813         mpegts_write_flush(s);
1814
1815     return 0;
1816 }
1817
1818 static void mpegts_deinit(AVFormatContext *s)
1819 {
1820     MpegTSWrite *ts = s->priv_data;
1821     MpegTSService *service;
1822     int i;
1823
1824     for (i = 0; i < s->nb_streams; i++) {
1825         AVStream *st = s->streams[i];
1826         MpegTSWriteStream *ts_st = st->priv_data;
1827         if (ts_st) {
1828             av_freep(&ts_st->payload);
1829             if (ts_st->amux) {
1830                 avformat_free_context(ts_st->amux);
1831                 ts_st->amux = NULL;
1832             }
1833         }
1834     }
1835
1836     for (i = 0; i < ts->nb_services; i++) {
1837         service = ts->services[i];
1838         av_freep(&service);
1839     }
1840     av_freep(&ts->services);
1841 }
1842
1843 static int mpegts_check_bitstream(struct AVFormatContext *s, const AVPacket *pkt)
1844 {
1845     int ret = 1;
1846     AVStream *st = s->streams[pkt->stream_index];
1847
1848     if (st->codecpar->codec_id == AV_CODEC_ID_H264) {
1849         if (pkt->size >= 5 && AV_RB32(pkt->data) != 0x0000001 &&
1850                              (AV_RB24(pkt->data) != 0x000001 ||
1851                               (st->codecpar->extradata_size > 0 &&
1852                                st->codecpar->extradata[0] == 1)))
1853             ret = ff_stream_add_bitstream_filter(st, "h264_mp4toannexb", NULL);
1854     } else if (st->codecpar->codec_id == AV_CODEC_ID_HEVC) {
1855         if (pkt->size >= 5 && AV_RB32(pkt->data) != 0x0000001 &&
1856                              (AV_RB24(pkt->data) != 0x000001 ||
1857                               (st->codecpar->extradata_size > 0 &&
1858                                st->codecpar->extradata[0] == 1)))
1859             ret = ff_stream_add_bitstream_filter(st, "hevc_mp4toannexb", NULL);
1860     }
1861
1862     return ret;
1863 }
1864
1865 static const AVOption options[] = {
1866     { "mpegts_transport_stream_id", "Set transport_stream_id field.",
1867       offsetof(MpegTSWrite, transport_stream_id), AV_OPT_TYPE_INT,
1868       { .i64 = 0x0001 }, 0x0001, 0xffff, AV_OPT_FLAG_ENCODING_PARAM },
1869     { "mpegts_original_network_id", "Set original_network_id field.",
1870       offsetof(MpegTSWrite, original_network_id), AV_OPT_TYPE_INT,
1871       { .i64 = DVB_PRIVATE_NETWORK_START }, 0x0001, 0xffff, AV_OPT_FLAG_ENCODING_PARAM },
1872     { "mpegts_service_id", "Set service_id field.",
1873       offsetof(MpegTSWrite, service_id), AV_OPT_TYPE_INT,
1874       { .i64 = 0x0001 }, 0x0001, 0xffff, AV_OPT_FLAG_ENCODING_PARAM },
1875     { "mpegts_service_type", "Set service_type field.",
1876       offsetof(MpegTSWrite, service_type), AV_OPT_TYPE_INT,
1877       { .i64 = 0x01 }, 0x01, 0xff, AV_OPT_FLAG_ENCODING_PARAM, "mpegts_service_type" },
1878     { "digital_tv", "Digital Television.",
1879       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_SERVICE_TYPE_DIGITAL_TV }, 0x01, 0xff,
1880       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_service_type" },
1881     { "digital_radio", "Digital Radio.",
1882       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_SERVICE_TYPE_DIGITAL_RADIO }, 0x01, 0xff,
1883       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_service_type" },
1884     { "teletext", "Teletext.",
1885       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_SERVICE_TYPE_TELETEXT }, 0x01, 0xff,
1886       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_service_type" },
1887     { "advanced_codec_digital_radio", "Advanced Codec Digital Radio.",
1888       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_SERVICE_TYPE_ADVANCED_CODEC_DIGITAL_RADIO }, 0x01, 0xff,
1889       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_service_type" },
1890     { "mpeg2_digital_hdtv", "MPEG2 Digital HDTV.",
1891       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_SERVICE_TYPE_MPEG2_DIGITAL_HDTV }, 0x01, 0xff,
1892       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_service_type" },
1893     { "advanced_codec_digital_sdtv", "Advanced Codec Digital SDTV.",
1894       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_SERVICE_TYPE_ADVANCED_CODEC_DIGITAL_SDTV }, 0x01, 0xff,
1895       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_service_type" },
1896     { "advanced_codec_digital_hdtv", "Advanced Codec Digital HDTV.",
1897       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_SERVICE_TYPE_ADVANCED_CODEC_DIGITAL_HDTV }, 0x01, 0xff,
1898       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_service_type" },
1899     { "hevc_digital_hdtv", "HEVC Digital Television Service.",
1900       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_SERVICE_TYPE_HEVC_DIGITAL_HDTV }, 0x01, 0xff,
1901       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_service_type" },
1902     { "mpegts_pmt_start_pid", "Set the first pid of the PMT.",
1903       offsetof(MpegTSWrite, pmt_start_pid), AV_OPT_TYPE_INT,
1904       { .i64 = 0x1000 }, FIRST_OTHER_PID, LAST_OTHER_PID, AV_OPT_FLAG_ENCODING_PARAM },
1905     { "mpegts_start_pid", "Set the first pid.",
1906       offsetof(MpegTSWrite, start_pid), AV_OPT_TYPE_INT,
1907       { .i64 = 0x0100 }, FIRST_OTHER_PID, LAST_OTHER_PID, AV_OPT_FLAG_ENCODING_PARAM },
1908     { "mpegts_m2ts_mode", "Enable m2ts mode.",
1909       offsetof(MpegTSWrite, m2ts_mode), AV_OPT_TYPE_BOOL,
1910       { .i64 = -1 }, -1, 1, AV_OPT_FLAG_ENCODING_PARAM },
1911     { "muxrate", NULL,
1912       offsetof(MpegTSWrite, mux_rate), AV_OPT_TYPE_INT,
1913       { .i64 = 1 }, 0, INT_MAX, AV_OPT_FLAG_ENCODING_PARAM },
1914     { "pes_payload_size", "Minimum PES packet payload in bytes",
1915       offsetof(MpegTSWrite, pes_payload_size), AV_OPT_TYPE_INT,
1916       { .i64 = DEFAULT_PES_PAYLOAD_SIZE }, 0, INT_MAX, AV_OPT_FLAG_ENCODING_PARAM },
1917     { "mpegts_flags", "MPEG-TS muxing flags",
1918       offsetof(MpegTSWrite, flags), AV_OPT_TYPE_FLAGS, { .i64 = 0 }, 0, INT_MAX,
1919       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_flags" },
1920     { "resend_headers", "Reemit PAT/PMT before writing the next packet",
1921       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_FLAG_REEMIT_PAT_PMT }, 0, INT_MAX,
1922       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_flags" },
1923     { "latm", "Use LATM packetization for AAC",
1924       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_FLAG_AAC_LATM }, 0, INT_MAX,
1925       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_flags" },
1926     { "pat_pmt_at_frames", "Reemit PAT and PMT at each video frame",
1927       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_FLAG_PAT_PMT_AT_FRAMES}, 0, INT_MAX,
1928       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_flags" },
1929     { "system_b", "Conform to System B (DVB) instead of System A (ATSC)",
1930       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_FLAG_SYSTEM_B }, 0, INT_MAX,
1931       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_flags" },
1932     { "initial_discontinuity", "Mark initial packets as discontinuous",
1933       0, AV_OPT_TYPE_CONST, { .i64 = MPEGTS_FLAG_DISCONT }, 0, INT_MAX,
1934       AV_OPT_FLAG_ENCODING_PARAM, "mpegts_flags" },
1935     { "mpegts_copyts", "don't offset dts/pts",
1936       offsetof(MpegTSWrite, copyts), AV_OPT_TYPE_BOOL,
1937       { .i64 = -1 }, -1, 1, AV_OPT_FLAG_ENCODING_PARAM },
1938     { "tables_version", "set PAT, PMT and SDT version",
1939       offsetof(MpegTSWrite, tables_version), AV_OPT_TYPE_INT,
1940       { .i64 = 0 }, 0, 31, AV_OPT_FLAG_ENCODING_PARAM },
1941     { "omit_video_pes_length", "Omit the PES packet length for video packets",
1942       offsetof(MpegTSWrite, omit_video_pes_length), AV_OPT_TYPE_BOOL,
1943       { .i64 = 1 }, 0, 1, AV_OPT_FLAG_ENCODING_PARAM },
1944     { "pcr_period", "PCR retransmission time in milliseconds",
1945       offsetof(MpegTSWrite, pcr_period_ms), AV_OPT_TYPE_INT,
1946       { .i64 = -1 }, -1, INT_MAX, AV_OPT_FLAG_ENCODING_PARAM },
1947     { "pat_period", "PAT/PMT retransmission time limit in seconds",
1948       offsetof(MpegTSWrite, pat_period_us), AV_OPT_TYPE_DURATION,
1949       { .i64 = PAT_RETRANS_TIME * 1000LL }, 0, INT64_MAX, AV_OPT_FLAG_ENCODING_PARAM },
1950     { "sdt_period", "SDT retransmission time limit in seconds",
1951       offsetof(MpegTSWrite, sdt_period_us), AV_OPT_TYPE_DURATION,
1952       { .i64 = SDT_RETRANS_TIME * 1000LL }, 0, INT64_MAX, AV_OPT_FLAG_ENCODING_PARAM },
1953     { NULL },
1954 };
1955
1956 static const AVClass mpegts_muxer_class = {
1957     .class_name = "MPEGTS muxer",
1958     .item_name  = av_default_item_name,
1959     .option     = options,
1960     .version    = LIBAVUTIL_VERSION_INT,
1961 };
1962
1963 AVOutputFormat ff_mpegts_muxer = {
1964     .name           = "mpegts",
1965     .long_name      = NULL_IF_CONFIG_SMALL("MPEG-TS (MPEG-2 Transport Stream)"),
1966     .mime_type      = "video/MP2T",
1967     .extensions     = "ts,m2t,m2ts,mts",
1968     .priv_data_size = sizeof(MpegTSWrite),
1969     .audio_codec    = AV_CODEC_ID_MP2,
1970     .video_codec    = AV_CODEC_ID_MPEG2VIDEO,
1971     .init           = mpegts_init,
1972     .write_packet   = mpegts_write_packet,
1973     .write_trailer  = mpegts_write_end,
1974     .deinit         = mpegts_deinit,
1975     .check_bitstream = mpegts_check_bitstream,
1976     .flags          = AVFMT_ALLOW_FLUSH | AVFMT_VARIABLE_FPS | AVFMT_NODIMENSIONS,
1977     .priv_class     = &mpegts_muxer_class,
1978 };