git.sesse.net Git - ffmpeg/blob - libavfilter/vf_readeia608.c

   1 /*
   2  * Copyright (c) 2017 Paul B Mahol
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 /**
  22  * @file
  23  * Filter for reading closed captioning data (EIA-608).
  24  * See also https://en.wikipedia.org/wiki/EIA-608
  25  */
  26
  27 #include <string.h>
  28
  29 #include "libavutil/internal.h"
  30 #include "libavutil/opt.h"
  31 #include "libavutil/pixdesc.h"
  32 #include "libavutil/timestamp.h"
  33
  34 #include "avfilter.h"
  35 #include "formats.h"
  36 #include "internal.h"
  37 #include "video.h"
  38
  39 #define LAG 25
  40 #define SYNC_MIN 12.f
  41 #define SYNC_MAX 15.f
  42
  43 typedef struct CodeItem {
  44     uint8_t bit;
  45     int size;
  46 } CodeItem;
  47
  48 typedef struct ReadEIA608Context {
  49     const AVClass *class;
  50     int start, end;
  51     int nb_found;
  52     int white;
  53     int black;
  54     float spw;
  55     int chp;
  56     int lp;
  57
  58     uint64_t histogram[256];
  59
  60     uint8_t *temp;
  61     uint8_t *signal;
  62     CodeItem *code;
  63     float *unfiltered;
  64     float *filtered;
  65     float *avg_filter;
  66     float *std_filter;
  67 } ReadEIA608Context;
  68
  69 #define OFFSET(x) offsetof(ReadEIA608Context, x)
  70 #define FLAGS AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM
  71
  72 static const AVOption readeia608_options[] = {
  73     { "scan_min", "set from which line to scan for codes",               OFFSET(start), AV_OPT_TYPE_INT,   {.i64=0},     0, INT_MAX, FLAGS },
  74     { "scan_max", "set to which line to scan for codes",                 OFFSET(end),   AV_OPT_TYPE_INT,   {.i64=29},    0, INT_MAX, FLAGS },
  75     { "spw",      "set ratio of width reserved for sync code detection", OFFSET(spw),   AV_OPT_TYPE_FLOAT, {.dbl=.27}, 0.1,     0.7, FLAGS },
  76     { "chp",      "check and apply parity bit",                          OFFSET(chp),   AV_OPT_TYPE_BOOL,  {.i64= 0},    0,       1, FLAGS },
  77     { "lp",       "lowpass line prior to processing",                    OFFSET(lp),    AV_OPT_TYPE_BOOL,  {.i64= 1},    0,       1, FLAGS },
  78     { NULL }
  79 };
  80
  81 AVFILTER_DEFINE_CLASS(readeia608);
  82
  83 static int query_formats(AVFilterContext *ctx)
  84 {
  85     static const enum AVPixelFormat pixel_fmts[] = {
  86         AV_PIX_FMT_GRAY8,
  87         AV_PIX_FMT_YUV410P, AV_PIX_FMT_YUV411P,
  88         AV_PIX_FMT_YUV420P, AV_PIX_FMT_YUV422P,
  89         AV_PIX_FMT_YUV440P, AV_PIX_FMT_YUV444P,
  90         AV_PIX_FMT_YUVJ420P, AV_PIX_FMT_YUVJ422P,
  91         AV_PIX_FMT_YUVJ440P, AV_PIX_FMT_YUVJ444P,
  92         AV_PIX_FMT_YUVJ411P,
  93         AV_PIX_FMT_NONE
  94     };
  95     AVFilterFormats *formats = ff_make_format_list(pixel_fmts);
  96     if (!formats)
  97         return AVERROR(ENOMEM);
  98     return ff_set_common_formats(ctx, formats);
  99 }
 100
 101 static int config_input(AVFilterLink *inlink)
 102 {
 103     AVFilterContext *ctx = inlink->dst;
 104     ReadEIA608Context *s = ctx->priv;
 105     int size = inlink->w + LAG;
 106
 107     if (s->end >= inlink->h) {
 108         av_log(ctx, AV_LOG_WARNING, "Last line to scan too large, clipping.\n");
 109         s->end = inlink->h - 1;
 110     }
 111
 112     if (s->start > s->end) {
 113         av_log(ctx, AV_LOG_ERROR, "Invalid range.\n");
 114         return AVERROR(EINVAL);
 115     }
 116
 117     s->unfiltered = av_calloc(size, sizeof(*s->unfiltered));
 118     s->filtered = av_calloc(size, sizeof(*s->filtered));
 119     s->avg_filter = av_calloc(size, sizeof(*s->avg_filter));
 120     s->std_filter = av_calloc(size, sizeof(*s->std_filter));
 121     s->signal = av_calloc(size, sizeof(*s->signal));
 122     s->code = av_calloc(size, sizeof(*s->code));
 123     s->temp = av_calloc(size, sizeof(*s->temp));
 124     if (!s->unfiltered || !s->filtered || !s->avg_filter ||
 125         !s->std_filter || !s->signal || !s->code || !s->temp)
 126         return AVERROR(ENOMEM);
 127
 128     return 0;
 129 }
 130
 131 static void build_histogram(ReadEIA608Context *s, const uint8_t *src, int len)
 132 {
 133     memset(s->histogram, 0, sizeof(s->histogram));
 134
 135     for (int i = 0; i < len; i++)
 136         s->histogram[src[i]]++;
 137 }
 138
 139 static void find_black_and_white(ReadEIA608Context *s)
 140 {
 141     int start = 0, end = 0, middle;
 142     int black = 0, white = 0;
 143     int cnt;
 144
 145     for (int i = 0; i < 256; i++) {
 146         if (s->histogram[i]) {
 147             start = i;
 148             break;
 149         }
 150     }
 151
 152     for (int i = 255; i >= 0; i--) {
 153         if (s->histogram[i]) {
 154             end = i;
 155             break;
 156         }
 157     }
 158
 159     middle = start + (end - start) / 2;
 160
 161     cnt = 0;
 162     for (int i = start; i <= middle; i++) {
 163         if (s->histogram[i] > cnt) {
 164             cnt = s->histogram[i];
 165             black = i;
 166         }
 167     }
 168
 169     cnt = 0;
 170     for (int i = end; i >= middle; i--) {
 171         if (s->histogram[i] > cnt) {
 172             cnt = s->histogram[i];
 173             white = i;
 174         }
 175     }
 176
 177     s->black = black;
 178     s->white = white;
 179 }
 180
 181 static float meanf(float *data, int len)
 182 {
 183     float sum = 0.0, mean = 0.0;
 184
 185     for (int i = 0; i < len; i++)
 186         sum += data[i];
 187
 188     mean = sum / len;
 189
 190     return mean;
 191 }
 192
 193 static float stddevf(float *data, int len)
 194 {
 195     float m = meanf(data, len);
 196     float standard_deviation = 0.f;
 197
 198     for (int i = 0; i < len; i++)
 199         standard_deviation += (data[i] - m) * (data[i] - m);
 200
 201     return sqrtf(standard_deviation / (len - 1));
 202 }
 203
 204 static void thresholding(ReadEIA608Context *s, const uint8_t *y, uint8_t *signal,
 205                          float *unfiltered, float *filtered, float *avg_filter, float *std_filter,
 206                          int lag, float threshold, float influence, int len)
 207 {
 208     for (int i = lag; i < len + lag; i++) {
 209         unfiltered[i] = y[i - lag] / 255.f;
 210         filtered[i] = unfiltered[i];
 211     }
 212
 213     for (int i = 0; i < lag; i++) {
 214         unfiltered[i] = meanf(unfiltered, len * s->spw);
 215         filtered[i] = unfiltered[i];
 216     }
 217
 218     memset(signal, 0, len);
 219
 220     avg_filter[lag - 1] = meanf(unfiltered, lag);
 221     std_filter[lag - 1] = stddevf(unfiltered, lag);
 222
 223     for (int i = lag; i < len + lag; i++) {
 224         if (fabsf(unfiltered[i] - avg_filter[i-1]) > threshold * std_filter[i-1]) {
 225             if (unfiltered[i] > avg_filter[i-1]) {
 226                 signal[i - lag] = 255;
 227             } else {
 228                 signal[i - lag] = 0;
 229             }
 230             filtered[i] = influence * unfiltered[i] + (1.f - influence) * filtered[i-1];
 231         } else {
 232             int distance_from_black, distance_from_white;
 233
 234             distance_from_black = FFABS(y[i - lag] - s->black);
 235             distance_from_white = FFABS(y[i - lag] - s->white);
 236
 237             signal[i - lag] = distance_from_black <= distance_from_white ? 0 : 255;
 238         }
 239         avg_filter[i] = meanf(filtered + i - lag, lag);
 240         std_filter[i] = stddevf(filtered + i - lag, lag);
 241     }
 242 }
 243
 244 static int periods(const uint8_t *signal, CodeItem *code, int len)
 245 {
 246     int hold = signal[0], cnt = 0;
 247     int last = 0;
 248
 249     memset(code, 0, len * sizeof(*code));
 250
 251     for (int i = 1; i < len; i++) {
 252         if (signal[i] != hold) {
 253             code[cnt].size = i - last;
 254             code[cnt].bit = hold;
 255             hold = signal[i];
 256             last = i;
 257             cnt++;
 258         }
 259     }
 260
 261     code[cnt].size = len - last;
 262     code[cnt].bit = hold;
 263
 264     return cnt + 1;
 265 }
 266
 267 static void dump_code(AVFilterContext *ctx, int len, int item)
 268 {
 269     ReadEIA608Context *s = ctx->priv;
 270
 271     av_log(ctx, AV_LOG_DEBUG, "%d:", item);
 272     for (int i = 0; i < len; i++) {
 273         av_log(ctx, AV_LOG_DEBUG, " %03d", s->code[i].size);
 274     }
 275     av_log(ctx, AV_LOG_DEBUG, "\n");
 276 }
 277
 278 static void extract_line(AVFilterContext *ctx, AVFilterLink *inlink, AVFrame *in, int line)
 279 {
 280     ReadEIA608Context *s = ctx->priv;
 281     int i, j, ch, len;
 282     const uint8_t *src;
 283     uint8_t byte[2] = { 0 };
 284     uint8_t codes[19] = { 0 };
 285     float bit_size = 0.f;
 286     int parity;
 287
 288     src = &in->data[0][line * in->linesize[0]];
 289     if (s->lp) {
 290         uint8_t *dst = s->temp;
 291         int w = inlink->w - 1;
 292
 293         for (i = 0; i < inlink->w; i++) {
 294             int a = FFMAX(i - 3, 0);
 295             int b = FFMAX(i - 2, 0);
 296             int c = FFMAX(i - 1, 0);
 297             int d = FFMIN(i + 3, w);
 298             int e = FFMIN(i + 2, w);
 299             int f = FFMIN(i + 1, w);
 300
 301             dst[i] = (src[a] + src[b] + src[c] + src[i] + src[d] + src[e] + src[f] + 6) / 7;
 302         }
 303
 304         src = s->temp;
 305     }
 306
 307     build_histogram(s, src, inlink->w);
 308     find_black_and_white(s);
 309     if (s->white - s->black < 5)
 310         return;
 311
 312     thresholding(s, src, s->signal, s->unfiltered, s->filtered,
 313                  s->avg_filter, s->std_filter,
 314                  LAG, 1, 0, inlink->w);
 315     //memcpy(&in->data[0][line * in->linesize[0]], s->signal, inlink->w);
 316     len = periods(s->signal, s->code, inlink->w);
 317     dump_code(ctx, len, line);
 318     if (len < 15 ||
 319         s->code[14].bit != 0 ||
 320         inlink->w / (float)s->code[14].size < SYNC_MIN ||
 321         inlink->w / (float)s->code[14].size > SYNC_MAX) {
 322         return;
 323     }
 324
 325     for (i = 14; i < len; i++) {
 326         bit_size += s->code[i].size;
 327     }
 328
 329     bit_size /= 19.f;
 330     for (i = 1; i < 14; i++) {
 331         if (s->code[i].size > bit_size * 1.5f) {
 332             return;
 333         }
 334     }
 335
 336     if (s->code[15].size / bit_size < 0.45f) {
 337         return;
 338     }
 339
 340     for (j = 0, i = 14; i < len; i++) {
 341         int run, bit;
 342
 343         run = lrintf(s->code[i].size / bit_size);
 344         bit = s->code[i].bit;
 345
 346         for (int k = 0; j < 19 && k < run; k++) {
 347             codes[j++] = bit;
 348         }
 349
 350         if (j >= 19)
 351             break;
 352     }
 353
 354     for (ch = 0; ch < 2; ch++) {
 355         for (parity = 0, i = 0; i < 8; i++) {
 356             int b = codes[3 + ch * 8 + i];
 357
 358             if (b == 255) {
 359                 parity++;
 360                 b = 1;
 361             } else {
 362                 b = 0;
 363             }
 364             byte[ch] |= b << i;
 365         }
 366
 367         if (s->chp) {
 368             if (!(parity & 1)) {
 369                 byte[ch] = 0x7F;
 370             }
 371         }
 372     }
 373
 374     {
 375         uint8_t key[128], value[128];
 376
 377         //snprintf(key, sizeof(key), "lavfi.readeia608.%d.bits", s->nb_found);
 378         //snprintf(value, sizeof(value), "0b%d%d%d%d%d%d%d%d 0b%d%d%d%d%d%d%d%d", codes[3]==255,codes[4]==255,codes[5]==255,codes[6]==255,codes[7]==255,codes[8]==255,codes[9]==255,codes[10]==255,codes[11]==255,codes[12]==255,codes[13]==255,codes[14]==255,codes[15]==255,codes[16]==255,codes[17]==255,codes[18]==255);
 379         //av_dict_set(&in->metadata, key, value, 0);
 380
 381         snprintf(key, sizeof(key), "lavfi.readeia608.%d.cc", s->nb_found);
 382         snprintf(value, sizeof(value), "0x%02X%02X", byte[0], byte[1]);
 383         av_dict_set(&in->metadata, key, value, 0);
 384
 385         snprintf(key, sizeof(key), "lavfi.readeia608.%d.line", s->nb_found);
 386         snprintf(value, sizeof(value), "%d", line);
 387         av_dict_set(&in->metadata, key, value, 0);
 388     }
 389
 390     s->nb_found++;
 391 }
 392
 393 static int filter_frame(AVFilterLink *inlink, AVFrame *in)
 394 {
 395     AVFilterContext *ctx  = inlink->dst;
 396     AVFilterLink *outlink = ctx->outputs[0];
 397     ReadEIA608Context *s = ctx->priv;
 398     int i;
 399
 400     s->nb_found = 0;
 401     for (i = s->start; i <= s->end; i++)
 402         extract_line(ctx, inlink, in, i);
 403
 404     return ff_filter_frame(outlink, in);
 405 }
 406
 407 static av_cold void uninit(AVFilterContext *ctx)
 408 {
 409     ReadEIA608Context *s = ctx->priv;
 410
 411     av_freep(&s->temp);
 412     av_freep(&s->code);
 413     av_freep(&s->signal);
 414     av_freep(&s->unfiltered);
 415     av_freep(&s->filtered);
 416     av_freep(&s->avg_filter);
 417     av_freep(&s->std_filter);
 418 }
 419
 420 static const AVFilterPad readeia608_inputs[] = {
 421     {
 422         .name         = "default",
 423         .type         = AVMEDIA_TYPE_VIDEO,
 424         .filter_frame = filter_frame,
 425         .config_props = config_input,
 426     },
 427     { NULL }
 428 };
 429
 430 static const AVFilterPad readeia608_outputs[] = {
 431     {
 432         .name = "default",
 433         .type = AVMEDIA_TYPE_VIDEO,
 434     },
 435     { NULL }
 436 };
 437
 438 AVFilter ff_vf_readeia608 = {
 439     .name          = "readeia608",
 440     .description   = NULL_IF_CONFIG_SMALL("Read EIA-608 Closed Caption codes from input video and write them to frame metadata."),
 441     .priv_size     = sizeof(ReadEIA608Context),
 442     .priv_class    = &readeia608_class,
 443     .query_formats = query_formats,
 444     .inputs        = readeia608_inputs,
 445     .outputs       = readeia608_outputs,
 446     .uninit        = uninit,
 447     .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC,
 448 };