]> git.sesse.net Git - ffmpeg/blob - libavcodec/ffv1enc.c
h264: allocate some tables per slice contexts, not threads
[ffmpeg] / libavcodec / ffv1enc.c
1 /*
2  * FFV1 encoder for libavcodec
3  *
4  * Copyright (c) 2003-2012 Michael Niedermayer <michaelni@gmx.at>
5  *
6  * This file is part of Libav.
7  *
8  * Libav is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Lesser General Public
10  * License as published by the Free Software Foundation; either
11  * version 2.1 of the License, or (at your option) any later version.
12  *
13  * Libav is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with Libav; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
21  */
22
23 /**
24  * @file
25  * FF Video Codec 1 (a lossless codec) encoder
26  */
27
28 #include "libavutil/attributes.h"
29 #include "libavutil/avassert.h"
30 #include "libavutil/pixdesc.h"
31 #include "libavutil/crc.h"
32 #include "libavutil/opt.h"
33 #include "libavutil/imgutils.h"
34 #include "avcodec.h"
35 #include "internal.h"
36 #include "get_bits.h"
37 #include "put_bits.h"
38 #include "rangecoder.h"
39 #include "golomb.h"
40 #include "mathops.h"
41 #include "ffv1.h"
42
43 static void find_best_state(uint8_t best_state[256][256],
44                             const uint8_t one_state[256])
45 {
46     int i, j, k, m;
47     double l2tab[256];
48
49     for (i = 1; i < 256; i++)
50         l2tab[i] = log2(i / 256.0);
51
52     for (i = 0; i < 256; i++) {
53         double best_len[256];
54         double p = i / 256.0;
55
56         for (j = 0; j < 256; j++)
57             best_len[j] = 1 << 30;
58
59         for (j = FFMAX(i - 10, 1); j < FFMIN(i + 11, 256); j++) {
60             double occ[256] = { 0 };
61             double len      = 0;
62             occ[j] = 1.0;
63             for (k = 0; k < 256; k++) {
64                 double newocc[256] = { 0 };
65                 for (m = 1; m < 256; m++)
66                     if (occ[m]) {
67                         len -= occ[m] *     (p  * l2tab[m] +
68                                         (1 - p) * l2tab[256 - m]);
69                     }
70                 if (len < best_len[k]) {
71                     best_len[k]      = len;
72                     best_state[i][k] = j;
73                 }
74                 for (m = 1; m < 256; m++)
75                     if (occ[m]) {
76                         newocc[one_state[m]]             += occ[m] * p;
77                         newocc[256 - one_state[256 - m]] += occ[m] * (1 - p);
78                     }
79                 memcpy(occ, newocc, sizeof(occ));
80             }
81         }
82     }
83 }
84
85 static av_always_inline av_flatten void put_symbol_inline(RangeCoder *c,
86                                                           uint8_t *state, int v,
87                                                           int is_signed,
88                                                           uint64_t rc_stat[256][2],
89                                                           uint64_t rc_stat2[32][2])
90 {
91     int i;
92
93 #define put_rac(C, S, B)                        \
94     do {                                        \
95         if (rc_stat) {                          \
96             rc_stat[*(S)][B]++;                 \
97             rc_stat2[(S) - state][B]++;         \
98         }                                       \
99         put_rac(C, S, B);                       \
100     } while (0)
101
102     if (v) {
103         const int a = FFABS(v);
104         const int e = av_log2(a);
105         put_rac(c, state + 0, 0);
106         if (e <= 9) {
107             for (i = 0; i < e; i++)
108                 put_rac(c, state + 1 + i, 1);  // 1..10
109             put_rac(c, state + 1 + i, 0);
110
111             for (i = e - 1; i >= 0; i--)
112                 put_rac(c, state + 22 + i, (a >> i) & 1);  // 22..31
113
114             if (is_signed)
115                 put_rac(c, state + 11 + e, v < 0);  // 11..21
116         } else {
117             for (i = 0; i < e; i++)
118                 put_rac(c, state + 1 + FFMIN(i, 9), 1);  // 1..10
119             put_rac(c, state + 1 + 9, 0);
120
121             for (i = e - 1; i >= 0; i--)
122                 put_rac(c, state + 22 + FFMIN(i, 9), (a >> i) & 1);  // 22..31
123
124             if (is_signed)
125                 put_rac(c, state + 11 + 10, v < 0);  // 11..21
126         }
127     } else {
128         put_rac(c, state + 0, 1);
129     }
130 #undef put_rac
131 }
132
133 static av_noinline void put_symbol(RangeCoder *c, uint8_t *state,
134                                    int v, int is_signed)
135 {
136     put_symbol_inline(c, state, v, is_signed, NULL, NULL);
137 }
138
139 static inline void put_vlc_symbol(PutBitContext *pb, VlcState *const state,
140                                   int v, int bits)
141 {
142     int i, k, code;
143     v = fold(v - state->bias, bits);
144
145     i = state->count;
146     k = 0;
147     while (i < state->error_sum) { // FIXME: optimize
148         k++;
149         i += i;
150     }
151
152     assert(k <= 13);
153
154 #if 0 // JPEG LS
155     if (k == 0 && 2 * state->drift <= -state->count)
156         code = v ^ (-1);
157     else
158         code = v;
159 #else
160     code = v ^ ((2 * state->drift + state->count) >> 31);
161 #endif
162
163     ff_dlog(NULL, "v:%d/%d bias:%d error:%d drift:%d count:%d k:%d\n", v, code,
164             state->bias, state->error_sum, state->drift, state->count, k);
165     set_sr_golomb(pb, code, k, 12, bits);
166
167     update_vlc_state(state, v);
168 }
169
170 static av_always_inline int encode_line(FFV1Context *s, int w,
171                                         int16_t *sample[3],
172                                         int plane_index, int bits)
173 {
174     PlaneContext *const p = &s->plane[plane_index];
175     RangeCoder *const c   = &s->c;
176     int x;
177     int run_index = s->run_index;
178     int run_count = 0;
179     int run_mode  = 0;
180
181     if (s->ac != AC_GOLOMB_RICE) {
182         if (c->bytestream_end - c->bytestream < w * 20) {
183             av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
184             return AVERROR_INVALIDDATA;
185         }
186     } else {
187         if (s->pb.buf_end - s->pb.buf - (put_bits_count(&s->pb) >> 3) < w * 4) {
188             av_log(s->avctx, AV_LOG_ERROR, "encoded frame too large\n");
189             return AVERROR_INVALIDDATA;
190         }
191     }
192
193     for (x = 0; x < w; x++) {
194         int diff, context;
195
196         context = get_context(p, sample[0] + x, sample[1] + x, sample[2] + x);
197         diff    = sample[0][x] - predict(sample[0] + x, sample[1] + x);
198
199         if (context < 0) {
200             context = -context;
201             diff    = -diff;
202         }
203
204         diff = fold(diff, bits);
205
206         if (s->ac != AC_GOLOMB_RICE) {
207             if (s->flags & AV_CODEC_FLAG_PASS1) {
208                 put_symbol_inline(c, p->state[context], diff, 1, s->rc_stat,
209                                   s->rc_stat2[p->quant_table_index][context]);
210             } else {
211                 put_symbol_inline(c, p->state[context], diff, 1, NULL, NULL);
212             }
213         } else {
214             if (context == 0)
215                 run_mode = 1;
216
217             if (run_mode) {
218                 if (diff) {
219                     while (run_count >= 1 << ff_log2_run[run_index]) {
220                         run_count -= 1 << ff_log2_run[run_index];
221                         run_index++;
222                         put_bits(&s->pb, 1, 1);
223                     }
224
225                     put_bits(&s->pb, 1 + ff_log2_run[run_index], run_count);
226                     if (run_index)
227                         run_index--;
228                     run_count = 0;
229                     run_mode  = 0;
230                     if (diff > 0)
231                         diff--;
232                 } else {
233                     run_count++;
234                 }
235             }
236
237             ff_dlog(s->avctx, "count:%d index:%d, mode:%d, x:%d pos:%d\n",
238                     run_count, run_index, run_mode, x,
239                     (int)put_bits_count(&s->pb));
240
241             if (run_mode == 0)
242                 put_vlc_symbol(&s->pb, &p->vlc_state[context], diff, bits);
243         }
244     }
245     if (run_mode) {
246         while (run_count >= 1 << ff_log2_run[run_index]) {
247             run_count -= 1 << ff_log2_run[run_index];
248             run_index++;
249             put_bits(&s->pb, 1, 1);
250         }
251
252         if (run_count)
253             put_bits(&s->pb, 1, 1);
254     }
255     s->run_index = run_index;
256
257     return 0;
258 }
259
260 static void encode_plane(FFV1Context *s, uint8_t *src, int w, int h,
261                          int stride, int plane_index)
262 {
263     int x, y, i;
264     const int ring_size = s->context_model ? 3 : 2;
265     int16_t *sample[3];
266     s->run_index = 0;
267
268     memset(s->sample_buffer, 0, ring_size * (w + 6) * sizeof(*s->sample_buffer));
269
270     for (y = 0; y < h; y++) {
271         for (i = 0; i < ring_size; i++)
272             sample[i] = s->sample_buffer + (w + 6) * ((h + i - y) % ring_size) + 3;
273
274         sample[0][-1] = sample[1][0];
275         sample[1][w]  = sample[1][w - 1];
276 // { START_TIMER
277         if (s->bits_per_raw_sample <= 8) {
278             for (x = 0; x < w; x++)
279                 sample[0][x] = src[x + stride * y];
280             encode_line(s, w, sample, plane_index, 8);
281         } else {
282             if (s->packed_at_lsb) {
283                 for (x = 0; x < w; x++)
284                     sample[0][x] = ((uint16_t *)(src + stride * y))[x];
285             } else {
286                 for (x = 0; x < w; x++)
287                     sample[0][x] =
288                         ((uint16_t *)(src + stride * y))[x] >> (16 - s->bits_per_raw_sample);
289             }
290             encode_line(s, w, sample, plane_index, s->bits_per_raw_sample);
291         }
292 // STOP_TIMER("encode line") }
293     }
294 }
295
296 static void encode_rgb_frame(FFV1Context *s, const uint8_t *src[3],
297                              int w, int h, const int stride[3])
298 {
299     int x, y, p, i;
300     const int ring_size = s->context_model ? 3 : 2;
301     int16_t *sample[MAX_PLANES][3];
302     int lbd  = s->avctx->bits_per_raw_sample <= 8;
303     int bits = s->avctx->bits_per_raw_sample > 0
304                ? s->avctx->bits_per_raw_sample
305                : 8;
306     int offset = 1 << bits;
307
308     s->run_index = 0;
309
310     memset(s->sample_buffer, 0, ring_size * MAX_PLANES *
311                                 (w + 6) * sizeof(*s->sample_buffer));
312
313     for (y = 0; y < h; y++) {
314         for (i = 0; i < ring_size; i++)
315             for (p = 0; p < MAX_PLANES; p++)
316                 sample[p][i] = s->sample_buffer + p * ring_size *
317                                (w + 6) +
318                                ((h + i - y) % ring_size) * (w + 6) + 3;
319
320         for (x = 0; x < w; x++) {
321             int b, g, r, av_uninit(a);
322             if (lbd) {
323                 unsigned v = *((const uint32_t *)(src[0] + x * 4 + stride[0] * y));
324                 b = v & 0xFF;
325                 g = (v >> 8) & 0xFF;
326                 r = (v >> 16) & 0xFF;
327                 a = v >> 24;
328             } else {
329                 b = *((const uint16_t *)(src[0] + x * 2 + stride[0] * y));
330                 g = *((const uint16_t *)(src[1] + x * 2 + stride[1] * y));
331                 r = *((const uint16_t *)(src[2] + x * 2 + stride[2] * y));
332             }
333
334             b -= g;
335             r -= g;
336             g += (b + r) >> 2;
337             b += offset;
338             r += offset;
339
340             sample[0][0][x] = g;
341             sample[1][0][x] = b;
342             sample[2][0][x] = r;
343             sample[3][0][x] = a;
344         }
345         for (p = 0; p < 3 + s->transparency; p++) {
346             sample[p][0][-1] = sample[p][1][0];
347             sample[p][1][w]  = sample[p][1][w - 1];
348             if (lbd)
349                 encode_line(s, w, sample[p], (p + 1) / 2, 9);
350             else
351                 encode_line(s, w, sample[p], (p + 1) / 2, bits + 1);
352         }
353     }
354 }
355
356
357 static void write_quant_table(RangeCoder *c, int16_t *quant_table)
358 {
359     int last = 0;
360     int i;
361     uint8_t state[CONTEXT_SIZE];
362     memset(state, 128, sizeof(state));
363
364     for (i = 1; i < 128; i++)
365         if (quant_table[i] != quant_table[i - 1]) {
366             put_symbol(c, state, i - last - 1, 0);
367             last = i;
368         }
369     put_symbol(c, state, i - last - 1, 0);
370 }
371
372 static void write_quant_tables(RangeCoder *c,
373                                int16_t quant_table[MAX_CONTEXT_INPUTS][256])
374 {
375     int i;
376     for (i = 0; i < 5; i++)
377         write_quant_table(c, quant_table[i]);
378 }
379
380 static void write_header(FFV1Context *f)
381 {
382     uint8_t state[CONTEXT_SIZE];
383     int i, j;
384     RangeCoder *const c = &f->slice_context[0]->c;
385
386     memset(state, 128, sizeof(state));
387
388     if (f->version < 2) {
389         put_symbol(c, state, f->version, 0);
390         put_symbol(c, state, f->ac, 0);
391         if (f->ac == AC_RANGE_CUSTOM_TAB) {
392             for (i = 1; i < 256; i++)
393                 put_symbol(c, state,
394                            f->state_transition[i] - c->one_state[i], 1);
395         }
396         put_symbol(c, state, f->colorspace, 0); // YUV cs type
397         if (f->version > 0)
398             put_symbol(c, state, f->bits_per_raw_sample, 0);
399         put_rac(c, state, f->chroma_planes);
400         put_symbol(c, state, f->chroma_h_shift, 0);
401         put_symbol(c, state, f->chroma_v_shift, 0);
402         put_rac(c, state, f->transparency);
403
404         write_quant_tables(c, f->quant_table);
405     } else if (f->version < 3) {
406         put_symbol(c, state, f->slice_count, 0);
407         for (i = 0; i < f->slice_count; i++) {
408             FFV1Context *fs = f->slice_context[i];
409             put_symbol(c, state,
410                        (fs->slice_x      + 1) * f->num_h_slices / f->width, 0);
411             put_symbol(c, state,
412                        (fs->slice_y      + 1) * f->num_v_slices / f->height, 0);
413             put_symbol(c, state,
414                        (fs->slice_width  + 1) * f->num_h_slices / f->width - 1,
415                        0);
416             put_symbol(c, state,
417                        (fs->slice_height + 1) * f->num_v_slices / f->height - 1,
418                        0);
419             for (j = 0; j < f->plane_count; j++) {
420                 put_symbol(c, state, f->plane[j].quant_table_index, 0);
421                 av_assert0(f->plane[j].quant_table_index == f->context_model);
422             }
423         }
424     }
425 }
426
427 static int write_extradata(FFV1Context *f)
428 {
429     RangeCoder *const c = &f->c;
430     uint8_t state[CONTEXT_SIZE];
431     int i, j, k;
432     uint8_t state2[32][CONTEXT_SIZE];
433     unsigned v;
434
435     memset(state2, 128, sizeof(state2));
436     memset(state, 128, sizeof(state));
437
438     f->avctx->extradata_size = 10000 + 4 +
439                                     (11 * 11 * 5 * 5 * 5 + 11 * 11 * 11) * 32;
440     f->avctx->extradata = av_malloc(f->avctx->extradata_size);
441     ff_init_range_encoder(c, f->avctx->extradata, f->avctx->extradata_size);
442     ff_build_rac_states(c, 0.05 * (1LL << 32), 256 - 8);
443
444     put_symbol(c, state, f->version, 0);
445     if (f->version > 2) {
446         if (f->version == 3)
447             f->minor_version = 2;
448         put_symbol(c, state, f->minor_version, 0);
449     }
450
451     put_symbol(c, state, f->ac, 0);
452     if (f->ac == AC_RANGE_CUSTOM_TAB)
453         for (i = 1; i < 256; i++)
454             put_symbol(c, state, f->state_transition[i] - c->one_state[i], 1);
455
456     put_symbol(c, state, f->colorspace, 0); // YUV cs type
457     put_symbol(c, state, f->bits_per_raw_sample, 0);
458     put_rac(c, state, f->chroma_planes);
459     put_symbol(c, state, f->chroma_h_shift, 0);
460     put_symbol(c, state, f->chroma_v_shift, 0);
461     put_rac(c, state, f->transparency);
462     put_symbol(c, state, f->num_h_slices - 1, 0);
463     put_symbol(c, state, f->num_v_slices - 1, 0);
464
465     put_symbol(c, state, f->quant_table_count, 0);
466     for (i = 0; i < f->quant_table_count; i++)
467         write_quant_tables(c, f->quant_tables[i]);
468
469     for (i = 0; i < f->quant_table_count; i++) {
470         for (j = 0; j < f->context_count[i] * CONTEXT_SIZE; j++)
471             if (f->initial_states[i] && f->initial_states[i][0][j] != 128)
472                 break;
473         if (j < f->context_count[i] * CONTEXT_SIZE) {
474             put_rac(c, state, 1);
475             for (j = 0; j < f->context_count[i]; j++)
476                 for (k = 0; k < CONTEXT_SIZE; k++) {
477                     int pred = j ? f->initial_states[i][j - 1][k] : 128;
478                     put_symbol(c, state2[k],
479                                (int8_t)(f->initial_states[i][j][k] - pred), 1);
480                 }
481         } else {
482             put_rac(c, state, 0);
483         }
484     }
485
486     if (f->version > 2) {
487         put_symbol(c, state, f->ec, 0);
488     }
489
490     f->avctx->extradata_size = ff_rac_terminate(c);
491
492     v = av_crc(av_crc_get_table(AV_CRC_32_IEEE), 0,
493                f->avctx->extradata, f->avctx->extradata_size);
494     AV_WL32(f->avctx->extradata + f->avctx->extradata_size, v);
495     f->avctx->extradata_size += 4;
496
497     return 0;
498 }
499
500 static int sort_stt(FFV1Context *s, uint8_t stt[256])
501 {
502     int i, i2, changed, print = 0;
503
504     do {
505         changed = 0;
506         for (i = 12; i < 244; i++) {
507             for (i2 = i + 1; i2 < 245 && i2 < i + 4; i2++) {
508
509 #define COST(old, new)                                      \
510     s->rc_stat[old][0] * -log2((256 - (new)) / 256.0) +     \
511     s->rc_stat[old][1] * -log2((new)         / 256.0)
512
513 #define COST2(old, new)                         \
514     COST(old, new) + COST(256 - (old), 256 - (new))
515
516                 double size0 = COST2(i,  i) + COST2(i2, i2);
517                 double sizeX = COST2(i, i2) + COST2(i2, i);
518                 if (sizeX < size0 && i != 128 && i2 != 128) {
519                     int j;
520                     FFSWAP(int, stt[i], stt[i2]);
521                     FFSWAP(int, s->rc_stat[i][0], s->rc_stat[i2][0]);
522                     FFSWAP(int, s->rc_stat[i][1], s->rc_stat[i2][1]);
523                     if (i != 256 - i2) {
524                         FFSWAP(int, stt[256 - i], stt[256 - i2]);
525                         FFSWAP(int, s->rc_stat[256 - i][0], s->rc_stat[256 - i2][0]);
526                         FFSWAP(int, s->rc_stat[256 - i][1], s->rc_stat[256 - i2][1]);
527                     }
528                     for (j = 1; j < 256; j++) {
529                         if (stt[j] == i)
530                             stt[j] = i2;
531                         else if (stt[j] == i2)
532                             stt[j] = i;
533                         if (i != 256 - i2) {
534                             if (stt[256 - j] == 256 - i)
535                                 stt[256 - j] = 256 - i2;
536                             else if (stt[256 - j] == 256 - i2)
537                                 stt[256 - j] = 256 - i;
538                         }
539                     }
540                     print = changed = 1;
541                 }
542             }
543         }
544     } while (changed);
545     return print;
546 }
547
548 static av_cold int init_slices_state(FFV1Context *f)
549 {
550     int i, ret;
551     for (i = 0; i < f->slice_count; i++) {
552         FFV1Context *fs = f->slice_context[i];
553         if ((ret = ffv1_init_slice_state(f, fs)) < 0)
554             return AVERROR(ENOMEM);
555     }
556     return 0;
557 }
558
559 static av_cold int ffv1_encode_init(AVCodecContext *avctx)
560 {
561     FFV1Context *s = avctx->priv_data;
562     const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(avctx->pix_fmt);
563     int i, j, k, m, ret;
564
565     ffv1_common_init(avctx);
566
567     s->version = 0;
568
569     if ((avctx->flags & (AV_CODEC_FLAG_PASS1 | AV_CODEC_FLAG_PASS2)) ||
570         avctx->slices > 1)
571         s->version = FFMAX(s->version, 2);
572
573     if (avctx->level == 3) {
574         s->version = 3;
575     }
576
577     if (s->ec < 0) {
578         s->ec = (s->version >= 3);
579     }
580
581     if (s->version >= 2 &&
582         avctx->strict_std_compliance > FF_COMPLIANCE_EXPERIMENTAL) {
583         av_log(avctx, AV_LOG_ERROR,
584                "Version %d requested, please set -strict experimental in "
585                "order to enable it\n",
586                s->version);
587         return AVERROR(ENOSYS);
588     }
589
590 #if FF_API_CODER_TYPE
591 FF_DISABLE_DEPRECATION_WARNINGS
592     if (avctx->coder_type != -1)
593         s->ac = avctx->coder_type > 0 ? AC_RANGE_CUSTOM_TAB : AC_GOLOMB_RICE;
594 FF_ENABLE_DEPRECATION_WARNINGS
595 #endif
596
597     s->plane_count = 3;
598     switch (avctx->pix_fmt) {
599     case AV_PIX_FMT_YUV444P9:
600     case AV_PIX_FMT_YUV422P9:
601     case AV_PIX_FMT_YUV420P9:
602         if (!avctx->bits_per_raw_sample)
603             s->bits_per_raw_sample = 9;
604     case AV_PIX_FMT_YUV444P10:
605     case AV_PIX_FMT_YUV420P10:
606     case AV_PIX_FMT_YUV422P10:
607         s->packed_at_lsb = 1;
608         if (!avctx->bits_per_raw_sample && !s->bits_per_raw_sample)
609             s->bits_per_raw_sample = 10;
610     case AV_PIX_FMT_GRAY16:
611     case AV_PIX_FMT_YUV444P16:
612     case AV_PIX_FMT_YUV422P16:
613     case AV_PIX_FMT_YUV420P16:
614         if (!avctx->bits_per_raw_sample && !s->bits_per_raw_sample) {
615             s->bits_per_raw_sample = 16;
616         } else if (!s->bits_per_raw_sample) {
617             s->bits_per_raw_sample = avctx->bits_per_raw_sample;
618         }
619         if (s->bits_per_raw_sample <= 8) {
620             av_log(avctx, AV_LOG_ERROR, "bits_per_raw_sample invalid\n");
621             return AVERROR_INVALIDDATA;
622         }
623         if (s->ac == AC_GOLOMB_RICE) {
624             av_log(avctx, AV_LOG_INFO,
625                    "bits_per_raw_sample > 8, forcing range coder\n");
626             s->ac = AC_RANGE_CUSTOM_TAB;
627         }
628         s->version = FFMAX(s->version, 1);
629     case AV_PIX_FMT_GRAY8:
630     case AV_PIX_FMT_YUV444P:
631     case AV_PIX_FMT_YUV440P:
632     case AV_PIX_FMT_YUV422P:
633     case AV_PIX_FMT_YUV420P:
634     case AV_PIX_FMT_YUV411P:
635     case AV_PIX_FMT_YUV410P:
636         s->chroma_planes = desc->nb_components < 3 ? 0 : 1;
637         s->colorspace    = 0;
638         break;
639     case AV_PIX_FMT_YUVA444P:
640     case AV_PIX_FMT_YUVA422P:
641     case AV_PIX_FMT_YUVA420P:
642         s->chroma_planes = 1;
643         s->colorspace    = 0;
644         s->transparency  = 1;
645         break;
646     case AV_PIX_FMT_RGB32:
647         s->colorspace   = 1;
648         s->transparency = 1;
649         break;
650     case AV_PIX_FMT_GBRP9:
651         if (!avctx->bits_per_raw_sample)
652             s->bits_per_raw_sample = 9;
653     case AV_PIX_FMT_GBRP10:
654         if (!avctx->bits_per_raw_sample && !s->bits_per_raw_sample)
655             s->bits_per_raw_sample = 10;
656     case AV_PIX_FMT_GBRP16:
657         if (!avctx->bits_per_raw_sample && !s->bits_per_raw_sample)
658             s->bits_per_raw_sample = 16;
659         else if (!s->bits_per_raw_sample)
660             s->bits_per_raw_sample = avctx->bits_per_raw_sample;
661         s->colorspace    = 1;
662         s->chroma_planes = 1;
663         s->version       = FFMAX(s->version, 1);
664         break;
665     default:
666         av_log(avctx, AV_LOG_ERROR, "format not supported\n");
667         return AVERROR_INVALIDDATA;
668     }
669     if (s->transparency) {
670         av_log(
671             avctx, AV_LOG_WARNING,
672             "Storing alpha plane, this will require a recent FFV1 decoder to playback!\n");
673     }
674 #if FF_API_PRIVATE_OPT
675 FF_DISABLE_DEPRECATION_WARNINGS
676     if (avctx->context_model)
677         s->context_model = avctx->context_model;
678     if (avctx->context_model > 1U) {
679         av_log(avctx, AV_LOG_ERROR,
680                "Invalid context model %d, valid values are 0 and 1\n",
681                avctx->context_model);
682         return AVERROR(EINVAL);
683     }
684 FF_ENABLE_DEPRECATION_WARNINGS
685 #endif
686
687     if (s->ac == AC_RANGE_CUSTOM_TAB)
688         for (i = 1; i < 256; i++)
689             s->state_transition[i] = ffv1_ver2_state[i];
690
691     for (i = 0; i < 256; i++) {
692         s->quant_table_count = 2;
693         if (s->bits_per_raw_sample <= 8) {
694             s->quant_tables[0][0][i] = ffv1_quant11[i];
695             s->quant_tables[0][1][i] = ffv1_quant11[i] * 11;
696             s->quant_tables[0][2][i] = ffv1_quant11[i] * 11 * 11;
697             s->quant_tables[1][0][i] = ffv1_quant11[i];
698             s->quant_tables[1][1][i] = ffv1_quant11[i] * 11;
699             s->quant_tables[1][2][i] = ffv1_quant5[i]  * 11 * 11;
700             s->quant_tables[1][3][i] = ffv1_quant5[i]  *  5 * 11 * 11;
701             s->quant_tables[1][4][i] = ffv1_quant5[i]  *  5 *  5 * 11 * 11;
702         } else {
703             s->quant_tables[0][0][i] = ffv1_quant9_10bit[i];
704             s->quant_tables[0][1][i] = ffv1_quant9_10bit[i] * 11;
705             s->quant_tables[0][2][i] = ffv1_quant9_10bit[i] * 11 * 11;
706             s->quant_tables[1][0][i] = ffv1_quant9_10bit[i];
707             s->quant_tables[1][1][i] = ffv1_quant9_10bit[i] * 11;
708             s->quant_tables[1][2][i] = ffv1_quant5_10bit[i] * 11 * 11;
709             s->quant_tables[1][3][i] = ffv1_quant5_10bit[i] *  5 * 11 * 11;
710             s->quant_tables[1][4][i] = ffv1_quant5_10bit[i] *  5 *  5 * 11 * 11;
711         }
712     }
713     s->context_count[0] = (11 * 11 * 11        + 1) / 2;
714     s->context_count[1] = (11 * 11 * 5 * 5 * 5 + 1) / 2;
715     memcpy(s->quant_table, s->quant_tables[s->context_model],
716            sizeof(s->quant_table));
717
718     for (i = 0; i < s->plane_count; i++) {
719         PlaneContext *const p = &s->plane[i];
720
721         memcpy(p->quant_table, s->quant_table, sizeof(p->quant_table));
722         p->quant_table_index = s->context_model;
723         p->context_count     = s->context_count[p->quant_table_index];
724     }
725
726     if ((ret = ffv1_allocate_initial_states(s)) < 0)
727         return ret;
728
729 #if FF_API_CODED_FRAME
730 FF_DISABLE_DEPRECATION_WARNINGS
731     avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
732 FF_ENABLE_DEPRECATION_WARNINGS
733 #endif
734
735     if (!s->transparency)
736         s->plane_count = 2;
737
738     av_pix_fmt_get_chroma_sub_sample(avctx->pix_fmt, &s->chroma_h_shift,
739                                      &s->chroma_v_shift);
740
741     s->picture_number = 0;
742
743     if (avctx->flags & (AV_CODEC_FLAG_PASS1 | AV_CODEC_FLAG_PASS2)) {
744         for (i = 0; i < s->quant_table_count; i++) {
745             s->rc_stat2[i] = av_mallocz(s->context_count[i] *
746                                         sizeof(*s->rc_stat2[i]));
747             if (!s->rc_stat2[i])
748                 return AVERROR(ENOMEM);
749         }
750     }
751     if (avctx->stats_in) {
752         char *p = avctx->stats_in;
753         uint8_t best_state[256][256];
754         int gob_count = 0;
755         char *next;
756
757         av_assert0(s->version >= 2);
758
759         for (;; ) {
760             for (j = 0; j < 256; j++)
761                 for (i = 0; i < 2; i++) {
762                     s->rc_stat[j][i] = strtol(p, &next, 0);
763                     if (next == p) {
764                         av_log(avctx, AV_LOG_ERROR,
765                                "2Pass file invalid at %d %d [%s]\n", j, i, p);
766                         return AVERROR_INVALIDDATA;
767                     }
768                     p = next;
769                 }
770             for (i = 0; i < s->quant_table_count; i++)
771                 for (j = 0; j < s->context_count[i]; j++) {
772                     for (k = 0; k < 32; k++)
773                         for (m = 0; m < 2; m++) {
774                             s->rc_stat2[i][j][k][m] = strtol(p, &next, 0);
775                             if (next == p) {
776                                 av_log(avctx, AV_LOG_ERROR,
777                                        "2Pass file invalid at %d %d %d %d [%s]\n",
778                                        i, j, k, m, p);
779                                 return AVERROR_INVALIDDATA;
780                             }
781                             p = next;
782                         }
783                 }
784             gob_count = strtol(p, &next, 0);
785             if (next == p || gob_count <= 0) {
786                 av_log(avctx, AV_LOG_ERROR, "2Pass file invalid\n");
787                 return AVERROR_INVALIDDATA;
788             }
789             p = next;
790             while (*p == '\n' || *p == ' ')
791                 p++;
792             if (p[0] == 0)
793                 break;
794         }
795         sort_stt(s, s->state_transition);
796
797         find_best_state(best_state, s->state_transition);
798
799         for (i = 0; i < s->quant_table_count; i++) {
800             for (j = 0; j < s->context_count[i]; j++)
801                 for (k = 0; k < 32; k++) {
802                     double p = 128;
803                     if (s->rc_stat2[i][j][k][0] + s->rc_stat2[i][j][k][1]) {
804                         p = 256.0 * s->rc_stat2[i][j][k][1] /
805                             (s->rc_stat2[i][j][k][0] + s->rc_stat2[i][j][k][1]);
806                     }
807                     s->initial_states[i][j][k] =
808                         best_state[av_clip(round(p), 1, 255)][av_clip((s->rc_stat2[i][j][k][0] +
809                                                                        s->rc_stat2[i][j][k][1]) /
810                                                                       gob_count, 0, 255)];
811                 }
812         }
813     }
814
815     if (s->version > 1) {
816         for (s->num_v_slices = 2; s->num_v_slices < 9; s->num_v_slices++)
817             for (s->num_h_slices = s->num_v_slices;
818                  s->num_h_slices < 2 * s->num_v_slices; s->num_h_slices++)
819                 if (avctx->slices == s->num_h_slices * s->num_v_slices &&
820                     avctx->slices <= 64 || !avctx->slices)
821                     goto slices_ok;
822         av_log(avctx, AV_LOG_ERROR,
823                "Unsupported number %d of slices requested, please specify a "
824                "supported number with -slices (ex:4,6,9,12,16, ...)\n",
825                avctx->slices);
826         return AVERROR(ENOSYS);
827 slices_ok:
828         write_extradata(s);
829     }
830
831     if ((ret = ffv1_init_slice_contexts(s)) < 0)
832         return ret;
833     if ((ret = init_slices_state(s)) < 0)
834         return ret;
835
836 #define STATS_OUT_SIZE 1024 * 1024 * 6
837     if (avctx->flags & AV_CODEC_FLAG_PASS1) {
838         avctx->stats_out = av_mallocz(STATS_OUT_SIZE);
839         for (i = 0; i < s->quant_table_count; i++)
840             for (j = 0; j < s->slice_count; j++) {
841                 FFV1Context *sf = s->slice_context[j];
842                 av_assert0(!sf->rc_stat2[i]);
843                 sf->rc_stat2[i] = av_mallocz(s->context_count[i] *
844                                              sizeof(*sf->rc_stat2[i]));
845                 if (!sf->rc_stat2[i])
846                     return AVERROR(ENOMEM);
847             }
848     }
849
850     return 0;
851 }
852
853 static void encode_slice_header(FFV1Context *f, FFV1Context *fs)
854 {
855     RangeCoder *c = &fs->c;
856     uint8_t state[CONTEXT_SIZE];
857     int j;
858     memset(state, 128, sizeof(state));
859
860     put_symbol(c, state, (fs->slice_x + 1) * f->num_h_slices / f->width, 0);
861     put_symbol(c, state, (fs->slice_y + 1) * f->num_v_slices / f->height, 0);
862     put_symbol(c, state, (fs->slice_width + 1) * f->num_h_slices / f->width - 1,
863                0);
864     put_symbol(c, state,
865                (fs->slice_height + 1) * f->num_v_slices / f->height - 1,
866                0);
867     for (j = 0; j < f->plane_count; j++) {
868         put_symbol(c, state, f->plane[j].quant_table_index, 0);
869         av_assert0(f->plane[j].quant_table_index == f->context_model);
870     }
871     if (!f->frame->interlaced_frame)
872         put_symbol(c, state, 3, 0);
873     else
874         put_symbol(c, state, 1 + !f->frame->top_field_first, 0);
875     put_symbol(c, state, f->frame->sample_aspect_ratio.num, 0);
876     put_symbol(c, state, f->frame->sample_aspect_ratio.den, 0);
877 }
878
879 static int encode_slice(AVCodecContext *c, void *arg)
880 {
881     FFV1Context *fs  = *(void **)arg;
882     FFV1Context *f   = fs->avctx->priv_data;
883     int width        = fs->slice_width;
884     int height       = fs->slice_height;
885     int x            = fs->slice_x;
886     int y            = fs->slice_y;
887     const AVFrame *const p = f->frame;
888     const int ps     = (av_pix_fmt_desc_get(c->pix_fmt)->flags & AV_PIX_FMT_FLAG_PLANAR)
889                        ? (f->bits_per_raw_sample > 8) + 1
890                        : 4;
891
892     if (f->key_frame)
893         ffv1_clear_slice_state(f, fs);
894     if (f->version > 2) {
895         encode_slice_header(f, fs);
896     }
897     if (fs->ac == AC_GOLOMB_RICE) {
898         if (f->version > 2)
899             put_rac(&fs->c, (uint8_t[]) { 129 }, 0);
900         fs->ac_byte_count = f->version > 2 || (!x && !y) ? ff_rac_terminate( &fs->c) : 0;
901         init_put_bits(&fs->pb, fs->c.bytestream_start + fs->ac_byte_count,
902                       fs->c.bytestream_end - fs->c.bytestream_start - fs->ac_byte_count);
903     }
904
905     if (f->colorspace == 0) {
906         const int chroma_width  = AV_CEIL_RSHIFT(width,  f->chroma_h_shift);
907         const int chroma_height = AV_CEIL_RSHIFT(height, f->chroma_v_shift);
908         const int cx            = x >> f->chroma_h_shift;
909         const int cy            = y >> f->chroma_v_shift;
910
911         encode_plane(fs, p->data[0] + ps * x + y * p->linesize[0],
912                      width, height, p->linesize[0], 0);
913
914         if (f->chroma_planes) {
915             encode_plane(fs, p->data[1] + ps * cx + cy * p->linesize[1],
916                          chroma_width, chroma_height, p->linesize[1], 1);
917             encode_plane(fs, p->data[2] + ps * cx + cy * p->linesize[2],
918                          chroma_width, chroma_height, p->linesize[2], 1);
919         }
920         if (fs->transparency)
921             encode_plane(fs, p->data[3] + ps * x + y * p->linesize[3], width,
922                          height, p->linesize[3], 2);
923     } else {
924         const uint8_t *planes[3] = { p->data[0] + ps * x + y * p->linesize[0],
925                                      p->data[1] + ps * x + y * p->linesize[1],
926                                      p->data[2] + ps * x + y * p->linesize[2] };
927         encode_rgb_frame(fs, planes, width, height, p->linesize);
928     }
929     emms_c();
930
931     return 0;
932 }
933
934 static int ffv1_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
935                         const AVFrame *pict, int *got_packet)
936 {
937     FFV1Context *f      = avctx->priv_data;
938     RangeCoder *const c = &f->slice_context[0]->c;
939     int used_count      = 0;
940     uint8_t keystate    = 128;
941     uint8_t *buf_p;
942     int i, ret;
943
944     f->frame = pict;
945
946     if ((ret = ff_alloc_packet(pkt, avctx->width * avctx->height *
947                              ((8 * 2 + 1 + 1) * 4) / 8 +
948                              AV_INPUT_BUFFER_MIN_SIZE)) < 0) {
949         av_log(avctx, AV_LOG_ERROR, "Error getting output packet.\n");
950         return ret;
951     }
952
953     ff_init_range_encoder(c, pkt->data, pkt->size);
954     ff_build_rac_states(c, 0.05 * (1LL << 32), 256 - 8);
955
956     if (avctx->gop_size == 0 || f->picture_number % avctx->gop_size == 0) {
957         put_rac(c, &keystate, 1);
958         f->key_frame = 1;
959         f->gob_count++;
960         write_header(f);
961     } else {
962         put_rac(c, &keystate, 0);
963         f->key_frame = 0;
964     }
965
966     if (f->ac == AC_RANGE_CUSTOM_TAB) {
967         int i;
968         for (i = 1; i < 256; i++) {
969             c->one_state[i]        = f->state_transition[i];
970             c->zero_state[256 - i] = 256 - c->one_state[i];
971         }
972     }
973
974     for (i = 1; i < f->slice_count; i++) {
975         FFV1Context *fs = f->slice_context[i];
976         uint8_t *start  = pkt->data +
977                           (pkt->size - used_count) * (int64_t)i / f->slice_count;
978         int len = pkt->size / f->slice_count;
979         ff_init_range_encoder(&fs->c, start, len);
980     }
981     avctx->execute(avctx, encode_slice, &f->slice_context[0], NULL,
982                    f->slice_count, sizeof(void *));
983
984     buf_p = pkt->data;
985     for (i = 0; i < f->slice_count; i++) {
986         FFV1Context *fs = f->slice_context[i];
987         int bytes;
988
989         if (fs->ac != AC_GOLOMB_RICE) {
990             uint8_t state = 129;
991             put_rac(&fs->c, &state, 0);
992             bytes = ff_rac_terminate(&fs->c);
993         } else {
994             flush_put_bits(&fs->pb); // FIXME: nicer padding
995             bytes = fs->ac_byte_count + (put_bits_count(&fs->pb) + 7) / 8;
996         }
997         if (i > 0 || f->version > 2) {
998             av_assert0(bytes < pkt->size / f->slice_count);
999             memmove(buf_p, fs->c.bytestream_start, bytes);
1000             av_assert0(bytes < (1 << 24));
1001             AV_WB24(buf_p + bytes, bytes);
1002             bytes += 3;
1003         }
1004         if (f->ec) {
1005             unsigned v;
1006             buf_p[bytes++] = 0;
1007             v = av_crc(av_crc_get_table(AV_CRC_32_IEEE), 0, buf_p, bytes);
1008             AV_WL32(buf_p + bytes, v);
1009             bytes += 4;
1010         }
1011         buf_p += bytes;
1012     }
1013
1014     if ((avctx->flags & AV_CODEC_FLAG_PASS1) && (f->picture_number & 31) == 0) {
1015         int j, k, m;
1016         char *p   = avctx->stats_out;
1017         char *end = p + STATS_OUT_SIZE;
1018
1019         memset(f->rc_stat, 0, sizeof(f->rc_stat));
1020         for (i = 0; i < f->quant_table_count; i++)
1021             memset(f->rc_stat2[i], 0, f->context_count[i] * sizeof(*f->rc_stat2[i]));
1022
1023         for (j = 0; j < f->slice_count; j++) {
1024             FFV1Context *fs = f->slice_context[j];
1025             for (i = 0; i < 256; i++) {
1026                 f->rc_stat[i][0] += fs->rc_stat[i][0];
1027                 f->rc_stat[i][1] += fs->rc_stat[i][1];
1028             }
1029             for (i = 0; i < f->quant_table_count; i++) {
1030                 for (k = 0; k < f->context_count[i]; k++)
1031                     for (m = 0; m < 32; m++) {
1032                         f->rc_stat2[i][k][m][0] += fs->rc_stat2[i][k][m][0];
1033                         f->rc_stat2[i][k][m][1] += fs->rc_stat2[i][k][m][1];
1034                     }
1035             }
1036         }
1037
1038         for (j = 0; j < 256; j++) {
1039             snprintf(p, end - p, "%" PRIu64 " %" PRIu64 " ",
1040                      f->rc_stat[j][0], f->rc_stat[j][1]);
1041             p += strlen(p);
1042         }
1043         snprintf(p, end - p, "\n");
1044
1045         for (i = 0; i < f->quant_table_count; i++) {
1046             for (j = 0; j < f->context_count[i]; j++)
1047                 for (m = 0; m < 32; m++) {
1048                     snprintf(p, end - p, "%" PRIu64 " %" PRIu64 " ",
1049                              f->rc_stat2[i][j][m][0], f->rc_stat2[i][j][m][1]);
1050                     p += strlen(p);
1051                 }
1052         }
1053         snprintf(p, end - p, "%d\n", f->gob_count);
1054     } else if (avctx->flags & AV_CODEC_FLAG_PASS1)
1055         avctx->stats_out[0] = '\0';
1056
1057 #if FF_API_CODED_FRAME
1058 FF_DISABLE_DEPRECATION_WARNINGS
1059     avctx->coded_frame->key_frame = f->key_frame;
1060 FF_ENABLE_DEPRECATION_WARNINGS
1061 #endif
1062
1063     f->picture_number++;
1064     pkt->size   = buf_p - pkt->data;
1065     pkt->flags |= AV_PKT_FLAG_KEY * f->key_frame;
1066     *got_packet = 1;
1067
1068     return 0;
1069 }
1070
1071 static av_cold int ffv1_encode_close(AVCodecContext *avctx)
1072 {
1073     ffv1_close(avctx);
1074     return 0;
1075 }
1076
1077 #define OFFSET(x) offsetof(FFV1Context, x)
1078 #define VE AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_ENCODING_PARAM
1079 static const AVOption options[] = {
1080     { "slicecrc", "Protect slices with CRCs", OFFSET(ec), AV_OPT_TYPE_INT,
1081              { .i64 = -1 }, -1, 1, VE },
1082     { "coder", "Coder type", OFFSET(ac), AV_OPT_TYPE_INT,
1083             { .i64 = AC_GOLOMB_RICE }, 0, 2, VE, "coder" },
1084         { "rice", "Golomb rice", 0, AV_OPT_TYPE_CONST,
1085             { .i64 = AC_GOLOMB_RICE }, INT_MIN, INT_MAX, VE, "coder" },
1086         { "range_def", "Range with default table", 0, AV_OPT_TYPE_CONST,
1087             { .i64 = AC_RANGE_DEFAULT_TAB }, INT_MIN, INT_MAX, VE, "coder" },
1088         { "range_tab", "Range with custom table", 0, AV_OPT_TYPE_CONST,
1089             { .i64 = AC_RANGE_CUSTOM_TAB }, INT_MIN, INT_MAX, VE, "coder" },
1090     { "context", "Context model", OFFSET(context_model), AV_OPT_TYPE_INT,
1091             { .i64 = 0 }, 0, 1, VE },
1092
1093     { NULL }
1094 };
1095
1096 static const AVClass class = {
1097     .class_name = "ffv1 encoder",
1098     .item_name  = av_default_item_name,
1099     .option     = options,
1100     .version    = LIBAVUTIL_VERSION_INT,
1101 };
1102
1103 #if FF_API_CODER_TYPE
1104 static const AVCodecDefault ffv1_defaults[] = {
1105     { "coder", "-1" },
1106     { NULL },
1107 };
1108 #endif
1109
1110 AVCodec ff_ffv1_encoder = {
1111     .name           = "ffv1",
1112     .long_name      = NULL_IF_CONFIG_SMALL("FFmpeg video codec #1"),
1113     .type           = AVMEDIA_TYPE_VIDEO,
1114     .id             = AV_CODEC_ID_FFV1,
1115     .priv_data_size = sizeof(FFV1Context),
1116     .init           = ffv1_encode_init,
1117     .encode2        = ffv1_encode_frame,
1118     .close          = ffv1_encode_close,
1119     .capabilities   = AV_CODEC_CAP_SLICE_THREADS,
1120     .pix_fmts       = (const enum AVPixelFormat[]) {
1121         AV_PIX_FMT_YUV420P,   AV_PIX_FMT_YUV422P,   AV_PIX_FMT_YUV444P,
1122         AV_PIX_FMT_YUV411P,   AV_PIX_FMT_YUV410P,
1123         AV_PIX_FMT_YUV444P9,  AV_PIX_FMT_YUV422P9,  AV_PIX_FMT_YUV420P9,
1124         AV_PIX_FMT_YUV420P10, AV_PIX_FMT_YUV422P10, AV_PIX_FMT_YUV444P10,
1125         AV_PIX_FMT_YUV420P16, AV_PIX_FMT_YUV422P16, AV_PIX_FMT_YUV444P16,
1126         AV_PIX_FMT_RGB32,
1127         AV_PIX_FMT_GBRP9,     AV_PIX_FMT_GBRP10,
1128         AV_PIX_FMT_YUVA420P,  AV_PIX_FMT_YUVA422P,  AV_PIX_FMT_YUVA444P,
1129         AV_PIX_FMT_GRAY16,    AV_PIX_FMT_GRAY8,
1130         AV_PIX_FMT_NONE
1131
1132     },
1133 #if FF_API_CODER_TYPE
1134     .defaults       = ffv1_defaults,
1135 #endif
1136     .priv_class     = &class,
1137 };