]> git.sesse.net Git - ffmpeg/blob - libavcodec/mjpegdec.c
Merge commit '054013a0fc6f2b52c60cee3e051be8cc7f82cef3'
[ffmpeg] / libavcodec / mjpegdec.c
1 /*
2  * MJPEG decoder
3  * Copyright (c) 2000, 2001 Fabrice Bellard
4  * Copyright (c) 2003 Alex Beregszaszi
5  * Copyright (c) 2003-2004 Michael Niedermayer
6  *
7  * Support for external huffman table, various fixes (AVID workaround),
8  * aspecting, new decode_frame mechanism and apple mjpeg-b support
9  *                                  by Alex Beregszaszi
10  *
11  * This file is part of FFmpeg.
12  *
13  * FFmpeg is free software; you can redistribute it and/or
14  * modify it under the terms of the GNU Lesser General Public
15  * License as published by the Free Software Foundation; either
16  * version 2.1 of the License, or (at your option) any later version.
17  *
18  * FFmpeg is distributed in the hope that it will be useful,
19  * but WITHOUT ANY WARRANTY; without even the implied warranty of
20  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
21  * Lesser General Public License for more details.
22  *
23  * You should have received a copy of the GNU Lesser General Public
24  * License along with FFmpeg; if not, write to the Free Software
25  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
26  */
27
28 /**
29  * @file
30  * MJPEG decoder.
31  */
32
33 #include "libavutil/imgutils.h"
34 #include "libavutil/avassert.h"
35 #include "libavutil/opt.h"
36 #include "avcodec.h"
37 #include "copy_block.h"
38 #include "internal.h"
39 #include "mjpeg.h"
40 #include "mjpegdec.h"
41 #include "jpeglsdec.h"
42 #include "tiff.h"
43 #include "exif.h"
44 #include "bytestream.h"
45
46
47 static int build_vlc(VLC *vlc, const uint8_t *bits_table,
48                      const uint8_t *val_table, int nb_codes,
49                      int use_static, int is_ac)
50 {
51     uint8_t huff_size[256] = { 0 };
52     uint16_t huff_code[256];
53     uint16_t huff_sym[256];
54     int i;
55
56     av_assert0(nb_codes <= 256);
57
58     ff_mjpeg_build_huffman_codes(huff_size, huff_code, bits_table, val_table);
59
60     for (i = 0; i < 256; i++)
61         huff_sym[i] = i + 16 * is_ac;
62
63     if (is_ac)
64         huff_sym[0] = 16 * 256;
65
66     return ff_init_vlc_sparse(vlc, 9, nb_codes, huff_size, 1, 1,
67                               huff_code, 2, 2, huff_sym, 2, 2, use_static);
68 }
69
70 static void build_basic_mjpeg_vlc(MJpegDecodeContext *s)
71 {
72     build_vlc(&s->vlcs[0][0], avpriv_mjpeg_bits_dc_luminance,
73               avpriv_mjpeg_val_dc, 12, 0, 0);
74     build_vlc(&s->vlcs[0][1], avpriv_mjpeg_bits_dc_chrominance,
75               avpriv_mjpeg_val_dc, 12, 0, 0);
76     build_vlc(&s->vlcs[1][0], avpriv_mjpeg_bits_ac_luminance,
77               avpriv_mjpeg_val_ac_luminance, 251, 0, 1);
78     build_vlc(&s->vlcs[1][1], avpriv_mjpeg_bits_ac_chrominance,
79               avpriv_mjpeg_val_ac_chrominance, 251, 0, 1);
80     build_vlc(&s->vlcs[2][0], avpriv_mjpeg_bits_ac_luminance,
81               avpriv_mjpeg_val_ac_luminance, 251, 0, 0);
82     build_vlc(&s->vlcs[2][1], avpriv_mjpeg_bits_ac_chrominance,
83               avpriv_mjpeg_val_ac_chrominance, 251, 0, 0);
84 }
85
86 static void parse_avid(MJpegDecodeContext *s, uint8_t *buf, int len)
87 {
88     s->buggy_avid = 1;
89     if (len > 14 && buf[12] == 1) /* 1 - NTSC */
90         s->interlace_polarity = 1;
91     if (len > 14 && buf[12] == 2) /* 2 - PAL */
92         s->interlace_polarity = 0;
93     if (s->avctx->debug & FF_DEBUG_PICT_INFO)
94         av_log(s->avctx, AV_LOG_INFO, "AVID: len:%d %d\n", len, len > 14 ? buf[12] : -1);
95 }
96
97 av_cold int ff_mjpeg_decode_init(AVCodecContext *avctx)
98 {
99     MJpegDecodeContext *s = avctx->priv_data;
100
101     if (!s->picture_ptr) {
102         s->picture = av_frame_alloc();
103         if (!s->picture)
104             return AVERROR(ENOMEM);
105         s->picture_ptr = s->picture;
106     }
107
108     s->avctx = avctx;
109     ff_hpeldsp_init(&s->hdsp, avctx->flags);
110     ff_dsputil_init(&s->dsp, avctx);
111     ff_init_scantable(s->dsp.idct_permutation, &s->scantable, ff_zigzag_direct);
112     s->buffer_size   = 0;
113     s->buffer        = NULL;
114     s->start_code    = -1;
115     s->first_picture = 1;
116     s->got_picture   = 0;
117     s->org_height    = avctx->coded_height;
118     avctx->chroma_sample_location = AVCHROMA_LOC_CENTER;
119
120     build_basic_mjpeg_vlc(s);
121
122     if (s->extern_huff) {
123         av_log(avctx, AV_LOG_INFO, "using external huffman table\n");
124         init_get_bits(&s->gb, avctx->extradata, avctx->extradata_size * 8);
125         if (ff_mjpeg_decode_dht(s)) {
126             av_log(avctx, AV_LOG_ERROR,
127                    "error using external huffman table, switching back to internal\n");
128             build_basic_mjpeg_vlc(s);
129         }
130     }
131     if (avctx->field_order == AV_FIELD_BB) { /* quicktime icefloe 019 */
132         s->interlace_polarity = 1;           /* bottom field first */
133         av_log(avctx, AV_LOG_DEBUG, "bottom field first\n");
134     } else if (avctx->field_order == AV_FIELD_UNKNOWN) {
135         if (avctx->codec_tag == AV_RL32("MJPG"))
136             s->interlace_polarity = 1;
137     }
138
139     if (   avctx->extradata_size > 8
140         && AV_RL32(avctx->extradata) == 0x2C
141         && AV_RL32(avctx->extradata+4) == 0x18) {
142         parse_avid(s, avctx->extradata, avctx->extradata_size);
143     }
144
145     if (avctx->codec->id == AV_CODEC_ID_AMV)
146         s->flipped = 1;
147
148     return 0;
149 }
150
151
152 /* quantize tables */
153 int ff_mjpeg_decode_dqt(MJpegDecodeContext *s)
154 {
155     int len, index, i, j;
156
157     len = get_bits(&s->gb, 16) - 2;
158
159     while (len >= 65) {
160         int pr = get_bits(&s->gb, 4);
161         if (pr > 1) {
162             av_log(s->avctx, AV_LOG_ERROR, "dqt: invalid precision\n");
163             return AVERROR_INVALIDDATA;
164         }
165         index = get_bits(&s->gb, 4);
166         if (index >= 4)
167             return -1;
168         av_log(s->avctx, AV_LOG_DEBUG, "index=%d\n", index);
169         /* read quant table */
170         for (i = 0; i < 64; i++) {
171             j = s->scantable.permutated[i];
172             s->quant_matrixes[index][j] = get_bits(&s->gb, pr ? 16 : 8);
173         }
174
175         // XXX FIXME finetune, and perhaps add dc too
176         s->qscale[index] = FFMAX(s->quant_matrixes[index][s->scantable.permutated[1]],
177                                  s->quant_matrixes[index][s->scantable.permutated[8]]) >> 1;
178         av_log(s->avctx, AV_LOG_DEBUG, "qscale[%d]: %d\n",
179                index, s->qscale[index]);
180         len -= 65;
181     }
182     return 0;
183 }
184
185 /* decode huffman tables and build VLC decoders */
186 int ff_mjpeg_decode_dht(MJpegDecodeContext *s)
187 {
188     int len, index, i, class, n, v, code_max;
189     uint8_t bits_table[17];
190     uint8_t val_table[256];
191     int ret = 0;
192
193     len = get_bits(&s->gb, 16) - 2;
194
195     while (len > 0) {
196         if (len < 17)
197             return AVERROR_INVALIDDATA;
198         class = get_bits(&s->gb, 4);
199         if (class >= 2)
200             return AVERROR_INVALIDDATA;
201         index = get_bits(&s->gb, 4);
202         if (index >= 4)
203             return AVERROR_INVALIDDATA;
204         n = 0;
205         for (i = 1; i <= 16; i++) {
206             bits_table[i] = get_bits(&s->gb, 8);
207             n += bits_table[i];
208         }
209         len -= 17;
210         if (len < n || n > 256)
211             return AVERROR_INVALIDDATA;
212
213         code_max = 0;
214         for (i = 0; i < n; i++) {
215             v = get_bits(&s->gb, 8);
216             if (v > code_max)
217                 code_max = v;
218             val_table[i] = v;
219         }
220         len -= n;
221
222         /* build VLC and flush previous vlc if present */
223         ff_free_vlc(&s->vlcs[class][index]);
224         av_log(s->avctx, AV_LOG_DEBUG, "class=%d index=%d nb_codes=%d\n",
225                class, index, code_max + 1);
226         if ((ret = build_vlc(&s->vlcs[class][index], bits_table, val_table,
227                              code_max + 1, 0, class > 0)) < 0)
228             return ret;
229
230         if (class > 0) {
231             ff_free_vlc(&s->vlcs[2][index]);
232             if ((ret = build_vlc(&s->vlcs[2][index], bits_table, val_table,
233                                  code_max + 1, 0, 0)) < 0)
234                 return ret;
235         }
236     }
237     return 0;
238 }
239
240 int ff_mjpeg_decode_sof(MJpegDecodeContext *s)
241 {
242     int len, nb_components, i, width, height, pix_fmt_id, ret;
243     int h_count[MAX_COMPONENTS];
244     int v_count[MAX_COMPONENTS];
245
246     s->cur_scan = 0;
247     s->upscale_h = s->upscale_v = 0;
248
249     /* XXX: verify len field validity */
250     len     = get_bits(&s->gb, 16);
251     s->avctx->bits_per_raw_sample =
252     s->bits = get_bits(&s->gb, 8);
253
254     if (s->pegasus_rct)
255         s->bits = 9;
256     if (s->bits == 9 && !s->pegasus_rct)
257         s->rct  = 1;    // FIXME ugly
258
259     if(s->lossless && s->avctx->lowres){
260         av_log(s->avctx, AV_LOG_ERROR, "lowres is not possible with lossless jpeg\n");
261         return -1;
262     }
263
264     height = get_bits(&s->gb, 16);
265     width  = get_bits(&s->gb, 16);
266
267     // HACK for odd_height.mov
268     if (s->interlaced && s->width == width && s->height == height + 1)
269         height= s->height;
270
271     av_log(s->avctx, AV_LOG_DEBUG, "sof0: picture: %dx%d\n", width, height);
272     if (av_image_check_size(width, height, 0, s->avctx))
273         return AVERROR_INVALIDDATA;
274
275     nb_components = get_bits(&s->gb, 8);
276     if (nb_components <= 0 ||
277         nb_components > MAX_COMPONENTS)
278         return -1;
279     if (s->interlaced && (s->bottom_field == !s->interlace_polarity)) {
280         if (nb_components != s->nb_components) {
281             av_log(s->avctx, AV_LOG_ERROR,
282                    "nb_components changing in interlaced picture\n");
283             return AVERROR_INVALIDDATA;
284         }
285     }
286     if (s->ls && !(s->bits <= 8 || nb_components == 1)) {
287         avpriv_report_missing_feature(s->avctx,
288                                       "JPEG-LS that is not <= 8 "
289                                       "bits/component or 16-bit gray");
290         return AVERROR_PATCHWELCOME;
291     }
292     s->nb_components = nb_components;
293     s->h_max         = 1;
294     s->v_max         = 1;
295     memset(h_count, 0, sizeof(h_count));
296     memset(v_count, 0, sizeof(v_count));
297     for (i = 0; i < nb_components; i++) {
298         /* component id */
299         s->component_id[i] = get_bits(&s->gb, 8) - 1;
300         h_count[i]         = get_bits(&s->gb, 4);
301         v_count[i]         = get_bits(&s->gb, 4);
302         /* compute hmax and vmax (only used in interleaved case) */
303         if (h_count[i] > s->h_max)
304             s->h_max = h_count[i];
305         if (v_count[i] > s->v_max)
306             s->v_max = v_count[i];
307         s->quant_index[i] = get_bits(&s->gb, 8);
308         if (s->quant_index[i] >= 4) {
309             av_log(s->avctx, AV_LOG_ERROR, "quant_index is invalid\n");
310             return AVERROR_INVALIDDATA;
311         }
312         if (!h_count[i] || !v_count[i]) {
313             av_log(s->avctx, AV_LOG_ERROR,
314                    "Invalid sampling factor in component %d %d:%d\n",
315                    i, h_count[i], v_count[i]);
316             return AVERROR_INVALIDDATA;
317         }
318
319         av_log(s->avctx, AV_LOG_DEBUG, "component %d %d:%d id: %d quant:%d\n",
320                i, h_count[i], v_count[i],
321                s->component_id[i], s->quant_index[i]);
322     }
323
324     if (s->ls && (s->h_max > 1 || s->v_max > 1)) {
325         avpriv_report_missing_feature(s->avctx, "Subsampling in JPEG-LS");
326         return AVERROR_PATCHWELCOME;
327     }
328
329
330     /* if different size, realloc/alloc picture */
331     if (   width != s->width || height != s->height
332         || memcmp(s->h_count, h_count, sizeof(h_count))
333         || memcmp(s->v_count, v_count, sizeof(v_count))) {
334
335         s->width      = width;
336         s->height     = height;
337         memcpy(s->h_count, h_count, sizeof(h_count));
338         memcpy(s->v_count, v_count, sizeof(v_count));
339         s->interlaced = 0;
340         s->got_picture = 0;
341
342         /* test interlaced mode */
343         if (s->first_picture   &&
344             s->org_height != 0 &&
345             s->height < ((s->org_height * 3) / 4)) {
346             s->interlaced                    = 1;
347             s->bottom_field                  = s->interlace_polarity;
348             s->picture_ptr->interlaced_frame = 1;
349             s->picture_ptr->top_field_first  = !s->interlace_polarity;
350             height *= 2;
351         }
352
353         ret = ff_set_dimensions(s->avctx, width, height);
354         if (ret < 0)
355             return ret;
356
357         s->first_picture = 0;
358     }
359
360     if (s->got_picture && s->interlaced && (s->bottom_field == !s->interlace_polarity)) {
361         if (s->progressive) {
362             avpriv_request_sample(s->avctx, "progressively coded interlaced picture");
363             return AVERROR_INVALIDDATA;
364         }
365     } else{
366         if (s->v_max == 1 && s->h_max == 1 && s->lossless==1 && (nb_components==3 || nb_components==4))
367             s->rgb = 1;
368         else if (!s->lossless)
369             s->rgb = 0;
370     /* XXX: not complete test ! */
371     pix_fmt_id = (s->h_count[0] << 28) | (s->v_count[0] << 24) |
372                  (s->h_count[1] << 20) | (s->v_count[1] << 16) |
373                  (s->h_count[2] << 12) | (s->v_count[2] <<  8) |
374                  (s->h_count[3] <<  4) |  s->v_count[3];
375     av_log(s->avctx, AV_LOG_DEBUG, "pix fmt id %x\n", pix_fmt_id);
376     /* NOTE we do not allocate pictures large enough for the possible
377      * padding of h/v_count being 4 */
378     if (!(pix_fmt_id & 0xD0D0D0D0))
379         pix_fmt_id -= (pix_fmt_id & 0xF0F0F0F0) >> 1;
380     if (!(pix_fmt_id & 0x0D0D0D0D))
381         pix_fmt_id -= (pix_fmt_id & 0x0F0F0F0F) >> 1;
382
383     switch (pix_fmt_id) {
384     case 0x11111100:
385         if (s->rgb)
386             s->avctx->pix_fmt = s->bits <= 9 ? AV_PIX_FMT_BGR24 : AV_PIX_FMT_BGR48;
387         else {
388             if (s->component_id[0] == 'Q' && s->component_id[1] == 'F' && s->component_id[2] == 'A') {
389                 s->avctx->pix_fmt = s->bits <= 8 ? AV_PIX_FMT_GBRP : AV_PIX_FMT_GBRP16;
390             } else {
391                 if (s->bits <= 8) s->avctx->pix_fmt = s->cs_itu601 ? AV_PIX_FMT_YUV444P : AV_PIX_FMT_YUVJ444P;
392                 else              s->avctx->pix_fmt = AV_PIX_FMT_YUV444P16;
393             s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
394             }
395         }
396         av_assert0(s->nb_components == 3);
397         break;
398     case 0x11111111:
399         if (s->rgb)
400             s->avctx->pix_fmt = s->bits <= 9 ? AV_PIX_FMT_ABGR : AV_PIX_FMT_RGBA64;
401         else {
402             if (s->adobe_transform == 0 && s->bits <= 8) {
403                 s->avctx->pix_fmt = AV_PIX_FMT_GBRAP;
404             } else {
405                 s->avctx->pix_fmt = s->bits <= 8 ? AV_PIX_FMT_YUVA444P : AV_PIX_FMT_YUVA444P16;
406                 s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
407             }
408         }
409         av_assert0(s->nb_components == 4);
410         break;
411     case 0x22111122:
412         if (s->adobe_transform == 0 && s->bits <= 8) {
413             s->avctx->pix_fmt = AV_PIX_FMT_GBRAP;
414             s->upscale_v = 6;
415             s->upscale_h = 6;
416             s->chroma_height = s->height;
417         } else if (s->adobe_transform == 2 && s->bits <= 8) {
418             s->avctx->pix_fmt = AV_PIX_FMT_YUVA444P;
419             s->upscale_v = 6;
420             s->upscale_h = 6;
421             s->chroma_height = s->height;
422             s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
423         } else {
424             if (s->bits <= 8) s->avctx->pix_fmt = AV_PIX_FMT_YUVA420P;
425             else              s->avctx->pix_fmt = AV_PIX_FMT_YUVA420P16;
426             s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
427         }
428         av_assert0(s->nb_components == 4);
429         break;
430     case 0x12121100:
431     case 0x22122100:
432         if (s->bits <= 8) s->avctx->pix_fmt = s->cs_itu601 ? AV_PIX_FMT_YUV444P : AV_PIX_FMT_YUVJ444P;
433         else
434             goto unk_pixfmt;
435         s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
436         s->upscale_v = 4;
437         s->upscale_h = 2*(pix_fmt_id == 0x22122100);
438         s->chroma_height = s->height;
439         break;
440     case 0x21211100:
441     case 0x22211200:
442         if (s->bits <= 8) s->avctx->pix_fmt = s->cs_itu601 ? AV_PIX_FMT_YUV444P : AV_PIX_FMT_YUVJ444P;
443         else
444             goto unk_pixfmt;
445         s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
446         s->upscale_v = 2*(pix_fmt_id == 0x22211200);
447         s->upscale_h = 4;
448         s->chroma_height = s->height;
449         break;
450     case 0x22221100:
451         if (s->bits <= 8) s->avctx->pix_fmt = s->cs_itu601 ? AV_PIX_FMT_YUV444P : AV_PIX_FMT_YUVJ444P;
452         else
453             goto unk_pixfmt;
454         s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
455         s->upscale_v = 4;
456         s->upscale_h = 4;
457         s->chroma_height = s->height / 2;
458         break;
459     case 0x11000000:
460     case 0x13000000:
461     case 0x14000000:
462     case 0x31000000:
463     case 0x33000000:
464     case 0x34000000:
465     case 0x41000000:
466     case 0x43000000:
467     case 0x44000000:
468         if(s->bits <= 8)
469             s->avctx->pix_fmt = AV_PIX_FMT_GRAY8;
470         else
471             s->avctx->pix_fmt = AV_PIX_FMT_GRAY16;
472         break;
473     case 0x12111100:
474     case 0x22211100:
475     case 0x22112100:
476         if (s->bits <= 8) s->avctx->pix_fmt = s->cs_itu601 ? AV_PIX_FMT_YUV440P : AV_PIX_FMT_YUVJ440P;
477         else
478             goto unk_pixfmt;
479         s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
480         s->upscale_h = 4 * (pix_fmt_id == 0x22211100) + 2 * (pix_fmt_id == 0x22112100);
481         s->chroma_height = s->height / 2;
482         break;
483     case 0x21111100:
484         if (s->bits <= 8) s->avctx->pix_fmt = s->cs_itu601 ? AV_PIX_FMT_YUV422P : AV_PIX_FMT_YUVJ422P;
485         else              s->avctx->pix_fmt = AV_PIX_FMT_YUV422P16;
486         s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
487         break;
488     case 0x22121100:
489     case 0x22111200:
490         if (s->bits <= 8) s->avctx->pix_fmt = s->cs_itu601 ? AV_PIX_FMT_YUV422P : AV_PIX_FMT_YUVJ422P;
491         else
492             goto unk_pixfmt;
493         s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
494         s->upscale_v = 2 << (pix_fmt_id == 0x22121100);
495         break;
496     case 0x22111100:
497     case 0x42111100:
498         if (s->bits <= 8) s->avctx->pix_fmt = s->cs_itu601 ? AV_PIX_FMT_YUV420P : AV_PIX_FMT_YUVJ420P;
499         else              s->avctx->pix_fmt = AV_PIX_FMT_YUV420P16;
500         s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
501         if (pix_fmt_id == 0x42111100) {
502             s->upscale_h = 6;
503             s->chroma_height = s->height / 2;
504         }
505         break;
506     case 0x41111100:
507         if (s->bits <= 8) s->avctx->pix_fmt = s->cs_itu601 ? AV_PIX_FMT_YUV411P : AV_PIX_FMT_YUVJ411P;
508         else
509             goto unk_pixfmt;
510         s->avctx->color_range = s->cs_itu601 ? AVCOL_RANGE_MPEG : AVCOL_RANGE_JPEG;
511         break;
512     default:
513 unk_pixfmt:
514         av_log(s->avctx, AV_LOG_ERROR, "Unhandled pixel format 0x%x\n", pix_fmt_id);
515         return AVERROR_PATCHWELCOME;
516     }
517     if ((s->upscale_h || s->upscale_v) && s->avctx->lowres) {
518         av_log(s->avctx, AV_LOG_ERROR, "lowres not supported for weird subsampling\n");
519         return AVERROR_PATCHWELCOME;
520     }
521     if (s->ls) {
522         s->upscale_h = s->upscale_v = 0;
523         if (s->nb_components > 1)
524             s->avctx->pix_fmt = AV_PIX_FMT_RGB24;
525         else if (s->palette_index && s->bits <= 8)
526             s->avctx->pix_fmt = AV_PIX_FMT_PAL8;
527         else if (s->bits <= 8)
528             s->avctx->pix_fmt = AV_PIX_FMT_GRAY8;
529         else
530             s->avctx->pix_fmt = AV_PIX_FMT_GRAY16;
531     }
532
533     s->pix_desc = av_pix_fmt_desc_get(s->avctx->pix_fmt);
534     if (!s->pix_desc) {
535         av_log(s->avctx, AV_LOG_ERROR, "Could not get a pixel format descriptor.\n");
536         return AVERROR_BUG;
537     }
538
539     av_frame_unref(s->picture_ptr);
540     if (ff_get_buffer(s->avctx, s->picture_ptr, AV_GET_BUFFER_FLAG_REF) < 0)
541         return -1;
542     s->picture_ptr->pict_type = AV_PICTURE_TYPE_I;
543     s->picture_ptr->key_frame = 1;
544     s->got_picture            = 1;
545
546     for (i = 0; i < 4; i++)
547         s->linesize[i] = s->picture_ptr->linesize[i] << s->interlaced;
548
549     av_dlog(s->avctx, "%d %d %d %d %d %d\n",
550             s->width, s->height, s->linesize[0], s->linesize[1],
551             s->interlaced, s->avctx->height);
552
553     if (len != (8 + (3 * nb_components)))
554         av_log(s->avctx, AV_LOG_DEBUG, "decode_sof0: error, len(%d) mismatch\n", len);
555     }
556
557     if (s->rgb && !s->lossless && !s->ls) {
558         av_log(s->avctx, AV_LOG_ERROR, "Unsupported coding and pixel format combination\n");
559         return AVERROR_PATCHWELCOME;
560     }
561
562     /* totally blank picture as progressive JPEG will only add details to it */
563     if (s->progressive) {
564         int bw = (width  + s->h_max * 8 - 1) / (s->h_max * 8);
565         int bh = (height + s->v_max * 8 - 1) / (s->v_max * 8);
566         for (i = 0; i < s->nb_components; i++) {
567             int size = bw * bh * s->h_count[i] * s->v_count[i];
568             av_freep(&s->blocks[i]);
569             av_freep(&s->last_nnz[i]);
570             s->blocks[i]       = av_mallocz_array(size, sizeof(**s->blocks));
571             s->last_nnz[i]     = av_mallocz_array(size, sizeof(**s->last_nnz));
572             if (!s->blocks[i] || !s->last_nnz[i])
573                 return AVERROR(ENOMEM);
574             s->block_stride[i] = bw * s->h_count[i];
575         }
576         memset(s->coefs_finished, 0, sizeof(s->coefs_finished));
577     }
578     return 0;
579 }
580
581 static inline int mjpeg_decode_dc(MJpegDecodeContext *s, int dc_index)
582 {
583     int code;
584     code = get_vlc2(&s->gb, s->vlcs[0][dc_index].table, 9, 2);
585     if (code < 0 || code > 16) {
586         av_log(s->avctx, AV_LOG_WARNING,
587                "mjpeg_decode_dc: bad vlc: %d:%d (%p)\n",
588                0, dc_index, &s->vlcs[0][dc_index]);
589         return 0xfffff;
590     }
591
592     if (code)
593         return get_xbits(&s->gb, code);
594     else
595         return 0;
596 }
597
598 /* decode block and dequantize */
599 static int decode_block(MJpegDecodeContext *s, int16_t *block, int component,
600                         int dc_index, int ac_index, int16_t *quant_matrix)
601 {
602     int code, i, j, level, val;
603
604     /* DC coef */
605     val = mjpeg_decode_dc(s, dc_index);
606     if (val == 0xfffff) {
607         av_log(s->avctx, AV_LOG_ERROR, "error dc\n");
608         return AVERROR_INVALIDDATA;
609     }
610     val = val * quant_matrix[0] + s->last_dc[component];
611     s->last_dc[component] = val;
612     block[0] = val;
613     /* AC coefs */
614     i = 0;
615     {OPEN_READER(re, &s->gb);
616     do {
617         UPDATE_CACHE(re, &s->gb);
618         GET_VLC(code, re, &s->gb, s->vlcs[1][ac_index].table, 9, 2);
619
620         i += ((unsigned)code) >> 4;
621             code &= 0xf;
622         if (code) {
623             if (code > MIN_CACHE_BITS - 16)
624                 UPDATE_CACHE(re, &s->gb);
625
626             {
627                 int cache = GET_CACHE(re, &s->gb);
628                 int sign  = (~cache) >> 31;
629                 level     = (NEG_USR32(sign ^ cache,code) ^ sign) - sign;
630             }
631
632             LAST_SKIP_BITS(re, &s->gb, code);
633
634             if (i > 63) {
635                 av_log(s->avctx, AV_LOG_ERROR, "error count: %d\n", i);
636                 return AVERROR_INVALIDDATA;
637             }
638             j        = s->scantable.permutated[i];
639             block[j] = level * quant_matrix[j];
640         }
641     } while (i < 63);
642     CLOSE_READER(re, &s->gb);}
643
644     return 0;
645 }
646
647 static int decode_dc_progressive(MJpegDecodeContext *s, int16_t *block,
648                                  int component, int dc_index,
649                                  int16_t *quant_matrix, int Al)
650 {
651     int val;
652     s->dsp.clear_block(block);
653     val = mjpeg_decode_dc(s, dc_index);
654     if (val == 0xfffff) {
655         av_log(s->avctx, AV_LOG_ERROR, "error dc\n");
656         return AVERROR_INVALIDDATA;
657     }
658     val = (val * quant_matrix[0] << Al) + s->last_dc[component];
659     s->last_dc[component] = val;
660     block[0] = val;
661     return 0;
662 }
663
664 /* decode block and dequantize - progressive JPEG version */
665 static int decode_block_progressive(MJpegDecodeContext *s, int16_t *block,
666                                     uint8_t *last_nnz, int ac_index,
667                                     int16_t *quant_matrix,
668                                     int ss, int se, int Al, int *EOBRUN)
669 {
670     int code, i, j, level, val, run;
671
672     if (*EOBRUN) {
673         (*EOBRUN)--;
674         return 0;
675     }
676
677     {
678         OPEN_READER(re, &s->gb);
679         for (i = ss; ; i++) {
680             UPDATE_CACHE(re, &s->gb);
681             GET_VLC(code, re, &s->gb, s->vlcs[2][ac_index].table, 9, 2);
682
683             run = ((unsigned) code) >> 4;
684             code &= 0xF;
685             if (code) {
686                 i += run;
687                 if (code > MIN_CACHE_BITS - 16)
688                     UPDATE_CACHE(re, &s->gb);
689
690                 {
691                     int cache = GET_CACHE(re, &s->gb);
692                     int sign  = (~cache) >> 31;
693                     level     = (NEG_USR32(sign ^ cache,code) ^ sign) - sign;
694                 }
695
696                 LAST_SKIP_BITS(re, &s->gb, code);
697
698                 if (i >= se) {
699                     if (i == se) {
700                         j = s->scantable.permutated[se];
701                         block[j] = level * quant_matrix[j] << Al;
702                         break;
703                     }
704                     av_log(s->avctx, AV_LOG_ERROR, "error count: %d\n", i);
705                     return AVERROR_INVALIDDATA;
706                 }
707                 j = s->scantable.permutated[i];
708                 block[j] = level * quant_matrix[j] << Al;
709             } else {
710                 if (run == 0xF) {// ZRL - skip 15 coefficients
711                     i += 15;
712                     if (i >= se) {
713                         av_log(s->avctx, AV_LOG_ERROR, "ZRL overflow: %d\n", i);
714                         return AVERROR_INVALIDDATA;
715                     }
716                 } else {
717                     val = (1 << run);
718                     if (run) {
719                         UPDATE_CACHE(re, &s->gb);
720                         val += NEG_USR32(GET_CACHE(re, &s->gb), run);
721                         LAST_SKIP_BITS(re, &s->gb, run);
722                     }
723                     *EOBRUN = val - 1;
724                     break;
725                 }
726             }
727         }
728         CLOSE_READER(re, &s->gb);
729     }
730
731     if (i > *last_nnz)
732         *last_nnz = i;
733
734     return 0;
735 }
736
737 #define REFINE_BIT(j) {                                             \
738     UPDATE_CACHE(re, &s->gb);                                       \
739     sign = block[j] >> 15;                                          \
740     block[j] += SHOW_UBITS(re, &s->gb, 1) *                         \
741                 ((quant_matrix[j] ^ sign) - sign) << Al;            \
742     LAST_SKIP_BITS(re, &s->gb, 1);                                  \
743 }
744
745 #define ZERO_RUN                                                    \
746 for (; ; i++) {                                                     \
747     if (i > last) {                                                 \
748         i += run;                                                   \
749         if (i > se) {                                               \
750             av_log(s->avctx, AV_LOG_ERROR, "error count: %d\n", i); \
751             return -1;                                              \
752         }                                                           \
753         break;                                                      \
754     }                                                               \
755     j = s->scantable.permutated[i];                                 \
756     if (block[j])                                                   \
757         REFINE_BIT(j)                                               \
758     else if (run-- == 0)                                            \
759         break;                                                      \
760 }
761
762 /* decode block and dequantize - progressive JPEG refinement pass */
763 static int decode_block_refinement(MJpegDecodeContext *s, int16_t *block,
764                                    uint8_t *last_nnz,
765                                    int ac_index, int16_t *quant_matrix,
766                                    int ss, int se, int Al, int *EOBRUN)
767 {
768     int code, i = ss, j, sign, val, run;
769     int last    = FFMIN(se, *last_nnz);
770
771     OPEN_READER(re, &s->gb);
772     if (*EOBRUN) {
773         (*EOBRUN)--;
774     } else {
775         for (; ; i++) {
776             UPDATE_CACHE(re, &s->gb);
777             GET_VLC(code, re, &s->gb, s->vlcs[2][ac_index].table, 9, 2);
778
779             if (code & 0xF) {
780                 run = ((unsigned) code) >> 4;
781                 UPDATE_CACHE(re, &s->gb);
782                 val = SHOW_UBITS(re, &s->gb, 1);
783                 LAST_SKIP_BITS(re, &s->gb, 1);
784                 ZERO_RUN;
785                 j = s->scantable.permutated[i];
786                 val--;
787                 block[j] = ((quant_matrix[j]^val) - val) << Al;
788                 if (i == se) {
789                     if (i > *last_nnz)
790                         *last_nnz = i;
791                     CLOSE_READER(re, &s->gb);
792                     return 0;
793                 }
794             } else {
795                 run = ((unsigned) code) >> 4;
796                 if (run == 0xF) {
797                     ZERO_RUN;
798                 } else {
799                     val = run;
800                     run = (1 << run);
801                     if (val) {
802                         UPDATE_CACHE(re, &s->gb);
803                         run += SHOW_UBITS(re, &s->gb, val);
804                         LAST_SKIP_BITS(re, &s->gb, val);
805                     }
806                     *EOBRUN = run - 1;
807                     break;
808                 }
809             }
810         }
811
812         if (i > *last_nnz)
813             *last_nnz = i;
814     }
815
816     for (; i <= last; i++) {
817         j = s->scantable.permutated[i];
818         if (block[j])
819             REFINE_BIT(j)
820     }
821     CLOSE_READER(re, &s->gb);
822
823     return 0;
824 }
825 #undef REFINE_BIT
826 #undef ZERO_RUN
827
828 static int handle_rstn(MJpegDecodeContext *s, int nb_components)
829 {
830     int i;
831     int reset = 0;
832
833     if (s->restart_interval) {
834         s->restart_count--;
835         if(s->restart_count == 0 && s->avctx->codec_id == AV_CODEC_ID_THP){
836             align_get_bits(&s->gb);
837             for (i = 0; i < nb_components; i++) /* reset dc */
838                 s->last_dc[i] = (4 << s->bits);
839         }
840
841         i = 8 + ((-get_bits_count(&s->gb)) & 7);
842         /* skip RSTn */
843         if (s->restart_count == 0) {
844             if(   show_bits(&s->gb, i) == (1 << i) - 1
845                || show_bits(&s->gb, i) == 0xFF) {
846                 int pos = get_bits_count(&s->gb);
847                 align_get_bits(&s->gb);
848                 while (get_bits_left(&s->gb) >= 8 && show_bits(&s->gb, 8) == 0xFF)
849                     skip_bits(&s->gb, 8);
850                 if (get_bits_left(&s->gb) >= 8 && (get_bits(&s->gb, 8) & 0xF8) == 0xD0) {
851                     for (i = 0; i < nb_components; i++) /* reset dc */
852                         s->last_dc[i] = (4 << s->bits);
853                     reset = 1;
854                 } else
855                     skip_bits_long(&s->gb, pos - get_bits_count(&s->gb));
856             }
857         }
858     }
859     return reset;
860 }
861
862 static int ljpeg_decode_rgb_scan(MJpegDecodeContext *s, int nb_components, int predictor, int point_transform)
863 {
864     int i, mb_x, mb_y;
865     uint16_t (*buffer)[4];
866     int left[4], top[4], topleft[4];
867     const int linesize = s->linesize[0];
868     const int mask     = ((1 << s->bits) - 1) << point_transform;
869     int resync_mb_y = 0;
870     int resync_mb_x = 0;
871
872     if (s->nb_components != 3 && s->nb_components != 4)
873         return AVERROR_INVALIDDATA;
874     if (s->v_max != 1 || s->h_max != 1 || !s->lossless)
875         return AVERROR_INVALIDDATA;
876
877
878     s->restart_count = s->restart_interval;
879
880     av_fast_malloc(&s->ljpeg_buffer, &s->ljpeg_buffer_size,
881                    (unsigned)s->mb_width * 4 * sizeof(s->ljpeg_buffer[0][0]));
882     buffer = s->ljpeg_buffer;
883
884     for (i = 0; i < 4; i++)
885         buffer[0][i] = 1 << (s->bits - 1);
886
887     for (mb_y = 0; mb_y < s->mb_height; mb_y++) {
888         uint8_t *ptr = s->picture_ptr->data[0] + (linesize * mb_y);
889
890         if (s->interlaced && s->bottom_field)
891             ptr += linesize >> 1;
892
893         for (i = 0; i < 4; i++)
894             top[i] = left[i] = topleft[i] = buffer[0][i];
895
896         for (mb_x = 0; mb_x < s->mb_width; mb_x++) {
897             int modified_predictor = predictor;
898
899             if (s->restart_interval && !s->restart_count){
900                 s->restart_count = s->restart_interval;
901                 resync_mb_x = mb_x;
902                 resync_mb_y = mb_y;
903                 for(i=0; i<4; i++)
904                     top[i] = left[i]= topleft[i]= 1 << (s->bits - 1);
905             }
906             if (mb_y == resync_mb_y || mb_y == resync_mb_y+1 && mb_x < resync_mb_x || !mb_x)
907                 modified_predictor = 1;
908
909             for (i=0;i<nb_components;i++) {
910                 int pred, dc;
911
912                 topleft[i] = top[i];
913                 top[i]     = buffer[mb_x][i];
914
915                 PREDICT(pred, topleft[i], top[i], left[i], modified_predictor);
916
917                 dc = mjpeg_decode_dc(s, s->dc_index[i]);
918                 if(dc == 0xFFFFF)
919                     return -1;
920
921                 left[i] = buffer[mb_x][i] =
922                     mask & (pred + (dc << point_transform));
923             }
924
925             if (s->restart_interval && !--s->restart_count) {
926                 align_get_bits(&s->gb);
927                 skip_bits(&s->gb, 16); /* skip RSTn */
928             }
929         }
930         if (s->nb_components == 4) {
931             for(i=0; i<nb_components; i++) {
932                 int c= s->comp_index[i];
933                 if (s->bits <= 8) {
934                     for(mb_x = 0; mb_x < s->mb_width; mb_x++) {
935                         ptr[4*mb_x+3-c] = buffer[mb_x][i];
936                     }
937                 } else if(s->bits == 9) {
938                     return AVERROR_PATCHWELCOME;
939                 } else {
940                     for(mb_x = 0; mb_x < s->mb_width; mb_x++) {
941                         ((uint16_t*)ptr)[4*mb_x+c] = buffer[mb_x][i];
942                     }
943                 }
944             }
945         } else if (s->rct) {
946             for (mb_x = 0; mb_x < s->mb_width; mb_x++) {
947                 ptr[3*mb_x + 1] = buffer[mb_x][0] - ((buffer[mb_x][1] + buffer[mb_x][2] - 0x200) >> 2);
948                 ptr[3*mb_x + 0] = buffer[mb_x][1] + ptr[3*mb_x + 1];
949                 ptr[3*mb_x + 2] = buffer[mb_x][2] + ptr[3*mb_x + 1];
950             }
951         } else if (s->pegasus_rct) {
952             for (mb_x = 0; mb_x < s->mb_width; mb_x++) {
953                 ptr[3*mb_x + 1] = buffer[mb_x][0] - ((buffer[mb_x][1] + buffer[mb_x][2]) >> 2);
954                 ptr[3*mb_x + 0] = buffer[mb_x][1] + ptr[3*mb_x + 1];
955                 ptr[3*mb_x + 2] = buffer[mb_x][2] + ptr[3*mb_x + 1];
956             }
957         } else {
958             for(i=0; i<nb_components; i++) {
959                 int c= s->comp_index[i];
960                 if (s->bits <= 8) {
961                     for(mb_x = 0; mb_x < s->mb_width; mb_x++) {
962                         ptr[3*mb_x+2-c] = buffer[mb_x][i];
963                     }
964                 } else if(s->bits == 9) {
965                     return AVERROR_PATCHWELCOME;
966                 } else {
967                     for(mb_x = 0; mb_x < s->mb_width; mb_x++) {
968                         ((uint16_t*)ptr)[3*mb_x+2-c] = buffer[mb_x][i];
969                     }
970                 }
971             }
972         }
973     }
974     return 0;
975 }
976
977 static int ljpeg_decode_yuv_scan(MJpegDecodeContext *s, int predictor,
978                                  int point_transform, int nb_components)
979 {
980     int i, mb_x, mb_y, mask;
981     int bits= (s->bits+7)&~7;
982     int resync_mb_y = 0;
983     int resync_mb_x = 0;
984
985     point_transform += bits - s->bits;
986     mask = ((1 << s->bits) - 1) << point_transform;
987
988     av_assert0(nb_components>=1 && nb_components<=4);
989
990     for (mb_y = 0; mb_y < s->mb_height; mb_y++) {
991         for (mb_x = 0; mb_x < s->mb_width; mb_x++) {
992             if (s->restart_interval && !s->restart_count){
993                 s->restart_count = s->restart_interval;
994                 resync_mb_x = mb_x;
995                 resync_mb_y = mb_y;
996             }
997
998             if(!mb_x || mb_y == resync_mb_y || mb_y == resync_mb_y+1 && mb_x < resync_mb_x || s->interlaced){
999                 int toprow  = mb_y == resync_mb_y || mb_y == resync_mb_y+1 && mb_x < resync_mb_x;
1000                 int leftcol = !mb_x || mb_y == resync_mb_y && mb_x == resync_mb_x;
1001                 for (i = 0; i < nb_components; i++) {
1002                     uint8_t *ptr;
1003                     uint16_t *ptr16;
1004                     int n, h, v, x, y, c, j, linesize;
1005                     n = s->nb_blocks[i];
1006                     c = s->comp_index[i];
1007                     h = s->h_scount[i];
1008                     v = s->v_scount[i];
1009                     x = 0;
1010                     y = 0;
1011                     linesize= s->linesize[c];
1012
1013                     if(bits>8) linesize /= 2;
1014
1015                     for(j=0; j<n; j++) {
1016                         int pred, dc;
1017
1018                         dc = mjpeg_decode_dc(s, s->dc_index[i]);
1019                         if(dc == 0xFFFFF)
1020                             return -1;
1021                         if(bits<=8){
1022                         ptr = s->picture_ptr->data[c] + (linesize * (v * mb_y + y)) + (h * mb_x + x); //FIXME optimize this crap
1023                         if(y==0 && toprow){
1024                             if(x==0 && leftcol){
1025                                 pred= 1 << (bits - 1);
1026                             }else{
1027                                 pred= ptr[-1];
1028                             }
1029                         }else{
1030                             if(x==0 && leftcol){
1031                                 pred= ptr[-linesize];
1032                             }else{
1033                                 PREDICT(pred, ptr[-linesize-1], ptr[-linesize], ptr[-1], predictor);
1034                             }
1035                         }
1036
1037                         if (s->interlaced && s->bottom_field)
1038                             ptr += linesize >> 1;
1039                         pred &= mask;
1040                         *ptr= pred + (dc << point_transform);
1041                         }else{
1042                             ptr16 = (uint16_t*)(s->picture_ptr->data[c] + 2*(linesize * (v * mb_y + y)) + 2*(h * mb_x + x)); //FIXME optimize this crap
1043                             if(y==0 && toprow){
1044                                 if(x==0 && leftcol){
1045                                     pred= 1 << (bits - 1);
1046                                 }else{
1047                                     pred= ptr16[-1];
1048                                 }
1049                             }else{
1050                                 if(x==0 && leftcol){
1051                                     pred= ptr16[-linesize];
1052                                 }else{
1053                                     PREDICT(pred, ptr16[-linesize-1], ptr16[-linesize], ptr16[-1], predictor);
1054                                 }
1055                             }
1056
1057                             if (s->interlaced && s->bottom_field)
1058                                 ptr16 += linesize >> 1;
1059                             pred &= mask;
1060                             *ptr16= pred + (dc << point_transform);
1061                         }
1062                         if (++x == h) {
1063                             x = 0;
1064                             y++;
1065                         }
1066                     }
1067                 }
1068             } else {
1069                 for (i = 0; i < nb_components; i++) {
1070                     uint8_t *ptr;
1071                     uint16_t *ptr16;
1072                     int n, h, v, x, y, c, j, linesize, dc;
1073                     n        = s->nb_blocks[i];
1074                     c        = s->comp_index[i];
1075                     h        = s->h_scount[i];
1076                     v        = s->v_scount[i];
1077                     x        = 0;
1078                     y        = 0;
1079                     linesize = s->linesize[c];
1080
1081                     if(bits>8) linesize /= 2;
1082
1083                     for (j = 0; j < n; j++) {
1084                         int pred;
1085
1086                         dc = mjpeg_decode_dc(s, s->dc_index[i]);
1087                         if(dc == 0xFFFFF)
1088                             return -1;
1089                         if(bits<=8){
1090                             ptr = s->picture_ptr->data[c] +
1091                               (linesize * (v * mb_y + y)) +
1092                               (h * mb_x + x); //FIXME optimize this crap
1093                             PREDICT(pred, ptr[-linesize-1], ptr[-linesize], ptr[-1], predictor);
1094
1095                             pred &= mask;
1096                             *ptr = pred + (dc << point_transform);
1097                         }else{
1098                             ptr16 = (uint16_t*)(s->picture_ptr->data[c] + 2*(linesize * (v * mb_y + y)) + 2*(h * mb_x + x)); //FIXME optimize this crap
1099                             PREDICT(pred, ptr16[-linesize-1], ptr16[-linesize], ptr16[-1], predictor);
1100
1101                             pred &= mask;
1102                             *ptr16= pred + (dc << point_transform);
1103                         }
1104
1105                         if (++x == h) {
1106                             x = 0;
1107                             y++;
1108                         }
1109                     }
1110                 }
1111             }
1112             if (s->restart_interval && !--s->restart_count) {
1113                 align_get_bits(&s->gb);
1114                 skip_bits(&s->gb, 16); /* skip RSTn */
1115             }
1116         }
1117     }
1118     return 0;
1119 }
1120
1121 static av_always_inline void mjpeg_copy_block(MJpegDecodeContext *s,
1122                                               uint8_t *dst, const uint8_t *src,
1123                                               int linesize, int lowres)
1124 {
1125     switch (lowres) {
1126     case 0: s->hdsp.put_pixels_tab[1][0](dst, src, linesize, 8);
1127         break;
1128     case 1: copy_block4(dst, src, linesize, linesize, 4);
1129         break;
1130     case 2: copy_block2(dst, src, linesize, linesize, 2);
1131         break;
1132     case 3: *dst = *src;
1133         break;
1134     }
1135 }
1136
1137 static void shift_output(MJpegDecodeContext *s, uint8_t *ptr, int linesize)
1138 {
1139     int block_x, block_y;
1140     int size = 8 >> s->avctx->lowres;
1141     if (s->bits > 8) {
1142         for (block_y=0; block_y<size; block_y++)
1143             for (block_x=0; block_x<size; block_x++)
1144                 *(uint16_t*)(ptr + 2*block_x + block_y*linesize) <<= 16 - s->bits;
1145     } else {
1146         for (block_y=0; block_y<size; block_y++)
1147             for (block_x=0; block_x<size; block_x++)
1148                 *(ptr + block_x + block_y*linesize) <<= 8 - s->bits;
1149     }
1150 }
1151
1152 static int mjpeg_decode_scan(MJpegDecodeContext *s, int nb_components, int Ah,
1153                              int Al, const uint8_t *mb_bitmask,
1154                              int mb_bitmask_size,
1155                              const AVFrame *reference)
1156 {
1157     int i, mb_x, mb_y;
1158     uint8_t *data[MAX_COMPONENTS];
1159     const uint8_t *reference_data[MAX_COMPONENTS];
1160     int linesize[MAX_COMPONENTS];
1161     GetBitContext mb_bitmask_gb = {0}; // initialize to silence gcc warning
1162     int bytes_per_pixel = 1 + (s->bits > 8);
1163
1164     if (mb_bitmask) {
1165         if (mb_bitmask_size != (s->mb_width * s->mb_height + 7)>>3) {
1166             av_log(s->avctx, AV_LOG_ERROR, "mb_bitmask_size mismatches\n");
1167             return AVERROR_INVALIDDATA;
1168         }
1169         init_get_bits(&mb_bitmask_gb, mb_bitmask, s->mb_width * s->mb_height);
1170     }
1171
1172     s->restart_count = 0;
1173
1174     for (i = 0; i < nb_components; i++) {
1175         int c   = s->comp_index[i];
1176         data[c] = s->picture_ptr->data[c];
1177         reference_data[c] = reference ? reference->data[c] : NULL;
1178         linesize[c] = s->linesize[c];
1179         s->coefs_finished[c] |= 1;
1180     }
1181
1182     for (mb_y = 0; mb_y < s->mb_height; mb_y++) {
1183         for (mb_x = 0; mb_x < s->mb_width; mb_x++) {
1184             const int copy_mb = mb_bitmask && !get_bits1(&mb_bitmask_gb);
1185
1186             if (s->restart_interval && !s->restart_count)
1187                 s->restart_count = s->restart_interval;
1188
1189             if (get_bits_left(&s->gb) < 0) {
1190                 av_log(s->avctx, AV_LOG_ERROR, "overread %d\n",
1191                        -get_bits_left(&s->gb));
1192                 return AVERROR_INVALIDDATA;
1193             }
1194             for (i = 0; i < nb_components; i++) {
1195                 uint8_t *ptr;
1196                 int n, h, v, x, y, c, j;
1197                 int block_offset;
1198                 n = s->nb_blocks[i];
1199                 c = s->comp_index[i];
1200                 h = s->h_scount[i];
1201                 v = s->v_scount[i];
1202                 x = 0;
1203                 y = 0;
1204                 for (j = 0; j < n; j++) {
1205                     block_offset = (((linesize[c] * (v * mb_y + y) * 8) +
1206                                      (h * mb_x + x) * 8 * bytes_per_pixel) >> s->avctx->lowres);
1207
1208                     if (s->interlaced && s->bottom_field)
1209                         block_offset += linesize[c] >> 1;
1210                     ptr = data[c] + block_offset;
1211                     if (!s->progressive) {
1212                         if (copy_mb)
1213                             mjpeg_copy_block(s, ptr, reference_data[c] + block_offset,
1214                                              linesize[c], s->avctx->lowres);
1215
1216                         else {
1217                             s->dsp.clear_block(s->block);
1218                             if (decode_block(s, s->block, i,
1219                                              s->dc_index[i], s->ac_index[i],
1220                                              s->quant_matrixes[s->quant_sindex[i]]) < 0) {
1221                                 av_log(s->avctx, AV_LOG_ERROR,
1222                                        "error y=%d x=%d\n", mb_y, mb_x);
1223                                 return AVERROR_INVALIDDATA;
1224                             }
1225                             s->dsp.idct_put(ptr, linesize[c], s->block);
1226                             if (s->bits & 7)
1227                                 shift_output(s, ptr, linesize[c]);
1228                         }
1229                     } else {
1230                         int block_idx  = s->block_stride[c] * (v * mb_y + y) +
1231                                          (h * mb_x + x);
1232                         int16_t *block = s->blocks[c][block_idx];
1233                         if (Ah)
1234                             block[0] += get_bits1(&s->gb) *
1235                                         s->quant_matrixes[s->quant_sindex[i]][0] << Al;
1236                         else if (decode_dc_progressive(s, block, i, s->dc_index[i],
1237                                                        s->quant_matrixes[s->quant_sindex[i]],
1238                                                        Al) < 0) {
1239                             av_log(s->avctx, AV_LOG_ERROR,
1240                                    "error y=%d x=%d\n", mb_y, mb_x);
1241                             return AVERROR_INVALIDDATA;
1242                         }
1243                     }
1244                     av_dlog(s->avctx, "mb: %d %d processed\n", mb_y, mb_x);
1245                     av_dlog(s->avctx, "%d %d %d %d %d %d %d %d \n",
1246                             mb_x, mb_y, x, y, c, s->bottom_field,
1247                             (v * mb_y + y) * 8, (h * mb_x + x) * 8);
1248                     if (++x == h) {
1249                         x = 0;
1250                         y++;
1251                     }
1252                 }
1253             }
1254
1255             handle_rstn(s, nb_components);
1256         }
1257     }
1258     return 0;
1259 }
1260
1261 static int mjpeg_decode_scan_progressive_ac(MJpegDecodeContext *s, int ss,
1262                                             int se, int Ah, int Al)
1263 {
1264     int mb_x, mb_y;
1265     int EOBRUN = 0;
1266     int c = s->comp_index[0];
1267     uint8_t *data = s->picture_ptr->data[c];
1268     int linesize  = s->linesize[c];
1269     int last_scan = 0;
1270     int16_t *quant_matrix = s->quant_matrixes[s->quant_sindex[0]];
1271     int bytes_per_pixel = 1 + (s->bits > 8);
1272
1273     av_assert0(ss>=0 && Ah>=0 && Al>=0);
1274     if (se < ss || se > 63) {
1275         av_log(s->avctx, AV_LOG_ERROR, "SS/SE %d/%d is invalid\n", ss, se);
1276         return AVERROR_INVALIDDATA;
1277     }
1278
1279     if (!Al) {
1280         s->coefs_finished[c] |= (2ULL << se) - (1ULL << ss);
1281         last_scan = !~s->coefs_finished[c];
1282     }
1283
1284     if (s->interlaced && s->bottom_field)
1285         data += linesize >> 1;
1286
1287     s->restart_count = 0;
1288
1289     for (mb_y = 0; mb_y < s->mb_height; mb_y++) {
1290         uint8_t *ptr     = data + (mb_y * linesize * 8 >> s->avctx->lowres);
1291         int block_idx    = mb_y * s->block_stride[c];
1292         int16_t (*block)[64] = &s->blocks[c][block_idx];
1293         uint8_t *last_nnz    = &s->last_nnz[c][block_idx];
1294         for (mb_x = 0; mb_x < s->mb_width; mb_x++, block++, last_nnz++) {
1295                 int ret;
1296                 if (s->restart_interval && !s->restart_count)
1297                     s->restart_count = s->restart_interval;
1298
1299                 if (Ah)
1300                     ret = decode_block_refinement(s, *block, last_nnz, s->ac_index[0],
1301                                                   quant_matrix, ss, se, Al, &EOBRUN);
1302                 else
1303                     ret = decode_block_progressive(s, *block, last_nnz, s->ac_index[0],
1304                                                    quant_matrix, ss, se, Al, &EOBRUN);
1305                 if (ret < 0) {
1306                     av_log(s->avctx, AV_LOG_ERROR,
1307                            "error y=%d x=%d\n", mb_y, mb_x);
1308                     return AVERROR_INVALIDDATA;
1309                 }
1310
1311             if (last_scan) {
1312                     s->dsp.idct_put(ptr, linesize, *block);
1313                     if (s->bits & 7)
1314                         shift_output(s, ptr, linesize);
1315                     ptr += bytes_per_pixel*8 >> s->avctx->lowres;
1316             }
1317             if (handle_rstn(s, 0))
1318                 EOBRUN = 0;
1319         }
1320     }
1321     return 0;
1322 }
1323
1324 int ff_mjpeg_decode_sos(MJpegDecodeContext *s, const uint8_t *mb_bitmask,
1325                         int mb_bitmask_size, const AVFrame *reference)
1326 {
1327     int len, nb_components, i, h, v, predictor, point_transform;
1328     int index, id, ret;
1329     const int block_size = s->lossless ? 1 : 8;
1330     int ilv, prev_shift;
1331
1332     if (!s->got_picture) {
1333         av_log(s->avctx, AV_LOG_WARNING,
1334                 "Can not process SOS before SOF, skipping\n");
1335         return -1;
1336     }
1337
1338     av_assert0(s->picture_ptr->data[0]);
1339     /* XXX: verify len field validity */
1340     len = get_bits(&s->gb, 16);
1341     nb_components = get_bits(&s->gb, 8);
1342     if (nb_components == 0 || nb_components > MAX_COMPONENTS) {
1343         av_log(s->avctx, AV_LOG_ERROR,
1344                "decode_sos: nb_components (%d) unsupported\n", nb_components);
1345         return AVERROR_PATCHWELCOME;
1346     }
1347     if (len != 6 + 2 * nb_components) {
1348         av_log(s->avctx, AV_LOG_ERROR, "decode_sos: invalid len (%d)\n", len);
1349         return AVERROR_INVALIDDATA;
1350     }
1351     for (i = 0; i < nb_components; i++) {
1352         id = get_bits(&s->gb, 8) - 1;
1353         av_log(s->avctx, AV_LOG_DEBUG, "component: %d\n", id);
1354         /* find component index */
1355         for (index = 0; index < s->nb_components; index++)
1356             if (id == s->component_id[index])
1357                 break;
1358         if (index == s->nb_components) {
1359             av_log(s->avctx, AV_LOG_ERROR,
1360                    "decode_sos: index(%d) out of components\n", index);
1361             return AVERROR_INVALIDDATA;
1362         }
1363         /* Metasoft MJPEG codec has Cb and Cr swapped */
1364         if (s->avctx->codec_tag == MKTAG('M', 'T', 'S', 'J')
1365             && nb_components == 3 && s->nb_components == 3 && i)
1366             index = 3 - i;
1367
1368         s->quant_sindex[i] = s->quant_index[index];
1369         s->nb_blocks[i] = s->h_count[index] * s->v_count[index];
1370         s->h_scount[i]  = s->h_count[index];
1371         s->v_scount[i]  = s->v_count[index];
1372
1373         if(nb_components == 3 && s->nb_components == 3 && s->avctx->pix_fmt == AV_PIX_FMT_GBR24P)
1374             index = (i+2)%3;
1375         if(nb_components == 1 && s->nb_components == 3 && s->avctx->pix_fmt == AV_PIX_FMT_GBR24P)
1376             index = (index+2)%3;
1377
1378         s->comp_index[i] = index;
1379
1380         s->dc_index[i] = get_bits(&s->gb, 4);
1381         s->ac_index[i] = get_bits(&s->gb, 4);
1382
1383         if (s->dc_index[i] <  0 || s->ac_index[i] < 0 ||
1384             s->dc_index[i] >= 4 || s->ac_index[i] >= 4)
1385             goto out_of_range;
1386         if (!s->vlcs[0][s->dc_index[i]].table || !(s->progressive ? s->vlcs[2][s->ac_index[0]].table : s->vlcs[1][s->ac_index[i]].table))
1387             goto out_of_range;
1388     }
1389
1390     predictor = get_bits(&s->gb, 8);       /* JPEG Ss / lossless JPEG predictor /JPEG-LS NEAR */
1391     ilv = get_bits(&s->gb, 8);             /* JPEG Se / JPEG-LS ILV */
1392     if(s->avctx->codec_tag != AV_RL32("CJPG")){
1393         prev_shift      = get_bits(&s->gb, 4); /* Ah */
1394         point_transform = get_bits(&s->gb, 4); /* Al */
1395     }else
1396         prev_shift = point_transform = 0;
1397
1398     if (nb_components > 1) {
1399         /* interleaved stream */
1400         s->mb_width  = (s->width  + s->h_max * block_size - 1) / (s->h_max * block_size);
1401         s->mb_height = (s->height + s->v_max * block_size - 1) / (s->v_max * block_size);
1402     } else if (!s->ls) { /* skip this for JPEG-LS */
1403         h = s->h_max / s->h_scount[0];
1404         v = s->v_max / s->v_scount[0];
1405         s->mb_width     = (s->width  + h * block_size - 1) / (h * block_size);
1406         s->mb_height    = (s->height + v * block_size - 1) / (v * block_size);
1407         s->nb_blocks[0] = 1;
1408         s->h_scount[0]  = 1;
1409         s->v_scount[0]  = 1;
1410     }
1411
1412     if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1413         av_log(s->avctx, AV_LOG_DEBUG, "%s %s p:%d >>:%d ilv:%d bits:%d skip:%d %s comp:%d\n",
1414                s->lossless ? "lossless" : "sequential DCT", s->rgb ? "RGB" : "",
1415                predictor, point_transform, ilv, s->bits, s->mjpb_skiptosod,
1416                s->pegasus_rct ? "PRCT" : (s->rct ? "RCT" : ""), nb_components);
1417
1418
1419     /* mjpeg-b can have padding bytes between sos and image data, skip them */
1420     for (i = s->mjpb_skiptosod; i > 0; i--)
1421         skip_bits(&s->gb, 8);
1422
1423 next_field:
1424     for (i = 0; i < nb_components; i++)
1425         s->last_dc[i] = (4 << s->bits);
1426
1427     if (s->lossless) {
1428         av_assert0(s->picture_ptr == s->picture);
1429         if (CONFIG_JPEGLS_DECODER && s->ls) {
1430 //            for () {
1431 //            reset_ls_coding_parameters(s, 0);
1432
1433             if ((ret = ff_jpegls_decode_picture(s, predictor,
1434                                                 point_transform, ilv)) < 0)
1435                 return ret;
1436         } else {
1437             if (s->rgb) {
1438                 if ((ret = ljpeg_decode_rgb_scan(s, nb_components, predictor, point_transform)) < 0)
1439                     return ret;
1440             } else {
1441                 if ((ret = ljpeg_decode_yuv_scan(s, predictor,
1442                                                  point_transform,
1443                                                  nb_components)) < 0)
1444                     return ret;
1445             }
1446         }
1447     } else {
1448         if (s->progressive && predictor) {
1449             av_assert0(s->picture_ptr == s->picture);
1450             if ((ret = mjpeg_decode_scan_progressive_ac(s, predictor,
1451                                                         ilv, prev_shift,
1452                                                         point_transform)) < 0)
1453                 return ret;
1454         } else {
1455             if ((ret = mjpeg_decode_scan(s, nb_components,
1456                                          prev_shift, point_transform,
1457                                          mb_bitmask, mb_bitmask_size, reference)) < 0)
1458                 return ret;
1459         }
1460     }
1461
1462     if (s->interlaced &&
1463         get_bits_left(&s->gb) > 32 &&
1464         show_bits(&s->gb, 8) == 0xFF) {
1465         GetBitContext bak = s->gb;
1466         align_get_bits(&bak);
1467         if (show_bits(&bak, 16) == 0xFFD1) {
1468             av_log(s->avctx, AV_LOG_DEBUG, "AVRn interlaced picture marker found\n");
1469             s->gb = bak;
1470             skip_bits(&s->gb, 16);
1471             s->bottom_field ^= 1;
1472
1473             goto next_field;
1474         }
1475     }
1476
1477     emms_c();
1478     return 0;
1479  out_of_range:
1480     av_log(s->avctx, AV_LOG_ERROR, "decode_sos: ac/dc index out of range\n");
1481     return AVERROR_INVALIDDATA;
1482 }
1483
1484 static int mjpeg_decode_dri(MJpegDecodeContext *s)
1485 {
1486     if (get_bits(&s->gb, 16) != 4)
1487         return AVERROR_INVALIDDATA;
1488     s->restart_interval = get_bits(&s->gb, 16);
1489     s->restart_count    = 0;
1490     av_log(s->avctx, AV_LOG_DEBUG, "restart interval: %d\n",
1491            s->restart_interval);
1492
1493     return 0;
1494 }
1495
1496 static int mjpeg_decode_app(MJpegDecodeContext *s)
1497 {
1498     int len, id, i;
1499
1500     len = get_bits(&s->gb, 16);
1501     if (len < 6)
1502         return AVERROR_INVALIDDATA;
1503     if (8 * len > get_bits_left(&s->gb))
1504         return AVERROR_INVALIDDATA;
1505
1506     id   = get_bits_long(&s->gb, 32);
1507     len -= 6;
1508
1509     if (s->avctx->debug & FF_DEBUG_STARTCODE) {
1510         char id_str[32];
1511         av_get_codec_tag_string(id_str, sizeof(id_str), av_bswap32(id));
1512         av_log(s->avctx, AV_LOG_DEBUG, "APPx (%s / %8X) len=%d\n", id_str, id, len);
1513     }
1514
1515     /* Buggy AVID, it puts EOI only at every 10th frame. */
1516     /* Also, this fourcc is used by non-avid files too, it holds some
1517        information, but it's always present in AVID-created files. */
1518     if (id == AV_RB32("AVI1")) {
1519         /* structure:
1520             4bytes      AVI1
1521             1bytes      polarity
1522             1bytes      always zero
1523             4bytes      field_size
1524             4bytes      field_size_less_padding
1525         */
1526             s->buggy_avid = 1;
1527         i = get_bits(&s->gb, 8); len--;
1528         av_log(s->avctx, AV_LOG_DEBUG, "polarity %d\n", i);
1529 #if 0
1530         skip_bits(&s->gb, 8);
1531         skip_bits(&s->gb, 32);
1532         skip_bits(&s->gb, 32);
1533         len -= 10;
1534 #endif
1535         goto out;
1536     }
1537
1538 //    len -= 2;
1539
1540     if (id == AV_RB32("JFIF")) {
1541         int t_w, t_h, v1, v2;
1542         skip_bits(&s->gb, 8); /* the trailing zero-byte */
1543         v1 = get_bits(&s->gb, 8);
1544         v2 = get_bits(&s->gb, 8);
1545         skip_bits(&s->gb, 8);
1546
1547         s->avctx->sample_aspect_ratio.num = get_bits(&s->gb, 16);
1548         s->avctx->sample_aspect_ratio.den = get_bits(&s->gb, 16);
1549
1550         if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1551             av_log(s->avctx, AV_LOG_INFO,
1552                    "mjpeg: JFIF header found (version: %x.%x) SAR=%d/%d\n",
1553                    v1, v2,
1554                    s->avctx->sample_aspect_ratio.num,
1555                    s->avctx->sample_aspect_ratio.den);
1556
1557         t_w = get_bits(&s->gb, 8);
1558         t_h = get_bits(&s->gb, 8);
1559         if (t_w && t_h) {
1560             /* skip thumbnail */
1561             if (len -10 - (t_w * t_h * 3) > 0)
1562                 len -= t_w * t_h * 3;
1563         }
1564         len -= 10;
1565         goto out;
1566     }
1567
1568     if (id == AV_RB32("Adob") && (get_bits(&s->gb, 8) == 'e')) {
1569         skip_bits(&s->gb, 16); /* version */
1570         skip_bits(&s->gb, 16); /* flags0 */
1571         skip_bits(&s->gb, 16); /* flags1 */
1572         s->adobe_transform = get_bits(&s->gb,  8);
1573         if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1574             av_log(s->avctx, AV_LOG_INFO, "mjpeg: Adobe header found, transform=%d\n", s->adobe_transform);
1575         len -= 7;
1576         goto out;
1577     }
1578
1579     if (id == AV_RB32("LJIF")) {
1580         if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1581             av_log(s->avctx, AV_LOG_INFO,
1582                    "Pegasus lossless jpeg header found\n");
1583         skip_bits(&s->gb, 16); /* version ? */
1584         skip_bits(&s->gb, 16); /* unknown always 0? */
1585         skip_bits(&s->gb, 16); /* unknown always 0? */
1586         skip_bits(&s->gb, 16); /* unknown always 0? */
1587         switch (i=get_bits(&s->gb, 8)) {
1588         case 1:
1589             s->rgb         = 1;
1590             s->pegasus_rct = 0;
1591             break;
1592         case 2:
1593             s->rgb         = 1;
1594             s->pegasus_rct = 1;
1595             break;
1596         default:
1597             av_log(s->avctx, AV_LOG_ERROR, "unknown colorspace %d\n", i);
1598         }
1599         len -= 9;
1600         goto out;
1601     }
1602     if (id == AV_RL32("colr") && len > 0) {
1603         s->colr = get_bits(&s->gb, 8);
1604         if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1605             av_log(s->avctx, AV_LOG_INFO, "COLR %d\n", s->colr);
1606         len --;
1607         goto out;
1608     }
1609     if (id == AV_RL32("xfrm") && len > 0) {
1610         s->xfrm = get_bits(&s->gb, 8);
1611         if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1612             av_log(s->avctx, AV_LOG_INFO, "XFRM %d\n", s->xfrm);
1613         len --;
1614         goto out;
1615     }
1616
1617     /* JPS extension by VRex */
1618     if (s->start_code == APP3 && id == AV_RB32("_JPS") && len >= 10) {
1619         int flags, layout, type;
1620         if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1621             av_log(s->avctx, AV_LOG_INFO, "_JPSJPS_\n");
1622
1623         skip_bits(&s->gb, 32); len -= 4;  /* JPS_ */
1624         skip_bits(&s->gb, 16); len -= 2;  /* block length */
1625         skip_bits(&s->gb, 8);             /* reserved */
1626         flags  = get_bits(&s->gb, 8);
1627         layout = get_bits(&s->gb, 8);
1628         type   = get_bits(&s->gb, 8);
1629         len -= 4;
1630
1631         s->stereo3d = av_stereo3d_alloc();
1632         if (!s->stereo3d) {
1633             goto out;
1634         }
1635         if (type == 0) {
1636             s->stereo3d->type = AV_STEREO3D_2D;
1637         } else if (type == 1) {
1638             switch (layout) {
1639             case 0x01:
1640                 s->stereo3d->type = AV_STEREO3D_LINES;
1641                 break;
1642             case 0x02:
1643                 s->stereo3d->type = AV_STEREO3D_SIDEBYSIDE;
1644                 break;
1645             case 0x03:
1646                 s->stereo3d->type = AV_STEREO3D_TOPBOTTOM;
1647                 break;
1648             }
1649             if (!(flags & 0x04)) {
1650                 s->stereo3d->flags = AV_STEREO3D_FLAG_INVERT;
1651             }
1652         }
1653         goto out;
1654     }
1655
1656     /* EXIF metadata */
1657     if (s->start_code == APP1 && id == AV_RB32("Exif") && len >= 2) {
1658         GetByteContext gbytes;
1659         int ret, le, ifd_offset, bytes_read;
1660         const uint8_t *aligned;
1661
1662         skip_bits(&s->gb, 16); // skip padding
1663         len -= 2;
1664
1665         // init byte wise reading
1666         aligned = align_get_bits(&s->gb);
1667         bytestream2_init(&gbytes, aligned, len);
1668
1669         // read TIFF header
1670         ret = ff_tdecode_header(&gbytes, &le, &ifd_offset);
1671         if (ret) {
1672             av_log(s->avctx, AV_LOG_ERROR, "mjpeg: invalid TIFF header in EXIF data\n");
1673         } else {
1674             bytestream2_seek(&gbytes, ifd_offset, SEEK_SET);
1675
1676             // read 0th IFD and store the metadata
1677             // (return values > 0 indicate the presence of subimage metadata)
1678             ret = avpriv_exif_decode_ifd(s->avctx, &gbytes, le, 0, &s->exif_metadata);
1679             if (ret < 0) {
1680                 av_log(s->avctx, AV_LOG_ERROR, "mjpeg: error decoding EXIF data\n");
1681             }
1682         }
1683
1684         bytes_read = bytestream2_tell(&gbytes);
1685         skip_bits(&s->gb, bytes_read << 3);
1686         len -= bytes_read;
1687
1688         goto out;
1689     }
1690
1691     /* Apple MJPEG-A */
1692     if ((s->start_code == APP1) && (len > (0x28 - 8))) {
1693         id   = get_bits_long(&s->gb, 32);
1694         len -= 4;
1695         /* Apple MJPEG-A */
1696         if (id == AV_RB32("mjpg")) {
1697 #if 0
1698             skip_bits(&s->gb, 32); /* field size */
1699             skip_bits(&s->gb, 32); /* pad field size */
1700             skip_bits(&s->gb, 32); /* next off */
1701             skip_bits(&s->gb, 32); /* quant off */
1702             skip_bits(&s->gb, 32); /* huff off */
1703             skip_bits(&s->gb, 32); /* image off */
1704             skip_bits(&s->gb, 32); /* scan off */
1705             skip_bits(&s->gb, 32); /* data off */
1706 #endif
1707             if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1708                 av_log(s->avctx, AV_LOG_INFO, "mjpeg: Apple MJPEG-A header found\n");
1709         }
1710     }
1711
1712 out:
1713     /* slow but needed for extreme adobe jpegs */
1714     if (len < 0)
1715         av_log(s->avctx, AV_LOG_ERROR,
1716                "mjpeg: error, decode_app parser read over the end\n");
1717     while (--len > 0)
1718         skip_bits(&s->gb, 8);
1719
1720     return 0;
1721 }
1722
1723 static int mjpeg_decode_com(MJpegDecodeContext *s)
1724 {
1725     int len = get_bits(&s->gb, 16);
1726     if (len >= 2 && 8 * len - 16 <= get_bits_left(&s->gb)) {
1727         char *cbuf = av_malloc(len - 1);
1728         if (cbuf) {
1729             int i;
1730             for (i = 0; i < len - 2; i++)
1731                 cbuf[i] = get_bits(&s->gb, 8);
1732             if (i > 0 && cbuf[i - 1] == '\n')
1733                 cbuf[i - 1] = 0;
1734             else
1735                 cbuf[i] = 0;
1736
1737             if (s->avctx->debug & FF_DEBUG_PICT_INFO)
1738                 av_log(s->avctx, AV_LOG_INFO, "comment: '%s'\n", cbuf);
1739
1740             /* buggy avid, it puts EOI only at every 10th frame */
1741             if (!strncmp(cbuf, "AVID", 4)) {
1742                 parse_avid(s, cbuf, len);
1743             } else if (!strcmp(cbuf, "CS=ITU601"))
1744                 s->cs_itu601 = 1;
1745             else if ((!strncmp(cbuf, "Intel(R) JPEG Library, version 1", 32)) ||
1746                      (!strncmp(cbuf, "Metasoft MJPEG Codec", 20)))
1747                 s->flipped = 1;
1748
1749             av_free(cbuf);
1750         }
1751     }
1752
1753     return 0;
1754 }
1755
1756 /* return the 8 bit start code value and update the search
1757    state. Return -1 if no start code found */
1758 static int find_marker(const uint8_t **pbuf_ptr, const uint8_t *buf_end)
1759 {
1760     const uint8_t *buf_ptr;
1761     unsigned int v, v2;
1762     int val;
1763     int skipped = 0;
1764
1765     buf_ptr = *pbuf_ptr;
1766     while (buf_end - buf_ptr > 1) {
1767         v  = *buf_ptr++;
1768         v2 = *buf_ptr;
1769         if ((v == 0xff) && (v2 >= 0xc0) && (v2 <= 0xfe) && buf_ptr < buf_end) {
1770             val = *buf_ptr++;
1771             goto found;
1772         }
1773         skipped++;
1774     }
1775     buf_ptr = buf_end;
1776     val = -1;
1777 found:
1778     av_dlog(NULL, "find_marker skipped %d bytes\n", skipped);
1779     *pbuf_ptr = buf_ptr;
1780     return val;
1781 }
1782
1783 int ff_mjpeg_find_marker(MJpegDecodeContext *s,
1784                          const uint8_t **buf_ptr, const uint8_t *buf_end,
1785                          const uint8_t **unescaped_buf_ptr,
1786                          int *unescaped_buf_size)
1787 {
1788     int start_code;
1789     start_code = find_marker(buf_ptr, buf_end);
1790
1791     av_fast_padded_malloc(&s->buffer, &s->buffer_size, buf_end - *buf_ptr);
1792     if (!s->buffer)
1793         return AVERROR(ENOMEM);
1794
1795     /* unescape buffer of SOS, use special treatment for JPEG-LS */
1796     if (start_code == SOS && !s->ls) {
1797         const uint8_t *src = *buf_ptr;
1798         uint8_t *dst = s->buffer;
1799
1800         while (src < buf_end) {
1801             uint8_t x = *(src++);
1802
1803             *(dst++) = x;
1804             if (s->avctx->codec_id != AV_CODEC_ID_THP) {
1805                 if (x == 0xff) {
1806                     while (src < buf_end && x == 0xff)
1807                         x = *(src++);
1808
1809                     if (x >= 0xd0 && x <= 0xd7)
1810                         *(dst++) = x;
1811                     else if (x)
1812                         break;
1813                 }
1814             }
1815         }
1816         *unescaped_buf_ptr  = s->buffer;
1817         *unescaped_buf_size = dst - s->buffer;
1818         memset(s->buffer + *unescaped_buf_size, 0,
1819                FF_INPUT_BUFFER_PADDING_SIZE);
1820
1821         av_log(s->avctx, AV_LOG_DEBUG, "escaping removed %"PTRDIFF_SPECIFIER" bytes\n",
1822                (buf_end - *buf_ptr) - (dst - s->buffer));
1823     } else if (start_code == SOS && s->ls) {
1824         const uint8_t *src = *buf_ptr;
1825         uint8_t *dst  = s->buffer;
1826         int bit_count = 0;
1827         int t = 0, b = 0;
1828         PutBitContext pb;
1829
1830         /* find marker */
1831         while (src + t < buf_end) {
1832             uint8_t x = src[t++];
1833             if (x == 0xff) {
1834                 while ((src + t < buf_end) && x == 0xff)
1835                     x = src[t++];
1836                 if (x & 0x80) {
1837                     t -= FFMIN(2, t);
1838                     break;
1839                 }
1840             }
1841         }
1842         bit_count = t * 8;
1843         init_put_bits(&pb, dst, t);
1844
1845         /* unescape bitstream */
1846         while (b < t) {
1847             uint8_t x = src[b++];
1848             put_bits(&pb, 8, x);
1849             if (x == 0xFF) {
1850                 x = src[b++];
1851                 put_bits(&pb, 7, x);
1852                 bit_count--;
1853             }
1854         }
1855         flush_put_bits(&pb);
1856
1857         *unescaped_buf_ptr  = dst;
1858         *unescaped_buf_size = (bit_count + 7) >> 3;
1859         memset(s->buffer + *unescaped_buf_size, 0,
1860                FF_INPUT_BUFFER_PADDING_SIZE);
1861     } else {
1862         *unescaped_buf_ptr  = *buf_ptr;
1863         *unescaped_buf_size = buf_end - *buf_ptr;
1864     }
1865
1866     return start_code;
1867 }
1868
1869 int ff_mjpeg_decode_frame(AVCodecContext *avctx, void *data, int *got_frame,
1870                           AVPacket *avpkt)
1871 {
1872     AVFrame     *frame = data;
1873     const uint8_t *buf = avpkt->data;
1874     int buf_size       = avpkt->size;
1875     MJpegDecodeContext *s = avctx->priv_data;
1876     const uint8_t *buf_end, *buf_ptr;
1877     const uint8_t *unescaped_buf_ptr;
1878     int hshift, vshift;
1879     int unescaped_buf_size;
1880     int start_code;
1881     int i, index;
1882     int ret = 0;
1883
1884     av_dict_free(&s->exif_metadata);
1885     av_freep(&s->stereo3d);
1886     s->adobe_transform = -1;
1887
1888     buf_ptr = buf;
1889     buf_end = buf + buf_size;
1890     while (buf_ptr < buf_end) {
1891         /* find start next marker */
1892         start_code = ff_mjpeg_find_marker(s, &buf_ptr, buf_end,
1893                                           &unescaped_buf_ptr,
1894                                           &unescaped_buf_size);
1895         /* EOF */
1896         if (start_code < 0) {
1897             break;
1898         } else if (unescaped_buf_size > INT_MAX / 8) {
1899             av_log(avctx, AV_LOG_ERROR,
1900                    "MJPEG packet 0x%x too big (%d/%d), corrupt data?\n",
1901                    start_code, unescaped_buf_size, buf_size);
1902             return AVERROR_INVALIDDATA;
1903         }
1904         av_log(avctx, AV_LOG_DEBUG, "marker=%x avail_size_in_buf=%"PTRDIFF_SPECIFIER"\n",
1905                start_code, buf_end - buf_ptr);
1906
1907         ret = init_get_bits8(&s->gb, unescaped_buf_ptr, unescaped_buf_size);
1908
1909         if (ret < 0) {
1910             av_log(avctx, AV_LOG_ERROR, "invalid buffer\n");
1911             goto fail;
1912         }
1913
1914         s->start_code = start_code;
1915         if (s->avctx->debug & FF_DEBUG_STARTCODE)
1916             av_log(avctx, AV_LOG_DEBUG, "startcode: %X\n", start_code);
1917
1918         /* process markers */
1919         if (start_code >= 0xd0 && start_code <= 0xd7)
1920             av_log(avctx, AV_LOG_DEBUG,
1921                    "restart marker: %d\n", start_code & 0x0f);
1922             /* APP fields */
1923         else if (start_code >= APP0 && start_code <= APP15)
1924             mjpeg_decode_app(s);
1925             /* Comment */
1926         else if (start_code == COM)
1927             mjpeg_decode_com(s);
1928
1929         ret = -1;
1930
1931         if (!CONFIG_JPEGLS_DECODER &&
1932             (start_code == SOF48 || start_code == LSE)) {
1933             av_log(avctx, AV_LOG_ERROR, "JPEG-LS support not enabled.\n");
1934             return AVERROR(ENOSYS);
1935         }
1936
1937         switch (start_code) {
1938         case SOI:
1939             s->restart_interval = 0;
1940             s->restart_count    = 0;
1941             /* nothing to do on SOI */
1942             break;
1943         case DQT:
1944             ff_mjpeg_decode_dqt(s);
1945             break;
1946         case DHT:
1947             if ((ret = ff_mjpeg_decode_dht(s)) < 0) {
1948                 av_log(avctx, AV_LOG_ERROR, "huffman table decode error\n");
1949                 goto fail;
1950             }
1951             break;
1952         case SOF0:
1953         case SOF1:
1954             s->lossless    = 0;
1955             s->ls          = 0;
1956             s->progressive = 0;
1957             if ((ret = ff_mjpeg_decode_sof(s)) < 0)
1958                 goto fail;
1959             break;
1960         case SOF2:
1961             s->lossless    = 0;
1962             s->ls          = 0;
1963             s->progressive = 1;
1964             if ((ret = ff_mjpeg_decode_sof(s)) < 0)
1965                 goto fail;
1966             break;
1967         case SOF3:
1968             s->lossless    = 1;
1969             s->ls          = 0;
1970             s->progressive = 0;
1971             if ((ret = ff_mjpeg_decode_sof(s)) < 0)
1972                 goto fail;
1973             break;
1974         case SOF48:
1975             s->lossless    = 1;
1976             s->ls          = 1;
1977             s->progressive = 0;
1978             if ((ret = ff_mjpeg_decode_sof(s)) < 0)
1979                 goto fail;
1980             break;
1981         case LSE:
1982             if (!CONFIG_JPEGLS_DECODER ||
1983                 (ret = ff_jpegls_decode_lse(s)) < 0)
1984                 goto fail;
1985             break;
1986         case EOI:
1987 eoi_parser:
1988             s->cur_scan = 0;
1989             if (!s->got_picture) {
1990                 av_log(avctx, AV_LOG_WARNING,
1991                        "Found EOI before any SOF, ignoring\n");
1992                 break;
1993             }
1994             if (s->interlaced) {
1995                 s->bottom_field ^= 1;
1996                 /* if not bottom field, do not output image yet */
1997                 if (s->bottom_field == !s->interlace_polarity)
1998                     break;
1999             }
2000             if ((ret = av_frame_ref(frame, s->picture_ptr)) < 0)
2001                 return ret;
2002             *got_frame = 1;
2003             s->got_picture = 0;
2004
2005             if (!s->lossless) {
2006                 int qp = FFMAX3(s->qscale[0],
2007                                 s->qscale[1],
2008                                 s->qscale[2]);
2009                 int qpw = (s->width + 15) / 16;
2010                 AVBufferRef *qp_table_buf = av_buffer_alloc(qpw);
2011                 if (qp_table_buf) {
2012                     memset(qp_table_buf->data, qp, qpw);
2013                     av_frame_set_qp_table(data, qp_table_buf, 0, FF_QSCALE_TYPE_MPEG1);
2014                 }
2015
2016                 if(avctx->debug & FF_DEBUG_QP)
2017                     av_log(avctx, AV_LOG_DEBUG, "QP: %d\n", qp);
2018             }
2019
2020             goto the_end;
2021         case SOS:
2022             s->cur_scan++;
2023             if ((ret = ff_mjpeg_decode_sos(s, NULL, 0, NULL)) < 0 &&
2024                 (avctx->err_recognition & AV_EF_EXPLODE))
2025                 goto fail;
2026             break;
2027         case DRI:
2028             mjpeg_decode_dri(s);
2029             break;
2030         case SOF5:
2031         case SOF6:
2032         case SOF7:
2033         case SOF9:
2034         case SOF10:
2035         case SOF11:
2036         case SOF13:
2037         case SOF14:
2038         case SOF15:
2039         case JPG:
2040             av_log(avctx, AV_LOG_ERROR,
2041                    "mjpeg: unsupported coding type (%x)\n", start_code);
2042             break;
2043         }
2044
2045         /* eof process start code */
2046         buf_ptr += (get_bits_count(&s->gb) + 7) / 8;
2047         av_log(avctx, AV_LOG_DEBUG,
2048                "marker parser used %d bytes (%d bits)\n",
2049                (get_bits_count(&s->gb) + 7) / 8, get_bits_count(&s->gb));
2050     }
2051     if (s->got_picture && s->cur_scan) {
2052         av_log(avctx, AV_LOG_WARNING, "EOI missing, emulating\n");
2053         goto eoi_parser;
2054     }
2055     av_log(avctx, AV_LOG_FATAL, "No JPEG data found in image\n");
2056     return AVERROR_INVALIDDATA;
2057 fail:
2058     s->got_picture = 0;
2059     return ret;
2060 the_end:
2061     if (s->upscale_h) {
2062         int p;
2063         av_assert0(avctx->pix_fmt == AV_PIX_FMT_YUVJ444P ||
2064                    avctx->pix_fmt == AV_PIX_FMT_YUV444P  ||
2065                    avctx->pix_fmt == AV_PIX_FMT_YUVJ440P ||
2066                    avctx->pix_fmt == AV_PIX_FMT_YUV440P  ||
2067                    avctx->pix_fmt == AV_PIX_FMT_YUVA444P ||
2068                    avctx->pix_fmt == AV_PIX_FMT_YUVJ420P ||
2069                    avctx->pix_fmt == AV_PIX_FMT_YUV420P  ||
2070                    avctx->pix_fmt == AV_PIX_FMT_GBRAP
2071                   );
2072         avcodec_get_chroma_sub_sample(s->avctx->pix_fmt, &hshift, &vshift);
2073         for (p = 1; p<4; p++) {
2074             uint8_t *line = s->picture_ptr->data[p];
2075             int w;
2076             if (!(s->upscale_h & (1<<p)))
2077                 continue;
2078             w = s->width >> hshift;
2079             for (i = 0; i < s->chroma_height; i++) {
2080                 for (index = w - 1; index; index--)
2081                     line[index] = (line[index / 2] + line[(index + 1) / 2]) >> 1;
2082                 line += s->linesize[p];
2083             }
2084         }
2085     }
2086     if (s->upscale_v) {
2087         int p;
2088         av_assert0(avctx->pix_fmt == AV_PIX_FMT_YUVJ444P ||
2089                    avctx->pix_fmt == AV_PIX_FMT_YUV444P  ||
2090                    avctx->pix_fmt == AV_PIX_FMT_YUVJ422P ||
2091                    avctx->pix_fmt == AV_PIX_FMT_YUV422P  ||
2092                    avctx->pix_fmt == AV_PIX_FMT_YUVA444P ||
2093                    avctx->pix_fmt == AV_PIX_FMT_GBRAP
2094                    );
2095         avcodec_get_chroma_sub_sample(s->avctx->pix_fmt, &hshift, &vshift);
2096         for (p = 1; p < 4; p++) {
2097             uint8_t *dst = &((uint8_t *)s->picture_ptr->data[p])[(s->height - 1) * s->linesize[p]];
2098             int w;
2099             if (!(s->upscale_v & (1<<p)))
2100                 continue;
2101             w = s->width >> hshift;
2102             for (i = s->height - 1; i; i--) {
2103                 uint8_t *src1 = &((uint8_t *)s->picture_ptr->data[p])[i / 2 * s->linesize[p]];
2104                 uint8_t *src2 = &((uint8_t *)s->picture_ptr->data[p])[(i + 1) / 2 * s->linesize[p]];
2105                 if (src1 == src2) {
2106                     memcpy(dst, src1, w);
2107                 } else {
2108                     for (index = 0; index < w; index++)
2109                         dst[index] = (src1[index] + src2[index]) >> 1;
2110                 }
2111                 dst -= s->linesize[p];
2112             }
2113         }
2114     }
2115     if (s->flipped) {
2116         int j;
2117         avcodec_get_chroma_sub_sample(s->avctx->pix_fmt, &hshift, &vshift);
2118         for (index=0; index<4; index++) {
2119             uint8_t *dst = s->picture_ptr->data[index];
2120             int w = s->picture_ptr->width;
2121             int h = s->picture_ptr->height;
2122             if(index && index<3){
2123                 w = FF_CEIL_RSHIFT(w, hshift);
2124                 h = FF_CEIL_RSHIFT(h, vshift);
2125             }
2126             if(dst){
2127                 uint8_t *dst2 = dst + s->picture_ptr->linesize[index]*(h-1);
2128                 for (i=0; i<h/2; i++) {
2129                     for (j=0; j<w; j++)
2130                         FFSWAP(int, dst[j], dst2[j]);
2131                     dst  += s->picture_ptr->linesize[index];
2132                     dst2 -= s->picture_ptr->linesize[index];
2133                 }
2134             }
2135         }
2136     }
2137     if (s->adobe_transform == 0 && s->avctx->pix_fmt == AV_PIX_FMT_GBRAP) {
2138         int w = s->picture_ptr->width;
2139         int h = s->picture_ptr->height;
2140         for (i=0; i<h; i++) {
2141             int j;
2142             uint8_t *dst[4];
2143             for (index=0; index<4; index++) {
2144                 dst[index] =   s->picture_ptr->data[index]
2145                              + s->picture_ptr->linesize[index]*i;
2146             }
2147             for (j=0; j<w; j++) {
2148                 int k = dst[3][j];
2149                 int r = dst[0][j] * k;
2150                 int g = dst[1][j] * k;
2151                 int b = dst[2][j] * k;
2152                 dst[0][j] = g*257 >> 16;
2153                 dst[1][j] = b*257 >> 16;
2154                 dst[2][j] = r*257 >> 16;
2155                 dst[3][j] = 255;
2156             }
2157         }
2158     }
2159     if (s->adobe_transform == 2 && s->avctx->pix_fmt == AV_PIX_FMT_YUVA444P) {
2160         int w = s->picture_ptr->width;
2161         int h = s->picture_ptr->height;
2162         for (i=0; i<h; i++) {
2163             int j;
2164             uint8_t *dst[4];
2165             for (index=0; index<4; index++) {
2166                 dst[index] =   s->picture_ptr->data[index]
2167                              + s->picture_ptr->linesize[index]*i;
2168             }
2169             for (j=0; j<w; j++) {
2170                 int k = dst[3][j];
2171                 int r = (255 - dst[0][j]) * k;
2172                 int g = (128 - dst[1][j]) * k;
2173                 int b = (128 - dst[2][j]) * k;
2174                 dst[0][j] = r*257 >> 16;
2175                 dst[1][j] = (g*257 >> 16) + 128;
2176                 dst[2][j] = (b*257 >> 16) + 128;
2177                 dst[3][j] = 255;
2178             }
2179         }
2180     }
2181
2182     if (s->stereo3d) {
2183         AVStereo3D *stereo = av_stereo3d_create_side_data(data);
2184         if (stereo) {
2185             stereo->type  = s->stereo3d->type;
2186             stereo->flags = s->stereo3d->flags;
2187         }
2188         av_freep(&s->stereo3d);
2189     }
2190
2191     av_dict_copy(avpriv_frame_get_metadatap(data), s->exif_metadata, 0);
2192     av_dict_free(&s->exif_metadata);
2193
2194     av_log(avctx, AV_LOG_DEBUG, "decode frame unused %"PTRDIFF_SPECIFIER" bytes\n",
2195            buf_end - buf_ptr);
2196 //  return buf_end - buf_ptr;
2197     return buf_ptr - buf;
2198 }
2199
2200 av_cold int ff_mjpeg_decode_end(AVCodecContext *avctx)
2201 {
2202     MJpegDecodeContext *s = avctx->priv_data;
2203     int i, j;
2204
2205     if (s->interlaced && s->bottom_field == !s->interlace_polarity && s->got_picture && !avctx->frame_number) {
2206         av_log(avctx, AV_LOG_INFO, "Single field\n");
2207     }
2208
2209     if (s->picture) {
2210         av_frame_free(&s->picture);
2211         s->picture_ptr = NULL;
2212     } else if (s->picture_ptr)
2213         av_frame_unref(s->picture_ptr);
2214
2215     av_freep(&s->buffer);
2216     av_freep(&s->stereo3d);
2217     av_freep(&s->ljpeg_buffer);
2218     s->ljpeg_buffer_size = 0;
2219
2220     for (i = 0; i < 3; i++) {
2221         for (j = 0; j < 4; j++)
2222             ff_free_vlc(&s->vlcs[i][j]);
2223     }
2224     for (i = 0; i < MAX_COMPONENTS; i++) {
2225         av_freep(&s->blocks[i]);
2226         av_freep(&s->last_nnz[i]);
2227     }
2228     av_dict_free(&s->exif_metadata);
2229     return 0;
2230 }
2231
2232 static void decode_flush(AVCodecContext *avctx)
2233 {
2234     MJpegDecodeContext *s = avctx->priv_data;
2235     s->got_picture = 0;
2236 }
2237
2238 #if CONFIG_MJPEG_DECODER
2239 #define OFFSET(x) offsetof(MJpegDecodeContext, x)
2240 #define VD AV_OPT_FLAG_VIDEO_PARAM | AV_OPT_FLAG_DECODING_PARAM
2241 static const AVOption options[] = {
2242     { "extern_huff", "Use external huffman table.",
2243       OFFSET(extern_huff), AV_OPT_TYPE_INT, { .i64 = 0 }, 0, 1, VD },
2244     { NULL },
2245 };
2246
2247 static const AVClass mjpegdec_class = {
2248     .class_name = "MJPEG decoder",
2249     .item_name  = av_default_item_name,
2250     .option     = options,
2251     .version    = LIBAVUTIL_VERSION_INT,
2252 };
2253
2254 AVCodec ff_mjpeg_decoder = {
2255     .name           = "mjpeg",
2256     .long_name      = NULL_IF_CONFIG_SMALL("MJPEG (Motion JPEG)"),
2257     .type           = AVMEDIA_TYPE_VIDEO,
2258     .id             = AV_CODEC_ID_MJPEG,
2259     .priv_data_size = sizeof(MJpegDecodeContext),
2260     .init           = ff_mjpeg_decode_init,
2261     .close          = ff_mjpeg_decode_end,
2262     .decode         = ff_mjpeg_decode_frame,
2263     .flush          = decode_flush,
2264     .capabilities   = CODEC_CAP_DR1,
2265     .max_lowres     = 3,
2266     .priv_class     = &mjpegdec_class,
2267 };
2268 #endif
2269 #if CONFIG_THP_DECODER
2270 AVCodec ff_thp_decoder = {
2271     .name           = "thp",
2272     .long_name      = NULL_IF_CONFIG_SMALL("Nintendo Gamecube THP video"),
2273     .type           = AVMEDIA_TYPE_VIDEO,
2274     .id             = AV_CODEC_ID_THP,
2275     .priv_data_size = sizeof(MJpegDecodeContext),
2276     .init           = ff_mjpeg_decode_init,
2277     .close          = ff_mjpeg_decode_end,
2278     .decode         = ff_mjpeg_decode_frame,
2279     .flush          = decode_flush,
2280     .capabilities   = CODEC_CAP_DR1,
2281     .max_lowres     = 3,
2282 };
2283 #endif