]> git.sesse.net Git - ffmpeg/blob - libavcodec/g2meet.c
build: Split JPEG-related tables off into a separate component
[ffmpeg] / libavcodec / g2meet.c
1 /*
2  * Go2Webinar decoder
3  * Copyright (c) 2012 Konstantin Shishkov
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * Go2Webinar decoder
25  */
26
27 #include <inttypes.h>
28 #include <zlib.h>
29
30 #include "libavutil/intreadwrite.h"
31 #include "avcodec.h"
32 #include "blockdsp.h"
33 #include "bytestream.h"
34 #include "idctdsp.h"
35 #include "get_bits.h"
36 #include "internal.h"
37 #include "jpegtables.h"
38 #include "mjpeg.h"
39
40 enum ChunkType {
41     DISPLAY_INFO = 0xC8,
42     TILE_DATA,
43     CURSOR_POS,
44     CURSOR_SHAPE,
45     CHUNK_CC,
46     CHUNK_CD
47 };
48
49 enum Compression {
50     COMPR_EPIC_J_B = 2,
51     COMPR_KEMPF_J_B,
52 };
53
54 static const uint8_t luma_quant[64] = {
55      8,  6,  5,  8, 12, 20, 26, 31,
56      6,  6,  7, 10, 13, 29, 30, 28,
57      7,  7,  8, 12, 20, 29, 35, 28,
58      7,  9, 11, 15, 26, 44, 40, 31,
59      9, 11, 19, 28, 34, 55, 52, 39,
60     12, 18, 28, 32, 41, 52, 57, 46,
61     25, 32, 39, 44, 52, 61, 60, 51,
62     36, 46, 48, 49, 56, 50, 52, 50
63 };
64
65 static const uint8_t chroma_quant[64] = {
66      9,  9, 12, 24, 50, 50, 50, 50,
67      9, 11, 13, 33, 50, 50, 50, 50,
68     12, 13, 28, 50, 50, 50, 50, 50,
69     24, 33, 50, 50, 50, 50, 50, 50,
70     50, 50, 50, 50, 50, 50, 50, 50,
71     50, 50, 50, 50, 50, 50, 50, 50,
72     50, 50, 50, 50, 50, 50, 50, 50,
73     50, 50, 50, 50, 50, 50, 50, 50,
74 };
75
76 typedef struct JPGContext {
77     BlockDSPContext bdsp;
78     IDCTDSPContext idsp;
79     ScanTable  scantable;
80
81     VLC        dc_vlc[2], ac_vlc[2];
82     int        prev_dc[3];
83     DECLARE_ALIGNED(16, int16_t, block)[6][64];
84
85     uint8_t    *buf;
86 } JPGContext;
87
88 typedef struct G2MContext {
89     JPGContext jc;
90     int        version;
91
92     int        compression;
93     int        width, height, bpp;
94     int        orig_width, orig_height;
95     int        tile_width, tile_height;
96     int        tiles_x, tiles_y, tile_x, tile_y;
97
98     int        got_header;
99
100     uint8_t    *framebuf;
101     int        framebuf_stride, old_width, old_height;
102
103     uint8_t    *synth_tile, *jpeg_tile;
104     int        tile_stride, old_tile_w, old_tile_h;
105
106     uint8_t    *kempf_buf, *kempf_flags;
107
108     uint8_t    *cursor;
109     int        cursor_stride;
110     int        cursor_fmt;
111     int        cursor_w, cursor_h, cursor_x, cursor_y;
112     int        cursor_hot_x, cursor_hot_y;
113 } G2MContext;
114
115 static av_cold int build_vlc(VLC *vlc, const uint8_t *bits_table,
116                              const uint8_t *val_table, int nb_codes,
117                              int is_ac)
118 {
119     uint8_t  huff_size[256] = { 0 };
120     uint16_t huff_code[256];
121     uint16_t huff_sym[256];
122     int i;
123
124     ff_mjpeg_build_huffman_codes(huff_size, huff_code, bits_table, val_table);
125
126     for (i = 0; i < 256; i++)
127         huff_sym[i] = i + 16 * is_ac;
128
129     if (is_ac)
130         huff_sym[0] = 16 * 256;
131
132     return ff_init_vlc_sparse(vlc, 9, nb_codes, huff_size, 1, 1,
133                               huff_code, 2, 2, huff_sym, 2, 2, 0);
134 }
135
136 static av_cold int jpg_init(AVCodecContext *avctx, JPGContext *c)
137 {
138     int ret;
139
140     ret = build_vlc(&c->dc_vlc[0], avpriv_mjpeg_bits_dc_luminance,
141                     avpriv_mjpeg_val_dc, 12, 0);
142     if (ret)
143         return ret;
144     ret = build_vlc(&c->dc_vlc[1], avpriv_mjpeg_bits_dc_chrominance,
145                     avpriv_mjpeg_val_dc, 12, 0);
146     if (ret)
147         return ret;
148     ret = build_vlc(&c->ac_vlc[0], avpriv_mjpeg_bits_ac_luminance,
149                     avpriv_mjpeg_val_ac_luminance, 251, 1);
150     if (ret)
151         return ret;
152     ret = build_vlc(&c->ac_vlc[1], avpriv_mjpeg_bits_ac_chrominance,
153                     avpriv_mjpeg_val_ac_chrominance, 251, 1);
154     if (ret)
155         return ret;
156
157     ff_blockdsp_init(&c->bdsp, avctx);
158     ff_idctdsp_init(&c->idsp, avctx);
159     ff_init_scantable(c->idsp.idct_permutation, &c->scantable,
160                       ff_zigzag_direct);
161
162     return 0;
163 }
164
165 static av_cold void jpg_free_context(JPGContext *ctx)
166 {
167     int i;
168
169     for (i = 0; i < 2; i++) {
170         ff_free_vlc(&ctx->dc_vlc[i]);
171         ff_free_vlc(&ctx->ac_vlc[i]);
172     }
173
174     av_freep(&ctx->buf);
175 }
176
177 static void jpg_unescape(const uint8_t *src, int src_size,
178                          uint8_t *dst, int *dst_size)
179 {
180     const uint8_t *src_end = src + src_size;
181     uint8_t *dst_start = dst;
182
183     while (src < src_end) {
184         uint8_t x = *src++;
185
186         *dst++ = x;
187
188         if (x == 0xFF && !*src)
189             src++;
190     }
191     *dst_size = dst - dst_start;
192 }
193
194 static int jpg_decode_block(JPGContext *c, GetBitContext *gb,
195                             int plane, int16_t *block)
196 {
197     int dc, val, pos;
198     const int is_chroma = !!plane;
199     const uint8_t *qmat = is_chroma ? chroma_quant : luma_quant;
200
201     c->bdsp.clear_block(block);
202     dc = get_vlc2(gb, c->dc_vlc[is_chroma].table, 9, 3);
203     if (dc < 0)
204         return AVERROR_INVALIDDATA;
205     if (dc)
206         dc = get_xbits(gb, dc);
207     dc                = dc * qmat[0] + c->prev_dc[plane];
208     block[0]          = dc;
209     c->prev_dc[plane] = dc;
210
211     pos = 0;
212     while (pos < 63) {
213         val = get_vlc2(gb, c->ac_vlc[is_chroma].table, 9, 3);
214         if (val < 0)
215             return AVERROR_INVALIDDATA;
216         pos += val >> 4;
217         val &= 0xF;
218         if (pos > 63)
219             return val ? AVERROR_INVALIDDATA : 0;
220         if (val) {
221             int nbits = val;
222
223             val                                 = get_xbits(gb, nbits);
224             val                                *= qmat[ff_zigzag_direct[pos]];
225             block[c->scantable.permutated[pos]] = val;
226         }
227     }
228     return 0;
229 }
230
231 static inline void yuv2rgb(uint8_t *out, int Y, int U, int V)
232 {
233     out[0] = av_clip_uint8(Y + (             91881 * V + 32768 >> 16));
234     out[1] = av_clip_uint8(Y + (-22554 * U - 46802 * V + 32768 >> 16));
235     out[2] = av_clip_uint8(Y + (116130 * U             + 32768 >> 16));
236 }
237
238 static int jpg_decode_data(JPGContext *c, int width, int height,
239                            const uint8_t *src, int src_size,
240                            uint8_t *dst, int dst_stride,
241                            const uint8_t *mask, int mask_stride, int num_mbs,
242                            int swapuv)
243 {
244     GetBitContext gb;
245     int mb_w, mb_h, mb_x, mb_y, i, j;
246     int bx, by;
247     int unesc_size;
248     int ret;
249
250     if ((ret = av_reallocp(&c->buf,
251                            src_size + FF_INPUT_BUFFER_PADDING_SIZE)) < 0)
252         return ret;
253     jpg_unescape(src, src_size, c->buf, &unesc_size);
254     memset(c->buf + unesc_size, 0, FF_INPUT_BUFFER_PADDING_SIZE);
255     init_get_bits(&gb, c->buf, unesc_size * 8);
256
257     width = FFALIGN(width, 16);
258     mb_w  =  width        >> 4;
259     mb_h  = (height + 15) >> 4;
260
261     if (!num_mbs)
262         num_mbs = mb_w * mb_h * 4;
263
264     for (i = 0; i < 3; i++)
265         c->prev_dc[i] = 1024;
266     bx = by = 0;
267     c->bdsp.clear_blocks(c->block[0]);
268     for (mb_y = 0; mb_y < mb_h; mb_y++) {
269         for (mb_x = 0; mb_x < mb_w; mb_x++) {
270             if (mask && !mask[mb_x * 2] && !mask[mb_x * 2 + 1] &&
271                 !mask[mb_x * 2 +     mask_stride] &&
272                 !mask[mb_x * 2 + 1 + mask_stride]) {
273                 bx += 16;
274                 continue;
275             }
276             for (j = 0; j < 2; j++) {
277                 for (i = 0; i < 2; i++) {
278                     if (mask && !mask[mb_x * 2 + i + j * mask_stride])
279                         continue;
280                     num_mbs--;
281                     if ((ret = jpg_decode_block(c, &gb, 0,
282                                                 c->block[i + j * 2])) != 0)
283                         return ret;
284                     c->idsp.idct(c->block[i + j * 2]);
285                 }
286             }
287             for (i = 1; i < 3; i++) {
288                 if ((ret = jpg_decode_block(c, &gb, i, c->block[i + 3])) != 0)
289                     return ret;
290                 c->idsp.idct(c->block[i + 3]);
291             }
292
293             for (j = 0; j < 16; j++) {
294                 uint8_t *out = dst + bx * 3 + (by + j) * dst_stride;
295                 for (i = 0; i < 16; i++) {
296                     int Y, U, V;
297
298                     Y = c->block[(j >> 3) * 2 + (i >> 3)][(i & 7) + (j & 7) * 8];
299                     U = c->block[4 ^ swapuv][(i >> 1) + (j >> 1) * 8] - 128;
300                     V = c->block[5 ^ swapuv][(i >> 1) + (j >> 1) * 8] - 128;
301                     yuv2rgb(out + i * 3, Y, U, V);
302                 }
303             }
304
305             if (!num_mbs)
306                 return 0;
307             bx += 16;
308         }
309         bx  = 0;
310         by += 16;
311         if (mask)
312             mask += mask_stride * 2;
313     }
314
315     return 0;
316 }
317
318 static void kempf_restore_buf(const uint8_t *src, int len,
319                               uint8_t *dst, int stride,
320                               const uint8_t *jpeg_tile, int tile_stride,
321                               int width, int height,
322                               const uint8_t *pal, int npal, int tidx)
323 {
324     GetBitContext gb;
325     int i, j, nb, col;
326
327     init_get_bits(&gb, src, len * 8);
328
329     if (npal <= 2)       nb = 1;
330     else if (npal <= 4)  nb = 2;
331     else if (npal <= 16) nb = 4;
332     else                 nb = 8;
333
334     for (j = 0; j < height; j++, dst += stride, jpeg_tile += tile_stride) {
335         if (get_bits(&gb, 8))
336             continue;
337         for (i = 0; i < width; i++) {
338             col = get_bits(&gb, nb);
339             if (col != tidx)
340                 memcpy(dst + i * 3, pal + col * 3, 3);
341             else
342                 memcpy(dst + i * 3, jpeg_tile + i * 3, 3);
343         }
344     }
345 }
346
347 static int kempf_decode_tile(G2MContext *c, int tile_x, int tile_y,
348                              const uint8_t *src, int src_size)
349 {
350     int width, height;
351     int hdr, zsize, npal, tidx = -1, ret;
352     int i, j;
353     const uint8_t *src_end = src + src_size;
354     uint8_t pal[768], transp[3];
355     uLongf dlen = (c->tile_width + 1) * c->tile_height;
356     int sub_type;
357     int nblocks, cblocks, bstride;
358     int bits, bitbuf, coded;
359     uint8_t *dst = c->framebuf + tile_x * c->tile_width * 3 +
360                    tile_y * c->tile_height * c->framebuf_stride;
361
362     if (src_size < 2)
363         return AVERROR_INVALIDDATA;
364
365     width  = FFMIN(c->width  - tile_x * c->tile_width,  c->tile_width);
366     height = FFMIN(c->height - tile_y * c->tile_height, c->tile_height);
367
368     hdr      = *src++;
369     sub_type = hdr >> 5;
370     if (sub_type == 0) {
371         int j;
372         memcpy(transp, src, 3);
373         src += 3;
374         for (j = 0; j < height; j++, dst += c->framebuf_stride)
375             for (i = 0; i < width; i++)
376                 memcpy(dst + i * 3, transp, 3);
377         return 0;
378     } else if (sub_type == 1) {
379         return jpg_decode_data(&c->jc, width, height, src, src_end - src,
380                                dst, c->framebuf_stride, NULL, 0, 0, 0);
381     }
382
383     if (sub_type != 2) {
384         memcpy(transp, src, 3);
385         src += 3;
386     }
387     npal = *src++ + 1;
388     memcpy(pal, src, npal * 3);
389     src += npal * 3;
390     if (sub_type != 2) {
391         for (i = 0; i < npal; i++) {
392             if (!memcmp(pal + i * 3, transp, 3)) {
393                 tidx = i;
394                 break;
395             }
396         }
397     }
398
399     if (src_end - src < 2)
400         return 0;
401     zsize = (src[0] << 8) | src[1];
402     src  += 2;
403
404     if (src_end - src < zsize)
405         return AVERROR_INVALIDDATA;
406
407     ret = uncompress(c->kempf_buf, &dlen, src, zsize);
408     if (ret)
409         return AVERROR_INVALIDDATA;
410     src += zsize;
411
412     if (sub_type == 2) {
413         kempf_restore_buf(c->kempf_buf, dlen, dst, c->framebuf_stride,
414                           NULL, 0, width, height, pal, npal, tidx);
415         return 0;
416     }
417
418     nblocks = *src++ + 1;
419     cblocks = 0;
420     bstride = FFALIGN(width, 16) >> 3;
421     // blocks are coded LSB and we need normal bitreader for JPEG data
422     bits = 0;
423     for (i = 0; i < (FFALIGN(height, 16) >> 4); i++) {
424         for (j = 0; j < (FFALIGN(width, 16) >> 4); j++) {
425             if (!bits) {
426                 bitbuf = *src++;
427                 bits   = 8;
428             }
429             coded = bitbuf & 1;
430             bits--;
431             bitbuf >>= 1;
432             cblocks += coded;
433             if (cblocks > nblocks)
434                 return AVERROR_INVALIDDATA;
435             c->kempf_flags[j * 2 +      i * 2      * bstride] =
436             c->kempf_flags[j * 2 + 1 +  i * 2      * bstride] =
437             c->kempf_flags[j * 2 +     (i * 2 + 1) * bstride] =
438             c->kempf_flags[j * 2 + 1 + (i * 2 + 1) * bstride] = coded;
439         }
440     }
441
442     memset(c->jpeg_tile, 0, c->tile_stride * height);
443     jpg_decode_data(&c->jc, width, height, src, src_end - src,
444                     c->jpeg_tile, c->tile_stride,
445                     c->kempf_flags, bstride, nblocks * 4, 0);
446
447     kempf_restore_buf(c->kempf_buf, dlen, dst, c->framebuf_stride,
448                       c->jpeg_tile, c->tile_stride,
449                       width, height, pal, npal, tidx);
450
451     return 0;
452 }
453
454 static int g2m_init_buffers(G2MContext *c)
455 {
456     int aligned_height;
457
458     if (!c->framebuf || c->old_width < c->width || c->old_height < c->height) {
459         c->framebuf_stride = FFALIGN(c->width * 3, 16);
460         aligned_height     = FFALIGN(c->height,    16);
461         av_free(c->framebuf);
462         c->framebuf = av_mallocz(c->framebuf_stride * aligned_height);
463         if (!c->framebuf)
464             return AVERROR(ENOMEM);
465     }
466     if (!c->synth_tile || !c->jpeg_tile ||
467         c->old_tile_w < c->tile_width ||
468         c->old_tile_h < c->tile_height) {
469         c->tile_stride = FFALIGN(c->tile_width * 3, 16);
470         aligned_height = FFALIGN(c->tile_height,    16);
471         av_free(c->synth_tile);
472         av_free(c->jpeg_tile);
473         av_free(c->kempf_buf);
474         av_free(c->kempf_flags);
475         c->synth_tile  = av_mallocz(c->tile_stride      * aligned_height);
476         c->jpeg_tile   = av_mallocz(c->tile_stride      * aligned_height);
477         c->kempf_buf   = av_mallocz((c->tile_width + 1) * aligned_height
478                                     + FF_INPUT_BUFFER_PADDING_SIZE);
479         c->kempf_flags = av_mallocz( c->tile_width      * aligned_height);
480         if (!c->synth_tile || !c->jpeg_tile ||
481             !c->kempf_buf || !c->kempf_flags)
482             return AVERROR(ENOMEM);
483     }
484
485     return 0;
486 }
487
488 static int g2m_load_cursor(AVCodecContext *avctx, G2MContext *c,
489                            GetByteContext *gb)
490 {
491     int i, j, k;
492     uint8_t *dst;
493     uint32_t bits;
494     uint32_t cur_size, cursor_w, cursor_h, cursor_stride;
495     uint32_t cursor_hot_x, cursor_hot_y;
496     int cursor_fmt, err;
497
498     cur_size     = bytestream2_get_be32(gb);
499     cursor_w     = bytestream2_get_byte(gb);
500     cursor_h     = bytestream2_get_byte(gb);
501     cursor_hot_x = bytestream2_get_byte(gb);
502     cursor_hot_y = bytestream2_get_byte(gb);
503     cursor_fmt   = bytestream2_get_byte(gb);
504
505     cursor_stride = FFALIGN(cursor_w, 32) * 4;
506
507     if (cursor_w < 1 || cursor_w > 256 ||
508         cursor_h < 1 || cursor_h > 256) {
509         av_log(avctx, AV_LOG_ERROR, "Invalid cursor dimensions %"PRIu32"x%"PRIu32"\n",
510                cursor_w, cursor_h);
511         return AVERROR_INVALIDDATA;
512     }
513     if (cursor_hot_x > cursor_w || cursor_hot_y > cursor_h) {
514         av_log(avctx, AV_LOG_WARNING, "Invalid hotspot position %"PRIu32",%"PRIu32"\n",
515                cursor_hot_x, cursor_hot_y);
516         cursor_hot_x = FFMIN(cursor_hot_x, cursor_w - 1);
517         cursor_hot_y = FFMIN(cursor_hot_y, cursor_h - 1);
518     }
519     if (cur_size - 9 > bytestream2_get_bytes_left(gb) ||
520         c->cursor_w * c->cursor_h / 4 > cur_size) {
521         av_log(avctx, AV_LOG_ERROR, "Invalid cursor data size %"PRIu32"/%u\n",
522                cur_size, bytestream2_get_bytes_left(gb));
523         return AVERROR_INVALIDDATA;
524     }
525     if (cursor_fmt != 1 && cursor_fmt != 32) {
526         avpriv_report_missing_feature(avctx, "Cursor format %d",
527                                       cursor_fmt);
528         return AVERROR_PATCHWELCOME;
529     }
530
531     if ((err = av_reallocp(&c->cursor, cursor_stride * cursor_h)) < 0) {
532         av_log(avctx, AV_LOG_ERROR, "Cannot allocate cursor buffer\n");
533         return err;
534     }
535
536     c->cursor_w      = cursor_w;
537     c->cursor_h      = cursor_h;
538     c->cursor_hot_x  = cursor_hot_x;
539     c->cursor_hot_y  = cursor_hot_y;
540     c->cursor_fmt    = cursor_fmt;
541     c->cursor_stride = cursor_stride;
542
543     dst = c->cursor;
544     switch (c->cursor_fmt) {
545     case 1: // old monochrome
546         for (j = 0; j < c->cursor_h; j++) {
547             for (i = 0; i < c->cursor_w; i += 32) {
548                 bits = bytestream2_get_be32(gb);
549                 for (k = 0; k < 32; k++) {
550                     dst[0] = !!(bits & 0x80000000);
551                     dst   += 4;
552                     bits <<= 1;
553                 }
554             }
555             dst += c->cursor_stride - c->cursor_w * 4;
556         }
557
558         dst = c->cursor;
559         for (j = 0; j < c->cursor_h; j++) {
560             for (i = 0; i < c->cursor_w; i += 32) {
561                 bits = bytestream2_get_be32(gb);
562                 for (k = 0; k < 32; k++) {
563                     int mask_bit = !!(bits & 0x80000000);
564                     switch (dst[0] * 2 + mask_bit) {
565                     case 0:
566                         dst[0] = 0xFF;
567                         dst[1] = 0x00;
568                         dst[2] = 0x00;
569                         dst[3] = 0x00;
570                         break;
571                     case 1:
572                         dst[0] = 0xFF;
573                         dst[1] = 0xFF;
574                         dst[2] = 0xFF;
575                         dst[3] = 0xFF;
576                         break;
577                     default:
578                         dst[0] = 0x00;
579                         dst[1] = 0x00;
580                         dst[2] = 0x00;
581                         dst[3] = 0x00;
582                     }
583                     dst   += 4;
584                     bits <<= 1;
585                 }
586             }
587             dst += c->cursor_stride - c->cursor_w * 4;
588         }
589         break;
590     case 32: // full colour
591         /* skip monochrome version of the cursor and decode RGBA instead */
592         bytestream2_skip(gb, c->cursor_h * (FFALIGN(c->cursor_w, 32) >> 3));
593         for (j = 0; j < c->cursor_h; j++) {
594             for (i = 0; i < c->cursor_w; i++) {
595                 int val = bytestream2_get_be32(gb);
596                 *dst++ = val >>  0;
597                 *dst++ = val >>  8;
598                 *dst++ = val >> 16;
599                 *dst++ = val >> 24;
600             }
601             dst += c->cursor_stride - c->cursor_w * 4;
602         }
603         break;
604     default:
605         return AVERROR_PATCHWELCOME;
606     }
607     return 0;
608 }
609
610 #define APPLY_ALPHA(src, new, alpha) \
611     src = (src * (256 - alpha) + new * alpha) >> 8
612
613 static void g2m_paint_cursor(G2MContext *c, uint8_t *dst, int stride)
614 {
615     int i, j;
616     int x, y, w, h;
617     const uint8_t *cursor;
618
619     if (!c->cursor)
620         return;
621
622     x = c->cursor_x - c->cursor_hot_x;
623     y = c->cursor_y - c->cursor_hot_y;
624
625     cursor = c->cursor;
626     w      = c->cursor_w;
627     h      = c->cursor_h;
628
629     if (x + w > c->width)
630         w = c->width - x;
631     if (y + h > c->height)
632         h = c->height - y;
633     if (x < 0) {
634         w      +=  x;
635         cursor += -x * 4;
636     } else {
637         dst    +=  x * 3;
638     }
639     if (y < 0) {
640         h      +=  y;
641         cursor += -y * c->cursor_stride;
642     } else {
643         dst    +=  y * stride;
644     }
645     if (w < 0 || h < 0)
646         return;
647
648     for (j = 0; j < h; j++) {
649         for (i = 0; i < w; i++) {
650             uint8_t alpha = cursor[i * 4];
651             APPLY_ALPHA(dst[i * 3 + 0], cursor[i * 4 + 1], alpha);
652             APPLY_ALPHA(dst[i * 3 + 1], cursor[i * 4 + 2], alpha);
653             APPLY_ALPHA(dst[i * 3 + 2], cursor[i * 4 + 3], alpha);
654         }
655         dst    += stride;
656         cursor += c->cursor_stride;
657     }
658 }
659
660 static int g2m_decode_frame(AVCodecContext *avctx, void *data,
661                             int *got_picture_ptr, AVPacket *avpkt)
662 {
663     const uint8_t *buf = avpkt->data;
664     int buf_size = avpkt->size;
665     G2MContext *c = avctx->priv_data;
666     AVFrame *pic = data;
667     GetByteContext bc, tbc;
668     int magic;
669     int got_header = 0;
670     uint32_t chunk_size, r_mask, g_mask, b_mask;
671     int chunk_type, chunk_start;
672     int i;
673     int ret;
674
675     if (buf_size < 12) {
676         av_log(avctx, AV_LOG_ERROR,
677                "Frame should have at least 12 bytes, got %d instead\n",
678                buf_size);
679         return AVERROR_INVALIDDATA;
680     }
681
682     bytestream2_init(&bc, buf, buf_size);
683
684     magic = bytestream2_get_be32(&bc);
685     if ((magic & ~0xF) != MKBETAG('G', '2', 'M', '0') ||
686         (magic & 0xF) < 2 || (magic & 0xF) > 4) {
687         av_log(avctx, AV_LOG_ERROR, "Wrong magic %08X\n", magic);
688         return AVERROR_INVALIDDATA;
689     }
690
691     if ((magic & 0xF) != 4) {
692         av_log(avctx, AV_LOG_ERROR, "G2M2 and G2M3 are not yet supported\n");
693         return AVERROR(ENOSYS);
694     }
695
696     while (bytestream2_get_bytes_left(&bc) > 5) {
697         chunk_size  = bytestream2_get_le32(&bc) - 1;
698         chunk_type  = bytestream2_get_byte(&bc);
699         chunk_start = bytestream2_tell(&bc);
700         if (chunk_size > bytestream2_get_bytes_left(&bc)) {
701             av_log(avctx, AV_LOG_ERROR, "Invalid chunk size %"PRIu32" type %02X\n",
702                    chunk_size, chunk_type);
703             break;
704         }
705         switch (chunk_type) {
706         case DISPLAY_INFO:
707             c->got_header = 0;
708             if (chunk_size < 21) {
709                 av_log(avctx, AV_LOG_ERROR, "Invalid display info size %"PRIu32"\n",
710                        chunk_size);
711                 break;
712             }
713             c->width  = bytestream2_get_be32(&bc);
714             c->height = bytestream2_get_be32(&bc);
715             if (c->width  < 16 || c->width  > c->orig_width ||
716                 c->height < 16 || c->height > c->orig_height) {
717                 av_log(avctx, AV_LOG_ERROR,
718                        "Invalid frame dimensions %dx%d\n",
719                        c->width, c->height);
720                 ret = AVERROR_INVALIDDATA;
721                 goto header_fail;
722             }
723             if (c->width != avctx->width || c->height != avctx->height) {
724                 ret = ff_set_dimensions(avctx, c->width, c->height);
725                 if (ret < 0)
726                     return ret;
727             }
728             c->compression = bytestream2_get_be32(&bc);
729             if (c->compression != 2 && c->compression != 3) {
730                 av_log(avctx, AV_LOG_ERROR,
731                        "Unknown compression method %d\n",
732                        c->compression);
733                 return AVERROR_PATCHWELCOME;
734             }
735             c->tile_width  = bytestream2_get_be32(&bc);
736             c->tile_height = bytestream2_get_be32(&bc);
737             if (!c->tile_width || !c->tile_height ||
738                 ((c->tile_width | c->tile_height) & 0xF)) {
739                 av_log(avctx, AV_LOG_ERROR,
740                        "Invalid tile dimensions %dx%d\n",
741                        c->tile_width, c->tile_height);
742                 ret = AVERROR_INVALIDDATA;
743                 goto header_fail;
744             }
745             c->tiles_x = (c->width  + c->tile_width  - 1) / c->tile_width;
746             c->tiles_y = (c->height + c->tile_height - 1) / c->tile_height;
747             c->bpp     = bytestream2_get_byte(&bc);
748             if (c->bpp == 32) {
749                 if (bytestream2_get_bytes_left(&bc) < 16 ||
750                     (chunk_size - 21) < 16) {
751                     av_log(avctx, AV_LOG_ERROR,
752                            "Display info: missing bitmasks!\n");
753                     return AVERROR_INVALIDDATA;
754                 }
755                 r_mask = bytestream2_get_be32(&bc);
756                 g_mask = bytestream2_get_be32(&bc);
757                 b_mask = bytestream2_get_be32(&bc);
758                 if (r_mask != 0xFF0000 || g_mask != 0xFF00 || b_mask != 0xFF) {
759                     av_log(avctx, AV_LOG_ERROR,
760                            "Invalid or unsupported bitmasks: R=%"PRIX32", G=%"PRIX32", B=%"PRIX32"\n",
761                            r_mask, g_mask, b_mask);
762                     return AVERROR_PATCHWELCOME;
763                 }
764             } else {
765                 avpriv_request_sample(avctx, "bpp=%d", c->bpp);
766                 return AVERROR_PATCHWELCOME;
767             }
768             if (g2m_init_buffers(c)) {
769                 ret = AVERROR(ENOMEM);
770                 goto header_fail;
771             }
772             got_header = 1;
773             break;
774         case TILE_DATA:
775             if (!c->tiles_x || !c->tiles_y) {
776                 av_log(avctx, AV_LOG_WARNING,
777                        "No display info - skipping tile\n");
778                 break;
779             }
780             if (chunk_size < 2) {
781                 av_log(avctx, AV_LOG_ERROR, "Invalid tile data size %"PRIu32"\n",
782                        chunk_size);
783                 break;
784             }
785             c->tile_x = bytestream2_get_byte(&bc);
786             c->tile_y = bytestream2_get_byte(&bc);
787             if (c->tile_x >= c->tiles_x || c->tile_y >= c->tiles_y) {
788                 av_log(avctx, AV_LOG_ERROR,
789                        "Invalid tile pos %d,%d (in %dx%d grid)\n",
790                        c->tile_x, c->tile_y, c->tiles_x, c->tiles_y);
791                 break;
792             }
793             ret = 0;
794             switch (c->compression) {
795             case COMPR_EPIC_J_B:
796                 av_log(avctx, AV_LOG_ERROR,
797                        "ePIC j-b compression is not implemented yet\n");
798                 return AVERROR(ENOSYS);
799             case COMPR_KEMPF_J_B:
800                 ret = kempf_decode_tile(c, c->tile_x, c->tile_y,
801                                         buf + bytestream2_tell(&bc),
802                                         chunk_size - 2);
803                 break;
804             }
805             if (ret && c->framebuf)
806                 av_log(avctx, AV_LOG_ERROR, "Error decoding tile %d,%d\n",
807                        c->tile_x, c->tile_y);
808             break;
809         case CURSOR_POS:
810             if (chunk_size < 5) {
811                 av_log(avctx, AV_LOG_ERROR, "Invalid cursor pos size %"PRIu32"\n",
812                        chunk_size);
813                 break;
814             }
815             c->cursor_x = bytestream2_get_be16(&bc);
816             c->cursor_y = bytestream2_get_be16(&bc);
817             break;
818         case CURSOR_SHAPE:
819             if (chunk_size < 8) {
820                 av_log(avctx, AV_LOG_ERROR, "Invalid cursor data size %"PRIu32"\n",
821                        chunk_size);
822                 break;
823             }
824             bytestream2_init(&tbc, buf + bytestream2_tell(&bc),
825                              chunk_size - 4);
826             g2m_load_cursor(avctx, c, &tbc);
827             break;
828         case CHUNK_CC:
829         case CHUNK_CD:
830             break;
831         default:
832             av_log(avctx, AV_LOG_WARNING, "Skipping chunk type %02d\n",
833                    chunk_type);
834         }
835
836         /* navigate to next chunk */
837         bytestream2_skip(&bc, chunk_start + chunk_size - bytestream2_tell(&bc));
838     }
839     if (got_header)
840         c->got_header = 1;
841
842     if (c->width && c->height) {
843         if ((ret = ff_get_buffer(avctx, pic, 0)) < 0) {
844             av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
845             return ret;
846         }
847
848         pic->key_frame = got_header;
849         pic->pict_type = got_header ? AV_PICTURE_TYPE_I : AV_PICTURE_TYPE_P;
850
851         for (i = 0; i < avctx->height; i++)
852             memcpy(pic->data[0] + i * pic->linesize[0],
853                    c->framebuf + i * c->framebuf_stride,
854                    c->width * 3);
855         g2m_paint_cursor(c, pic->data[0], pic->linesize[0]);
856
857         *got_picture_ptr = 1;
858     }
859
860     return buf_size;
861
862 header_fail:
863     c->width   =
864     c->height  = 0;
865     c->tiles_x =
866     c->tiles_y = 0;
867     return ret;
868 }
869
870 static av_cold int g2m_decode_init(AVCodecContext *avctx)
871 {
872     G2MContext *const c = avctx->priv_data;
873     int ret;
874
875     if ((ret = jpg_init(avctx, &c->jc)) != 0) {
876         av_log(avctx, AV_LOG_ERROR, "Cannot initialise VLCs\n");
877         jpg_free_context(&c->jc);
878         return AVERROR(ENOMEM);
879     }
880
881     avctx->pix_fmt = AV_PIX_FMT_RGB24;
882
883     // store original sizes and check against those if resize happens
884     c->orig_width  = avctx->width;
885     c->orig_height = avctx->height;
886
887     return 0;
888 }
889
890 static av_cold int g2m_decode_end(AVCodecContext *avctx)
891 {
892     G2MContext *const c = avctx->priv_data;
893
894     jpg_free_context(&c->jc);
895
896     av_freep(&c->kempf_buf);
897     av_freep(&c->kempf_flags);
898     av_freep(&c->synth_tile);
899     av_freep(&c->jpeg_tile);
900     av_freep(&c->cursor);
901     av_freep(&c->framebuf);
902
903     return 0;
904 }
905
906 AVCodec ff_g2m_decoder = {
907     .name           = "g2m",
908     .long_name      = NULL_IF_CONFIG_SMALL("Go2Meeting"),
909     .type           = AVMEDIA_TYPE_VIDEO,
910     .id             = AV_CODEC_ID_G2M,
911     .priv_data_size = sizeof(G2MContext),
912     .init           = g2m_decode_init,
913     .close          = g2m_decode_end,
914     .decode         = g2m_decode_frame,
915     .capabilities   = CODEC_CAP_DR1,
916 };