]> git.sesse.net Git - ffmpeg/blobdiff - libavcodec/faxcompr.c
libopusdec: fix out-of-bounds read
[ffmpeg] / libavcodec / faxcompr.c
index f8a8b938415b7021dc9375324802f1ee25703ae8..8a9010d40c08c34d82c057f0cb1fc5481ff2d2cf 100644 (file)
@@ -2,30 +2,31 @@
  * CCITT Fax Group 3 and 4 decompression
  * Copyright (c) 2008 Konstantin Shishkov
  *
- * This file is part of FFmpeg.
+ * This file is part of Libav.
  *
- * FFmpeg is free software; you can redistribute it and/or
+ * Libav is free software; you can redistribute it and/or
  * modify it under the terms of the GNU Lesser General Public
  * License as published by the Free Software Foundation; either
  * version 2.1 of the License, or (at your option) any later version.
  *
- * FFmpeg is distributed in the hope that it will be useful,
+ * Libav is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  * Lesser General Public License for more details.
  *
  * You should have received a copy of the GNU Lesser General Public
- * License along with FFmpeg; if not, write to the Free Software
+ * License along with Libav; if not, write to the Free Software
  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  */
 
 /**
+ * @file
  * CCITT Fax Group 3 and 4 decompression
- * @file faxcompr.c
  * @author Konstantin Shishkov
  */
 #include "avcodec.h"
 #include "bitstream.h"
+#include "put_bits.h"
 #include "faxcompr.h"
 
 #define CCITT_SYMS 104
@@ -95,25 +96,25 @@ static const uint8_t ccitt_group3_2d_lens[11] = {
 
 static VLC ccitt_vlc[2], ccitt_group3_2d_vlc;
 
-av_cold void ff_ccitt_unpack_init()
+av_cold void ff_ccitt_unpack_init(void)
 {
     static VLC_TYPE code_table1[528][2];
     static VLC_TYPE code_table2[648][2];
     int i;
     static int initialized = 0;
 
-    if(initialized)
+    if (initialized)
         return;
     ccitt_vlc[0].table = code_table1;
     ccitt_vlc[0].table_allocated = 528;
     ccitt_vlc[1].table = code_table2;
     ccitt_vlc[1].table_allocated = 648;
-    for(i = 0; i < 2; i++){
-        init_vlc_sparse(&ccitt_vlc[i], 9, CCITT_SYMS,
-                        ccitt_codes_lens[i], 1, 1,
-                        ccitt_codes_bits[i], 1, 1,
-                        ccitt_syms, 2, 2,
-                        INIT_VLC_USE_NEW_STATIC);
+    for (i = 0; i < 2; i++) {
+        ff_init_vlc_sparse(&ccitt_vlc[i], 9, CCITT_SYMS,
+                           ccitt_codes_lens[i], 1, 1,
+                           ccitt_codes_bits[i], 1, 1,
+                           ccitt_syms, 2, 2,
+                           INIT_VLC_USE_NEW_STATIC);
     }
     INIT_VLC_STATIC(&ccitt_group3_2d_vlc, 9, 11,
                     ccitt_group3_2d_lens, 1, 1,
@@ -122,106 +123,116 @@ av_cold void ff_ccitt_unpack_init()
 }
 
 
-static int decode_group3_1d_line(AVCodecContext *avctx, GetBitContext *gb,
-                                 int pix_left, int *runs)
+static int decode_group3_1d_line(AVCodecContext *avctx, BitstreamContext *bc,
+                                 unsigned int pix_left, int *runs,
+                                 const int *runend)
 {
-    int mode = 0, run = 0;
+    int mode         = 0;
+    unsigned int run = 0;
     unsigned int t;
-    for(;;){
-        t = get_vlc2(gb, ccitt_vlc[mode].table, 9, 2);
+    for (;;) {
+        t    = bitstream_read_vlc(bc, ccitt_vlc[mode].table, 9, 2);
         run += t;
-        if(t < 64){
-            pix_left -= run;
+        if (t < 64) {
             *runs++ = run;
-            if(pix_left <= 0){
-                if(!pix_left)
+            if (runs >= runend) {
+                av_log(avctx, AV_LOG_ERROR, "Run overrun\n");
+                return AVERROR_INVALIDDATA;
+            }
+            if (pix_left <= run) {
+                if (pix_left == run)
                     break;
-                runs[-1] += pix_left;
                 av_log(avctx, AV_LOG_ERROR, "Run went out of bounds\n");
-                return -1;
+                return AVERROR_INVALIDDATA;
             }
-            run = 0;
-            mode = !mode;
-        }else if((int)t == -1){
+            pix_left -= run;
+            run       = 0;
+            mode      = !mode;
+        } else if ((int)t == -1) {
             av_log(avctx, AV_LOG_ERROR, "Incorrect code\n");
-            return -1;
+            return AVERROR_INVALIDDATA;
         }
     }
     *runs++ = 0;
     return 0;
 }
 
-static int decode_group3_2d_line(AVCodecContext *avctx, GetBitContext *gb,
-                                 int pix_left, int *runs, const int *ref)
+static int decode_group3_2d_line(AVCodecContext *avctx, BitstreamContext *bc,
+                                 unsigned int width, int *runs,
+                                 const int *runend, const int *ref)
 {
-    int mode = 0, offs = 0, run = 0, saved_run = 0, t;
-    int run_off = *ref++;
-    int *run_start = runs;
+    int mode          = 0, saved_run = 0, t;
+    int run_off       = *ref++;
+    unsigned int offs = 0, run = 0;
+
+    runend--; // for the last written 0
 
-    while(pix_left > 0){
-        int cmode = get_vlc2(gb, ccitt_group3_2d_vlc.table, 9, 1);
-        if(cmode == -1){
+    while (offs < width) {
+        int cmode = bitstream_read_vlc(bc, ccitt_group3_2d_vlc.table, 9, 1);
+        if (cmode == -1) {
             av_log(avctx, AV_LOG_ERROR, "Incorrect mode VLC\n");
-            return -1;
-        }
-        //sync line pointers
-        if(runs != run_start)while(run_off <= offs && run_off < avctx->width){
-            run_off += *ref++;
-            run_off += *ref++;
+            return AVERROR_INVALIDDATA;
         }
-        if(!cmode){//pass mode
+        if (!cmode) { //pass mode
             run_off += *ref++;
-            run = run_off - offs;
+            run      = run_off - offs;
+            offs     = run_off;
             run_off += *ref++;
-            pix_left -= run;
-            if(pix_left < 0){
+            if (offs > width) {
                 av_log(avctx, AV_LOG_ERROR, "Run went out of bounds\n");
-                return -1;
+                return AVERROR_INVALIDDATA;
             }
-            offs += run;
             saved_run += run;
-        }else if(cmode == 1){//horizontal mode
+        } else if (cmode == 1) { //horizontal mode
             int k;
-            for(k = 0; k < 2; k++){
+            for (k = 0; k < 2; k++) {
                 run = 0;
-                for(;;){
-                    t = get_vlc2(gb, ccitt_vlc[mode].table, 9, 2);
-                    if(t == -1){
+                for (;;) {
+                    t = bitstream_read_vlc(bc, ccitt_vlc[mode].table, 9, 2);
+                    if (t == -1) {
                         av_log(avctx, AV_LOG_ERROR, "Incorrect code\n");
-                        return -1;
+                        return AVERROR_INVALIDDATA;
                     }
                     run += t;
-                    if(t < 64)
+                    if (t < 64)
                         break;
                 }
                 *runs++ = run + saved_run;
+                if (runs >= runend) {
+                    av_log(avctx, AV_LOG_ERROR, "Run overrun\n");
+                    return AVERROR_INVALIDDATA;
+                }
                 saved_run = 0;
-                if(pix_left < run){
+                offs     += run;
+                if (offs > width || run > width) {
                     av_log(avctx, AV_LOG_ERROR, "Run went out of bounds\n");
-                    return -1;
+                    return AVERROR_INVALIDDATA;
                 }
-                pix_left -= run;
-                offs += run;
                 mode = !mode;
             }
-        }else if(cmode == 9 || cmode == 10){
-            av_log(avctx, AV_LOG_ERROR, "Special modes are not supported (yet)\n");
-            return -1;
-        }else{//vertical mode
-            run = run_off - offs + (cmode - 5);
-            if(cmode >= 5)
-                run_off += *ref++;
-            else
-                run_off -= *--ref;
-            pix_left -= run;
-            if(pix_left < 0){
+        } else if (cmode == 9 || cmode == 10) {
+            avpriv_report_missing_feature(avctx, "Special modes support");
+            return AVERROR_PATCHWELCOME;
+        } else { //vertical mode
+            run      = run_off - offs + (cmode - 5);
+            run_off -= *--ref;
+            offs    += run;
+            if (offs > width || run > width) {
                 av_log(avctx, AV_LOG_ERROR, "Run went out of bounds\n");
-                return -1;
+                return AVERROR_INVALIDDATA;
             }
-            offs += run;
             *runs++ = run + saved_run;
+            if (runs >= runend) {
+                av_log(avctx, AV_LOG_ERROR, "Run overrun\n");
+                return AVERROR_INVALIDDATA;
+            }
             saved_run = 0;
-            mode = !mode;
+            mode      = !mode;
+        }
+        //sync line pointers
+        while (run_off <= offs) {
+            run_off += *ref++;
+            run_off += *ref++;
         }
     }
     *runs++ = saved_run;
@@ -234,97 +245,86 @@ static void put_line(uint8_t *dst, int size, int width, const int *runs)
     PutBitContext pb;
     int run, mode = ~0, pix_left = width, run_idx = 0;
 
-    init_put_bits(&pb, dst, size*8);
-    while(pix_left > 0){
-        run = runs[run_idx++];
-        mode = ~mode;
+    init_put_bits(&pb, dst, size * 8);
+    while (pix_left > 0) {
+        run       = runs[run_idx++];
+        mode      = ~mode;
         pix_left -= run;
-        for(; run > 16; run -= 16)
+        for (; run > 16; run -= 16)
             put_sbits(&pb, 16, mode);
-        if(run)
+        if (run)
             put_sbits(&pb, run, mode);
     }
+    flush_put_bits(&pb);
 }
 
-static int find_group3_syncmarker(GetBitContext *gb, int srcsize)
+static int find_group3_syncmarker(BitstreamContext *bc, int srcsize)
 {
     unsigned int state = -1;
-    srcsize -= get_bits_count(gb);
-    while(srcsize-- > 0){
-        state+= state + get_bits1(gb);
-        if((state & 0xFFF) == 1)
+    srcsize -= bitstream_tell(bc);
+    while (srcsize-- > 0) {
+        state += state + bitstream_read_bit(bc);
+        if ((state & 0xFFF) == 1)
             return 0;
     }
     return -1;
 }
 
-int ff_ccitt_unpack_1d(AVCodecContext *avctx,
-                       const uint8_t *src, int srcsize,
-                       uint8_t *dst, int height, int stride)
-{
-    int j;
-    GetBitContext gb;
-    int *runs, *last;
-
-    runs = av_malloc(avctx->width * sizeof(runs[0]));
-    last = av_malloc(avctx->width * sizeof(last[0]));
-    init_get_bits(&gb, src, srcsize*8);
-    for(j = 0; j < height; j++){
-        if(find_group3_syncmarker(&gb, srcsize*8) < 0)
-            break;
-        if(decode_group3_1d_line(avctx, &gb, avctx->width, runs) < 0){
-            put_line(dst, stride, avctx->width, last);
-        }else{
-            put_line(dst, stride, avctx->width, runs);
-            FFSWAP(int*, last, runs);
-        }
-        dst += stride;
-    }
-    av_free(runs);
-    av_free(last);
-    return 0;
-}
-
-int ff_ccitt_unpack_2d(AVCodecContext *avctx,
-                       const uint8_t *src, int srcsize,
-                       uint8_t *dst, int height, int stride, int g4)
+int ff_ccitt_unpack(AVCodecContext *avctx, const uint8_t *src, int srcsize,
+                    uint8_t *dst, int height, int stride,
+                    enum TiffCompr compr, int opts)
 {
     int j;
-    GetBitContext gb;
-    int *runs, *ref;
+    BitstreamContext bc;
+    int *runs, *ref = NULL, *runend;
     int ret;
+    int runsize = avctx->width + 2;
 
-    runs = av_malloc((avctx->width + 2) * sizeof(runs[0]));
-    ref  = av_malloc((avctx->width + 2) * sizeof(ref[0]));
+    runs = av_malloc(runsize * sizeof(runs[0]));
+    ref  = av_malloc(runsize * sizeof(ref[0]));
+    if (!runs || !ref) {
+        ret = AVERROR(ENOMEM);
+        goto fail;
+    }
     ref[0] = avctx->width;
     ref[1] = 0;
     ref[2] = 0;
-    init_get_bits(&gb, src, srcsize*8);
-    for(j = 0; j < height; j++){
-        if(g4){
-            ret = decode_group3_2d_line(avctx, &gb, avctx->width, runs, ref);
-            if(ret < 0){
-                av_free(runs);
-                av_free(ref);
-                return -1;
-            }
-        }else{
-            if(find_group3_syncmarker(&gb, srcsize*8) < 0)
+    bitstream_init(&bc, src, srcsize * 8);
+    for (j = 0; j < height; j++) {
+        runend = runs + runsize;
+        if (compr == TIFF_G4) {
+            ret = decode_group3_2d_line(avctx, &bc, avctx->width, runs, runend,
+                                        ref);
+            if (ret < 0)
+                goto fail;
+        } else {
+            int g3d1 = (compr == TIFF_G3) && !(opts & 1);
+            if (compr != TIFF_CCITT_RLE &&
+                find_group3_syncmarker(&bc, srcsize * 8) < 0)
                 break;
-            if(get_bits1(&gb))
-                ret = decode_group3_1d_line(avctx, &gb, avctx->width, runs);
+            if (compr == TIFF_CCITT_RLE || g3d1 || bitstream_read_bit(&bc))
+                ret = decode_group3_1d_line(avctx, &bc, avctx->width, runs,
+                                            runend);
             else
-                ret = decode_group3_2d_line(avctx, &gb, avctx->width, runs, ref);
+                ret = decode_group3_2d_line(avctx, &bc, avctx->width, runs,
+                                            runend, ref);
+            if (compr == TIFF_CCITT_RLE)
+                bitstream_align(&bc);
         }
-        if(ret < 0){
+        if (avctx->err_recognition & AV_EF_EXPLODE && ret < 0)
+            goto fail;
+
+        if (ret < 0) {
             put_line(dst, stride, avctx->width, ref);
-        }else{
+        } else {
             put_line(dst, stride, avctx->width, runs);
-            FFSWAP(int*, runs, ref);
+            FFSWAP(int *, runs, ref);
         }
         dst += stride;
     }
+    ret = 0;
+fail:
     av_free(runs);
     av_free(ref);
-    return 0;
+    return ret;
 }