]> git.sesse.net Git - ffmpeg/blob - libavcodec/mmvideo.c
h264: fix invalid pointer arithmetic
[ffmpeg] / libavcodec / mmvideo.c
1 /*
2  * American Laser Games MM Video Decoder
3  * Copyright (c) 2006,2008 Peter Ross
4  *
5  * This file is part of Libav.
6  *
7  * Libav is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Lesser General Public
9  * License as published by the Free Software Foundation; either
10  * version 2.1 of the License, or (at your option) any later version.
11  *
12  * Libav is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with Libav; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
20  */
21
22 /**
23  * @file
24  * American Laser Games MM Video Decoder
25  * by Peter Ross (pross@xvid.org)
26  *
27  * The MM format was used by IBM-PC ports of ALG's "arcade shooter" games,
28  * including Mad Dog McCree and Crime Patrol.
29  *
30  * Technical details here:
31  *  http://wiki.multimedia.cx/index.php?title=American_Laser_Games_MM
32  */
33
34 #include "libavutil/intreadwrite.h"
35 #include "avcodec.h"
36 #include "bytestream.h"
37
38 #define MM_PREAMBLE_SIZE    6
39
40 #define MM_TYPE_INTER       0x5
41 #define MM_TYPE_INTRA       0x8
42 #define MM_TYPE_INTRA_HH    0xc
43 #define MM_TYPE_INTER_HH    0xd
44 #define MM_TYPE_INTRA_HHV   0xe
45 #define MM_TYPE_INTER_HHV   0xf
46 #define MM_TYPE_PALETTE     0x31
47
48 typedef struct MmContext {
49     AVCodecContext *avctx;
50     AVFrame frame;
51     int palette[AVPALETTE_COUNT];
52     GetByteContext gb;
53 } MmContext;
54
55 static av_cold int mm_decode_init(AVCodecContext *avctx)
56 {
57     MmContext *s = avctx->priv_data;
58
59     s->avctx = avctx;
60
61     avctx->pix_fmt = AV_PIX_FMT_PAL8;
62
63     s->frame.reference = 1;
64
65     return 0;
66 }
67
68 static int mm_decode_pal(MmContext *s)
69 {
70     int i;
71
72     bytestream2_skip(&s->gb, 4);
73     for (i = 0; i < 128; i++) {
74         s->palette[i] = bytestream2_get_be24(&s->gb);
75         s->palette[i+128] = s->palette[i]<<2;
76     }
77
78     return 0;
79 }
80
81 /**
82  * @param half_horiz Half horizontal resolution (0 or 1)
83  * @param half_vert Half vertical resolution (0 or 1)
84  */
85 static int mm_decode_intra(MmContext * s, int half_horiz, int half_vert)
86 {
87     int x = 0, y = 0;
88
89     while (bytestream2_get_bytes_left(&s->gb) > 0) {
90         int run_length, color;
91
92         if (y >= s->avctx->height)
93             return 0;
94
95         color = bytestream2_get_byte(&s->gb);
96         if (color & 0x80) {
97             run_length = 1;
98         }else{
99             run_length = (color & 0x7f) + 2;
100             color = bytestream2_get_byte(&s->gb);
101         }
102
103         if (half_horiz)
104             run_length *=2;
105
106         if (color) {
107             memset(s->frame.data[0] + y*s->frame.linesize[0] + x, color, run_length);
108             if (half_vert)
109                 memset(s->frame.data[0] + (y+1)*s->frame.linesize[0] + x, color, run_length);
110         }
111         x+= run_length;
112
113         if (x >= s->avctx->width) {
114             x=0;
115             y += 1 + half_vert;
116         }
117     }
118
119     return 0;
120 }
121
122 /*
123  * @param half_horiz Half horizontal resolution (0 or 1)
124  * @param half_vert Half vertical resolution (0 or 1)
125  */
126 static int mm_decode_inter(MmContext * s, int half_horiz, int half_vert)
127 {
128     int data_off = bytestream2_get_le16(&s->gb), y;
129     GetByteContext data_ptr;
130
131     if (bytestream2_get_bytes_left(&s->gb) < data_off)
132         return AVERROR_INVALIDDATA;
133
134     bytestream2_init(&data_ptr, s->gb.buffer + data_off, bytestream2_get_bytes_left(&s->gb) - data_off);
135     while (s->gb.buffer < data_ptr.buffer_start) {
136         int i, j;
137         int length = bytestream2_get_byte(&s->gb);
138         int x = bytestream2_get_byte(&s->gb) + ((length & 0x80) << 1);
139         length &= 0x7F;
140
141         if (length==0) {
142             y += x;
143             continue;
144         }
145
146         if (y + half_vert >= s->avctx->height)
147             return 0;
148
149         for(i=0; i<length; i++) {
150             int replace_array = bytestream2_get_byte(&s->gb);
151             for(j=0; j<8; j++) {
152                 int replace = (replace_array >> (7-j)) & 1;
153                 if (replace) {
154                     int color = bytestream2_get_byte(&data_ptr);
155                     s->frame.data[0][y*s->frame.linesize[0] + x] = color;
156                     if (half_horiz)
157                         s->frame.data[0][y*s->frame.linesize[0] + x + 1] = color;
158                     if (half_vert) {
159                         s->frame.data[0][(y+1)*s->frame.linesize[0] + x] = color;
160                         if (half_horiz)
161                             s->frame.data[0][(y+1)*s->frame.linesize[0] + x + 1] = color;
162                     }
163                 }
164                 x += 1 + half_horiz;
165             }
166         }
167
168         y += 1 + half_vert;
169     }
170
171     return 0;
172 }
173
174 static int mm_decode_frame(AVCodecContext *avctx,
175                             void *data, int *data_size,
176                             AVPacket *avpkt)
177 {
178     const uint8_t *buf = avpkt->data;
179     int buf_size = avpkt->size;
180     MmContext *s = avctx->priv_data;
181     int type, res;
182
183     if (buf_size < MM_PREAMBLE_SIZE)
184         return AVERROR_INVALIDDATA;
185     type = AV_RL16(&buf[0]);
186     buf += MM_PREAMBLE_SIZE;
187     buf_size -= MM_PREAMBLE_SIZE;
188     bytestream2_init(&s->gb, buf, buf_size);
189
190     if (avctx->reget_buffer(avctx, &s->frame) < 0) {
191         av_log(avctx, AV_LOG_ERROR, "reget_buffer() failed\n");
192         return -1;
193     }
194
195     switch(type) {
196     case MM_TYPE_PALETTE   : res = mm_decode_pal(s); return buf_size;
197     case MM_TYPE_INTRA     : res = mm_decode_intra(s, 0, 0); break;
198     case MM_TYPE_INTRA_HH  : res = mm_decode_intra(s, 1, 0); break;
199     case MM_TYPE_INTRA_HHV : res = mm_decode_intra(s, 1, 1); break;
200     case MM_TYPE_INTER     : res = mm_decode_inter(s, 0, 0); break;
201     case MM_TYPE_INTER_HH  : res = mm_decode_inter(s, 1, 0); break;
202     case MM_TYPE_INTER_HHV : res = mm_decode_inter(s, 1, 1); break;
203     default:
204         res = AVERROR_INVALIDDATA;
205         break;
206     }
207     if (res < 0)
208         return res;
209
210     memcpy(s->frame.data[1], s->palette, AVPALETTE_SIZE);
211
212     *data_size = sizeof(AVFrame);
213     *(AVFrame*)data = s->frame;
214
215     return buf_size;
216 }
217
218 static av_cold int mm_decode_end(AVCodecContext *avctx)
219 {
220     MmContext *s = avctx->priv_data;
221
222     if(s->frame.data[0])
223         avctx->release_buffer(avctx, &s->frame);
224
225     return 0;
226 }
227
228 AVCodec ff_mmvideo_decoder = {
229     .name           = "mmvideo",
230     .type           = AVMEDIA_TYPE_VIDEO,
231     .id             = AV_CODEC_ID_MMVIDEO,
232     .priv_data_size = sizeof(MmContext),
233     .init           = mm_decode_init,
234     .close          = mm_decode_end,
235     .decode         = mm_decode_frame,
236     .capabilities   = CODEC_CAP_DR1,
237     .long_name      = NULL_IF_CONFIG_SMALL("American Laser Games MM Video"),
238 };