]> git.sesse.net Git - ffmpeg/blob - libavcodec/ljpegenc.c
avcodec/hevc: Check entry_point_offsets
[ffmpeg] / libavcodec / ljpegenc.c
1 /*
2  * lossless JPEG encoder
3  * Copyright (c) 2000, 2001 Fabrice Bellard
4  * Copyright (c) 2003 Alex Beregszaszi
5  * Copyright (c) 2003-2004 Michael Niedermayer
6  *
7  * Support for external huffman table, various fixes (AVID workaround),
8  * aspecting, new decode_frame mechanism and apple mjpeg-b support
9  *                                  by Alex Beregszaszi
10  *
11  * This file is part of FFmpeg.
12  *
13  * FFmpeg is free software; you can redistribute it and/or
14  * modify it under the terms of the GNU Lesser General Public
15  * License as published by the Free Software Foundation; either
16  * version 2.1 of the License, or (at your option) any later version.
17  *
18  * FFmpeg is distributed in the hope that it will be useful,
19  * but WITHOUT ANY WARRANTY; without even the implied warranty of
20  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
21  * Lesser General Public License for more details.
22  *
23  * You should have received a copy of the GNU Lesser General Public
24  * License along with FFmpeg; if not, write to the Free Software
25  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
26  */
27
28 /**
29  * @file
30  * lossless JPEG encoder.
31  */
32
33 #include "libavutil/frame.h"
34 #include "libavutil/mem.h"
35 #include "libavutil/pixdesc.h"
36
37 #include "avcodec.h"
38 #include "idctdsp.h"
39 #include "internal.h"
40 #include "jpegtables.h"
41 #include "mjpegenc_common.h"
42 #include "mjpeg.h"
43 #include "mjpegenc.h"
44
45 typedef struct LJpegEncContext {
46     IDCTDSPContext idsp;
47     ScanTable scantable;
48     uint16_t matrix[64];
49
50     int vsample[4];
51     int hsample[4];
52
53     uint16_t huff_code_dc_luminance[12];
54     uint16_t huff_code_dc_chrominance[12];
55     uint8_t  huff_size_dc_luminance[12];
56     uint8_t  huff_size_dc_chrominance[12];
57
58     uint16_t (*scratch)[4];
59 } LJpegEncContext;
60
61 static int ljpeg_encode_bgr(AVCodecContext *avctx, PutBitContext *pb,
62                             const AVFrame *frame)
63 {
64     LJpegEncContext *s    = avctx->priv_data;
65     const int width       = frame->width;
66     const int height      = frame->height;
67     const int linesize    = frame->linesize[0];
68     uint16_t (*buffer)[4] = s->scratch;
69     const int predictor   = avctx->prediction_method+1;
70     int left[4], top[4], topleft[4];
71     int x, y, i;
72
73     for (i = 0; i < 4; i++)
74         buffer[0][i] = 1 << (9 - 1);
75
76     for (y = 0; y < height; y++) {
77         const int modified_predictor = y ? predictor : 1;
78         uint8_t *ptr = frame->data[0] + (linesize * y);
79
80         if (pb->buf_end - pb->buf - (put_bits_count(pb) >> 3) < width * 4 * 4) {
81             av_log(avctx, AV_LOG_ERROR, "encoded frame too large\n");
82             return -1;
83         }
84
85         for (i = 0; i < 4; i++)
86             top[i]= left[i]= topleft[i]= buffer[0][i];
87
88         for (x = 0; x < width; x++) {
89             if(avctx->pix_fmt == AV_PIX_FMT_BGR24){
90                 buffer[x][1] =  ptr[3 * x + 0] -     ptr[3 * x + 1] + 0x100;
91                 buffer[x][2] =  ptr[3 * x + 2] -     ptr[3 * x + 1] + 0x100;
92                 buffer[x][0] = (ptr[3 * x + 0] + 2 * ptr[3 * x + 1] + ptr[3 * x + 2]) >> 2;
93             }else{
94                 buffer[x][1] =  ptr[4 * x + 0] -     ptr[4 * x + 1] + 0x100;
95                 buffer[x][2] =  ptr[4 * x + 2] -     ptr[4 * x + 1] + 0x100;
96                 buffer[x][0] = (ptr[4 * x + 0] + 2 * ptr[4 * x + 1] + ptr[4 * x + 2]) >> 2;
97                 if (avctx->pix_fmt == AV_PIX_FMT_BGRA)
98                     buffer[x][3] =  ptr[4 * x + 3];
99             }
100
101             for (i = 0; i < 3 + (avctx->pix_fmt == AV_PIX_FMT_BGRA); i++) {
102                 int pred, diff;
103
104                 PREDICT(pred, topleft[i], top[i], left[i], modified_predictor);
105
106                 topleft[i] = top[i];
107                 top[i]     = buffer[x+1][i];
108
109                 left[i]    = buffer[x][i];
110
111                 diff       = ((left[i] - pred + 0x100) & 0x1FF) - 0x100;
112
113                 if (i == 0 || i == 3)
114                     ff_mjpeg_encode_dc(pb, diff, s->huff_size_dc_luminance, s->huff_code_dc_luminance); //FIXME ugly
115                 else
116                     ff_mjpeg_encode_dc(pb, diff, s->huff_size_dc_chrominance, s->huff_code_dc_chrominance);
117             }
118         }
119     }
120
121     return 0;
122 }
123
124 static inline void ljpeg_encode_yuv_mb(LJpegEncContext *s, PutBitContext *pb,
125                                        const AVFrame *frame, int predictor,
126                                        int mb_x, int mb_y)
127 {
128     int i;
129
130     if (mb_x == 0 || mb_y == 0) {
131         for (i = 0; i < 3; i++) {
132             uint8_t *ptr;
133             int x, y, h, v, linesize;
134             h = s->hsample[i];
135             v = s->vsample[i];
136             linesize = frame->linesize[i];
137
138             for (y = 0; y < v; y++) {
139                 for (x = 0; x < h; x++) {
140                     int pred;
141
142                     ptr = frame->data[i] + (linesize * (v * mb_y + y)) + (h * mb_x + x); //FIXME optimize this crap
143                     if (y == 0 && mb_y == 0) {
144                         if (x == 0 && mb_x == 0)
145                             pred = 128;
146                         else
147                             pred = ptr[-1];
148                     } else {
149                         if (x == 0 && mb_x == 0) {
150                             pred = ptr[-linesize];
151                         } else {
152                             PREDICT(pred, ptr[-linesize - 1], ptr[-linesize],
153                                     ptr[-1], predictor);
154                         }
155                     }
156
157                     if (i == 0)
158                         ff_mjpeg_encode_dc(pb, *ptr - pred, s->huff_size_dc_luminance, s->huff_code_dc_luminance); //FIXME ugly
159                     else
160                         ff_mjpeg_encode_dc(pb, *ptr - pred, s->huff_size_dc_chrominance, s->huff_code_dc_chrominance);
161                 }
162             }
163         }
164     } else {
165         for (i = 0; i < 3; i++) {
166             uint8_t *ptr;
167             int x, y, h, v, linesize;
168             h = s->hsample[i];
169             v = s->vsample[i];
170             linesize = frame->linesize[i];
171
172             for (y = 0; y < v; y++) {
173                 for (x = 0; x < h; x++) {
174                     int pred;
175
176                     ptr = frame->data[i] + (linesize * (v * mb_y + y)) + (h * mb_x + x); //FIXME optimize this crap
177                     PREDICT(pred, ptr[-linesize - 1], ptr[-linesize], ptr[-1], predictor);
178
179                     if (i == 0)
180                         ff_mjpeg_encode_dc(pb, *ptr - pred, s->huff_size_dc_luminance, s->huff_code_dc_luminance); //FIXME ugly
181                     else
182                         ff_mjpeg_encode_dc(pb, *ptr - pred, s->huff_size_dc_chrominance, s->huff_code_dc_chrominance);
183                 }
184             }
185         }
186     }
187 }
188
189 static int ljpeg_encode_yuv(AVCodecContext *avctx, PutBitContext *pb,
190                             const AVFrame *frame)
191 {
192     const int predictor = avctx->prediction_method + 1;
193     LJpegEncContext *s  = avctx->priv_data;
194     const int mb_width  = (avctx->width  + s->hsample[0] - 1) / s->hsample[0];
195     const int mb_height = (avctx->height + s->vsample[0] - 1) / s->vsample[0];
196     int mb_x, mb_y;
197
198     for (mb_y = 0; mb_y < mb_height; mb_y++) {
199         if (pb->buf_end - pb->buf - (put_bits_count(pb) >> 3) <
200             mb_width * 4 * 3 * s->hsample[0] * s->vsample[0]) {
201             av_log(avctx, AV_LOG_ERROR, "encoded frame too large\n");
202             return -1;
203         }
204
205         for (mb_x = 0; mb_x < mb_width; mb_x++)
206             ljpeg_encode_yuv_mb(s, pb, frame, predictor, mb_x, mb_y);
207     }
208
209     return 0;
210 }
211
212 static int ljpeg_encode_frame(AVCodecContext *avctx, AVPacket *pkt,
213                               const AVFrame *pict, int *got_packet)
214 {
215     LJpegEncContext *s = avctx->priv_data;
216     PutBitContext pb;
217     const int width  = avctx->width;
218     const int height = avctx->height;
219     const int mb_width  = (width  + s->hsample[0] - 1) / s->hsample[0];
220     const int mb_height = (height + s->vsample[0] - 1) / s->vsample[0];
221     int max_pkt_size = AV_INPUT_BUFFER_MIN_SIZE;
222     int ret, header_bits;
223
224     if(    avctx->pix_fmt == AV_PIX_FMT_BGR0
225         || avctx->pix_fmt == AV_PIX_FMT_BGR24)
226         max_pkt_size += width * height * 3 * 4;
227     else if(avctx->pix_fmt == AV_PIX_FMT_BGRA)
228         max_pkt_size += width * height * 4 * 4;
229     else {
230         max_pkt_size += mb_width * mb_height * 3 * 4
231                         * s->hsample[0] * s->vsample[0];
232     }
233
234     if ((ret = ff_alloc_packet2(avctx, pkt, max_pkt_size, 0)) < 0)
235         return ret;
236
237     init_put_bits(&pb, pkt->data, pkt->size);
238
239     ff_mjpeg_encode_picture_header(avctx, &pb, &s->scantable,
240                                    s->matrix, s->matrix);
241
242     header_bits = put_bits_count(&pb);
243
244     if(    avctx->pix_fmt == AV_PIX_FMT_BGR0
245         || avctx->pix_fmt == AV_PIX_FMT_BGRA
246         || avctx->pix_fmt == AV_PIX_FMT_BGR24)
247         ret = ljpeg_encode_bgr(avctx, &pb, pict);
248     else
249         ret = ljpeg_encode_yuv(avctx, &pb, pict);
250     if (ret < 0)
251         return ret;
252
253     emms_c();
254
255     ff_mjpeg_escape_FF(&pb, header_bits >> 3);
256     ff_mjpeg_encode_picture_trailer(&pb, header_bits);
257
258     flush_put_bits(&pb);
259     pkt->size   = put_bits_ptr(&pb) - pb.buf;
260     pkt->flags |= AV_PKT_FLAG_KEY;
261     *got_packet = 1;
262
263     return 0;
264 }
265
266 static av_cold int ljpeg_encode_close(AVCodecContext *avctx)
267 {
268     LJpegEncContext *s = avctx->priv_data;
269
270     av_freep(&s->scratch);
271
272     return 0;
273 }
274
275 static av_cold int ljpeg_encode_init(AVCodecContext *avctx)
276 {
277     LJpegEncContext *s = avctx->priv_data;
278
279     if ((avctx->pix_fmt == AV_PIX_FMT_YUV420P ||
280          avctx->pix_fmt == AV_PIX_FMT_YUV422P ||
281          avctx->pix_fmt == AV_PIX_FMT_YUV444P ||
282          avctx->color_range == AVCOL_RANGE_MPEG) &&
283         avctx->strict_std_compliance > FF_COMPLIANCE_UNOFFICIAL) {
284         av_log(avctx, AV_LOG_ERROR,
285                "Limited range YUV is non-standard, set strict_std_compliance to "
286                "at least unofficial to use it.\n");
287         return AVERROR(EINVAL);
288     }
289
290 #if FF_API_CODED_FRAME
291 FF_DISABLE_DEPRECATION_WARNINGS
292     avctx->coded_frame->pict_type = AV_PICTURE_TYPE_I;
293     avctx->coded_frame->key_frame = 1;
294 FF_ENABLE_DEPRECATION_WARNINGS
295 #endif
296
297     s->scratch = av_malloc_array(avctx->width + 1, sizeof(*s->scratch));
298     if (!s->scratch)
299         goto fail;
300
301     ff_idctdsp_init(&s->idsp, avctx);
302     ff_init_scantable(s->idsp.idct_permutation, &s->scantable,
303                       ff_zigzag_direct);
304
305     ff_mjpeg_init_hvsample(avctx, s->hsample, s->vsample);
306
307     ff_mjpeg_build_huffman_codes(s->huff_size_dc_luminance,
308                                  s->huff_code_dc_luminance,
309                                  avpriv_mjpeg_bits_dc_luminance,
310                                  avpriv_mjpeg_val_dc);
311     ff_mjpeg_build_huffman_codes(s->huff_size_dc_chrominance,
312                                  s->huff_code_dc_chrominance,
313                                  avpriv_mjpeg_bits_dc_chrominance,
314                                  avpriv_mjpeg_val_dc);
315
316     return 0;
317 fail:
318     ljpeg_encode_close(avctx);
319     return AVERROR(ENOMEM);
320 }
321
322 AVCodec ff_ljpeg_encoder = {
323     .name           = "ljpeg",
324     .long_name      = NULL_IF_CONFIG_SMALL("Lossless JPEG"),
325     .type           = AVMEDIA_TYPE_VIDEO,
326     .id             = AV_CODEC_ID_LJPEG,
327     .priv_data_size = sizeof(LJpegEncContext),
328     .init           = ljpeg_encode_init,
329     .encode2        = ljpeg_encode_frame,
330     .close          = ljpeg_encode_close,
331     .capabilities   = AV_CODEC_CAP_FRAME_THREADS | AV_CODEC_CAP_INTRA_ONLY,
332     .pix_fmts       = (const enum AVPixelFormat[]){
333         AV_PIX_FMT_BGR24   , AV_PIX_FMT_BGRA    , AV_PIX_FMT_BGR0,
334         AV_PIX_FMT_YUVJ420P, AV_PIX_FMT_YUVJ444P, AV_PIX_FMT_YUVJ422P,
335         AV_PIX_FMT_YUV420P , AV_PIX_FMT_YUV444P , AV_PIX_FMT_YUV422P,
336         AV_PIX_FMT_NONE},
337 };