roqvideodec: improve end of input buffer check

This fixes a out of array read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

Merge remote-tracking branch 'qatar/master'

* qatar/master:
  h264: error out on invalid bitdepth.
  aacsbr: use a swap index for the Y matrix rather than copy buffers.
  huffyuv: do not abort on unknown pix_fmt; instead, return an error.
  lcl: return negative error codes on decode_init() errors.
  rtpenc: Use MB info side data for splitting H263 packets for RFC 2190
  h263enc: Add an option for outputting info about MBs as side data
  avpacket: Add a function for shrinking already allocated side data
  nellymoserdec: Saner and faster IMDCT windowing

Conflicts:
doc/APIchanges
libavcodec/avpacket.c
libavcodec/version.h

Merged-by: Michael Niedermayer <michaelni@gmx.at>

vc1: avoid reading beyond the last line in vc1_draw_sprites()

Fixes overread

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

h264: error out on invalid bitdepth.

Fixes invalid reads while initializing the dequant tables, which uses
the bit depth to determine the QP table size.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

aacsbr: use a swap index for the Y matrix rather than copy buffers.

Signed-off-by: Alex Converse <alex.converse@gmail.com>

eatgq: Pass error code from tgq_decode_mb() and let the caller fail.

This fixes a over read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

vc1: fix out of array reads in vc1_inv_trans_4x4_c()

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

vc1: fix out of array reads in vc1_inv_trans_4x8_c()

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

vc1: fix out of array reads in vc1_inv_trans_8x4_c()

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

huffyuv: do not abort on unknown pix_fmt; instead, return an error.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

mpc: Fix mpc_CC table and use.

This is based on the reference implementation and fixes
a global out of array read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

mpc: Fix mpc_SCF use and content.

This fixes a out of global array read.
This change is based on the reference mpc imlementation.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

lcl: return negative error codes on decode_init() errors.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

rtpenc: Use MB info side data for splitting H263 packets for RFC 2190

This makes the packetization spec compliant for cases where one single
GOB doesn't fit into an RTP packet.

Signed-off-by: Martin Storsjö <martin@martin.st>

h263enc: Add an option for outputting info about MBs as side data

Signed-off-by: Martin Storsjö <martin@martin.st>

avpacket: Add a function for shrinking already allocated side data

Signed-off-by: Martin Storsjö <martin@martin.st>

rv34dsp: avoid use of crop table for idct.

Fixes out of array read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

mpegaudiodec: Enable checked bitstream reader.

It appears there are corner cases with damaged input that can lead
to small overreads.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

mpegaudiodec: change granule skip code to avoid false checked bitstream reader errors.

Code ported from qatar/master, please see there for per line authorship.
Main authors AFAIK are Ronald and Justin. I have no authorship on this.

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

svq3dec: fix overread of the cliping table.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

eval: fix infinite loop on opensolaris x86.

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

Merge remote-tracking branch 'qatar/master'

* qatar/master: (58 commits)
  amrnbdec: check frame size before decoding.
  cscd: use negative error values to indicate decode_init() failures.
  h264: prevent overreads in intra PCM decoding.
  FATE: do not decode audio in the nuv test.
  dxa: set audio stream time base using the sample rate
  psx-str: do not allow seeking by bytes
  asfdec: Do not set AVCodecContext.frame_size
  vqf: set packet parameters after av_new_packet()
  mpegaudiodec: use DSPUtil.butterflies_float().
  FATE: add mp3 test for sample that exhibited false overreads
  fate: add cdxl test for bit line plane arrangement
  vmnc: return error on decode_init() failure.
  libvorbis: add/update error messages
  libvorbis: use AVFifoBuffer for output packet buffer
  libvorbis: remove unneeded e_o_s check
  libvorbis: check return values for functions that can return errors
  libvorbis: use float input instead of s16
  libvorbis: do not flush libvorbis analysis if dsp state was not initialized
  libvorbis: use VBR by default, with default quality of 3
  libvorbis: fix use of minrate/maxrate AVOptions
  ...

Conflicts:
Changelog
doc/APIchanges
libavcodec/avcodec.h
libavcodec/dpxenc.c
libavcodec/libvorbis.c
libavcodec/vmnc.c
libavformat/asfdec.c
libavformat/id3v2enc.c
libavformat/internal.h
libavformat/mp3enc.c
libavformat/utils.c
libavformat/version.h
libswscale/utils.c
tests/fate/video.mak
tests/ref/fate/nuv
tests/ref/fate/prores-alpha
tests/ref/lavf/ffm
tests/ref/vsynth1/prores
tests/ref/vsynth2/prores

Merged-by: Michael Niedermayer <michaelni@gmx.at>

nellymoserdec: Saner and faster IMDCT windowing

Signed-off-by: Ronald S. Bultje <rsbultje@gmail.com>

amrnbdec: check frame size before decoding.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org
Signed-off-by: Ronald S. Bultje <rsbultje@gmail.com>

cscd: use negative error values to indicate decode_init() failures.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

h264: prevent overreads in intra PCM decoding.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

FATE: do not decode audio in the nuv test.

We already have sufficient coverage for 16-bit pcm.

dxa: set audio stream time base using the sample rate

psx-str: do not allow seeking by bytes

asfdec: Do not set AVCodecContext.frame_size

vqf: set packet parameters after av_new_packet()

Otherwise the values are overwritten.

lavc: fix 10l oversight in realloc of avcodec_encode_video2.

Packets are not guranteed to be allocated by av_malloc().

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

dca: dont overread dca_default_coeffs.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

dca: Check scale_sum.

Fixes a out of array read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

dca: Check LFEScaleIndex.

Its not clear from the spec what to do with values larger than 127
so iam opting for the safe side and ask for a sample.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

mpegaudiodec: use DSPUtil.butterflies_float().

Signed-off-by: Ronald S. Bultje <rsbultje@gmail.com>

FATE: add mp3 test for sample that exhibited false overreads

related to b7165426917f91ebcad84bdff366824f03b32bfe
Error messages and audible artifacts were fixed in that commit.

fate: add cdxl test for bit line plane arrangement

Signed-off-by: Paul B Mahol <onemda@gmail.com>
Signed-off-by: Justin Ruggles <justin.ruggles@gmail.com>

vmnc: return error on decode_init() failure.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

libvorbis: add/update error messages

also use AVERROR codes for some return values instead of -1

libvorbis: use AVFifoBuffer for output packet buffer

simplifies the code and does less memmove()

libvorbis: remove unneeded e_o_s check

vorbis_bitrate_flushpacket() does not return any packets that should not be
output in the bitstream.

libvorbis: check return values for functions that can return errors

libvorbis: use float input instead of s16

libvorbis takes float input, so we can just deinterleave/reorder the input
as-is instead of also converting.

libvorbis: do not flush libvorbis analysis if dsp state was not initialized

Fixes a segfault if init() fails before initializing the dsp state

libvorbis: use VBR by default, with default quality of 3

libvorbis: fix use of minrate/maxrate AVOptions

- enable the options for audio encoding
- properly check for user-set maxrate
- use correct calling order in vorbis_encode_setup_managed()

libvorbis: cosmetics: renaming/pretty-printing/comments/unused code

(e)ac3enc: select a default bit rate based on the channel layout

ac3enc: choose the closest bit rate to the one requested instead of failing

rpza: error out on buffer overreads.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

qtrle: return error on decode_init() failure.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

swscale: fix another integer overflow.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

dpxenc: Don't include the libavcodec ident if bitexact mode is enabled

This avoids breaking fate every time the lavc version is bumped.

Signed-off-by: Martin Storsjö <martin@martin.st>

encode_video2: shrink packet after encoding.

With the encode2 API, encoders allocate huge packets to be
sure they have enough room (a typical case is mpeg4, which
allocs ~10M for 1280x768 yuv420p) but only actually use a
very small part of the buffer.

rtpenc: Fix setting the max packet size

This fixes cases where the user had specified one desired MTU
via an option, and the protocol indicates another one.

Signed-off-by: Martin Storsjö <martin@martin.st>

Add a minor bump, changelog/APIchanges entry and some documentation for APIC support.

mp3enc: write attached pictures (APIC).

mp3enc: move mp3_write_xing() further up in the file.

It will be need by new functions called from mp3_write_trailer().

id3v2enc: add a function for writing attached pictures.

Unused so far.

id3v2enc: fix writing frame sizes for ID3v2.3

Frame sizes in ID3v2.3 are not synchsafe, they are simply 32be numbers.

In practice this bug is not noticeable unless the frame size takes more
than 7 bits (which is almost never for text frames).

id3v2enc: split ff_id3v2_write().

This will allow writing the tag in several steps, needed for writing
attached pictures.

id3v2enc: make id3v2_put_size take only an AVIOContext.

It has no need of full AVFormatContext.

id3v2: remove unused ff_id3v2_read().

Rename ff_id3v2_read_all to ff_id3v2_read().

lavf: export id3v2 attached pictures as streams.

lavf: generic code for exporting attached pictures.

id3v2: read attached pictures and export them in ID3v2ExtraMeta.

lavf: move CodecMime from matroska.h to internal.h

it will be useful for attached pictures in ID3v2

swfdec: do not set codec timebase.

It is not supposed to be set outside of lavc.

Fixes a divide by zero when the stored framerate is 0.

prores: store and retrieve extended colourspace information

Based on the patch by Phil Barrett.

proresenc: correct edge emulation

Signed-off-by: Kostya Shishkov <kostya.shishkov@gmail.com>

prores: handle 444 chroma in right order

ProRes codes chroma blocks in 444 mode in different order than luma blocks,
so make both decoder and encoder read/write chroma blocks in right order.

Reported by Phil Barrett

mpegvideo_enc: add quantizer_noise_shaping private option.

Deprecate corresponding AVCodecContext field.

lavc: deprecate AVCodecContext.inter_threshold.

It's unused.

lavc: deprecate AVCodecContext.color_table_id.

It's currently only used as temporary storage by the mov demuxer. Make
it use a local variable instead.

avplay: remove an unused variable.

mpegvideo_enc: add chroma/luma_elim_threshold private options.

Deprecate corresponding AVCodecContext fields.

mpegvideo_enc: add cbp_rd flag to mpv_flags.

Deprecate CODEC_FLAG_CBP_RD.

mpegvideo_enc: add qp_rd flag to mpv_flags.

Deprecate CODEC_FLAG_QP_RD.

mpegvideo_enc: add strict_gop flag to mpv_flags.

Deprecate CODEC_FLAG2_STRICT_GOP.

lavc: add -mpv_flags to mpegvideo_enc-based encoders.

Deprecate CODEC_FLAG2_SKIP_RD in favor of the corresponding mpv_flags
flag.

fate: disable deshake test as it isnt binary identical across archs.

probably due to float rounding

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

aacdec: Support stereo streams that erroneously signal predefined channel configuration 1 (mono).

[alex.converse@mgail.com]
Move code to get_che()
Update for AAC new channel configuration interface
Only set chan_config if output_configure succeeds.

Signed-off-by: Alex Converse <alex.converse@gmail.com>

aacdec: Reshuffle functions so get_che() can call set_default_channel_config() and output_configure().

vmnc: Fail if bpp is not recognized instead of crashing.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

get_buffers: Check that pix_fmt is not NONE.

This is somewhat redundant as no decoder should call get_buffer() with such argument.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

alsdec: Check that quantized parcor coeffs are within range.

ALS spec:
11.6.3.1.1 Quantization and encoding of parcor coefficients
...
In all cases the resulting quantized values ak are restricted to the range [-64,63].

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

libpostproc: fix out of array accesses detected by AddressSanitizer.

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

vf_deshake: try to fix memleak

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

fate: switch lavfi-pp targets which need bitexact flags to use them.

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

libpostproc: add bitexact mode, which is needed for regression testing.

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

fate: More libpostproc tests to improve coverage.

Reviewed-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

vp56: error out on invalid stream dimensions.

Prevents crashes when playing corrupt vp5/6 streams.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

cook: avoid out of global array read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

asf: don't seek back on EOF.

Seeking back on EOF will reset the EOF flag, causing us to re-enter
the loop to find the next marker in the ASF file, thus potentially
causing an infinite loop.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

Merge remote-tracking branch 'qatar/master'

* qatar/master:
  adpcm: Clip step_index values read from the bitstream at the beginning of each frame.
  oma: don't read beyond end of leaf_table.
  doxygen: Remove documentation for non-existing parameters; misc small fixes.
  Indeo3: fix crashes on corrupt bitstreams.
  msmpeg4: Replace forward declaration by proper #include.
  segment: implement wrap around
  avf: reorder AVStream and AVFormatContext
  aacdec: Remove erroneous reference to global gain from the out of bounds scalefactor error message.

Conflicts:
libavcodec/indeo3.c
libavformat/avformat.h
libavutil/avutil.h

Merged-by: Michael Niedermayer <michaelni@gmx.at>

asf: error out on ridiculously large minpktsize values.

They cause various issues further down in demuxing.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

adpcm_xa: Check filter validity.

Fixes out of global array read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

adpcm: Clip step_index values read from the bitstream at the beginning of each frame.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind

oma: don't read beyond end of leaf_table.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org