eval: fix infinite loop on opensolaris x86.

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

Merge remote-tracking branch 'qatar/master'

* qatar/master: (58 commits)
  amrnbdec: check frame size before decoding.
  cscd: use negative error values to indicate decode_init() failures.
  h264: prevent overreads in intra PCM decoding.
  FATE: do not decode audio in the nuv test.
  dxa: set audio stream time base using the sample rate
  psx-str: do not allow seeking by bytes
  asfdec: Do not set AVCodecContext.frame_size
  vqf: set packet parameters after av_new_packet()
  mpegaudiodec: use DSPUtil.butterflies_float().
  FATE: add mp3 test for sample that exhibited false overreads
  fate: add cdxl test for bit line plane arrangement
  vmnc: return error on decode_init() failure.
  libvorbis: add/update error messages
  libvorbis: use AVFifoBuffer for output packet buffer
  libvorbis: remove unneeded e_o_s check
  libvorbis: check return values for functions that can return errors
  libvorbis: use float input instead of s16
  libvorbis: do not flush libvorbis analysis if dsp state was not initialized
  libvorbis: use VBR by default, with default quality of 3
  libvorbis: fix use of minrate/maxrate AVOptions
  ...

Conflicts:
Changelog
doc/APIchanges
libavcodec/avcodec.h
libavcodec/dpxenc.c
libavcodec/libvorbis.c
libavcodec/vmnc.c
libavformat/asfdec.c
libavformat/id3v2enc.c
libavformat/internal.h
libavformat/mp3enc.c
libavformat/utils.c
libavformat/version.h
libswscale/utils.c
tests/fate/video.mak
tests/ref/fate/nuv
tests/ref/fate/prores-alpha
tests/ref/lavf/ffm
tests/ref/vsynth1/prores
tests/ref/vsynth2/prores

Merged-by: Michael Niedermayer <michaelni@gmx.at>

amrnbdec: check frame size before decoding.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org
Signed-off-by: Ronald S. Bultje <rsbultje@gmail.com>

cscd: use negative error values to indicate decode_init() failures.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

h264: prevent overreads in intra PCM decoding.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

FATE: do not decode audio in the nuv test.

We already have sufficient coverage for 16-bit pcm.

dxa: set audio stream time base using the sample rate

psx-str: do not allow seeking by bytes

asfdec: Do not set AVCodecContext.frame_size

vqf: set packet parameters after av_new_packet()

Otherwise the values are overwritten.

lavc: fix 10l oversight in realloc of avcodec_encode_video2.

Packets are not guranteed to be allocated by av_malloc().

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

dca: dont overread dca_default_coeffs.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

dca: Check scale_sum.

Fixes a out of array read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

dca: Check LFEScaleIndex.

Its not clear from the spec what to do with values larger than 127
so iam opting for the safe side and ask for a sample.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

mpegaudiodec: use DSPUtil.butterflies_float().

Signed-off-by: Ronald S. Bultje <rsbultje@gmail.com>

FATE: add mp3 test for sample that exhibited false overreads

related to b7165426917f91ebcad84bdff366824f03b32bfe
Error messages and audible artifacts were fixed in that commit.

fate: add cdxl test for bit line plane arrangement

Signed-off-by: Paul B Mahol <onemda@gmail.com>
Signed-off-by: Justin Ruggles <justin.ruggles@gmail.com>

vmnc: return error on decode_init() failure.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

libvorbis: add/update error messages

also use AVERROR codes for some return values instead of -1

libvorbis: use AVFifoBuffer for output packet buffer

simplifies the code and does less memmove()

libvorbis: remove unneeded e_o_s check

vorbis_bitrate_flushpacket() does not return any packets that should not be
output in the bitstream.

libvorbis: check return values for functions that can return errors

libvorbis: use float input instead of s16

libvorbis takes float input, so we can just deinterleave/reorder the input
as-is instead of also converting.

libvorbis: do not flush libvorbis analysis if dsp state was not initialized

Fixes a segfault if init() fails before initializing the dsp state

libvorbis: use VBR by default, with default quality of 3

libvorbis: fix use of minrate/maxrate AVOptions

- enable the options for audio encoding
- properly check for user-set maxrate
- use correct calling order in vorbis_encode_setup_managed()

libvorbis: cosmetics: renaming/pretty-printing/comments/unused code

(e)ac3enc: select a default bit rate based on the channel layout

ac3enc: choose the closest bit rate to the one requested instead of failing

rpza: error out on buffer overreads.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

qtrle: return error on decode_init() failure.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

swscale: fix another integer overflow.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

dpxenc: Don't include the libavcodec ident if bitexact mode is enabled

This avoids breaking fate every time the lavc version is bumped.

Signed-off-by: Martin Storsjö <martin@martin.st>

encode_video2: shrink packet after encoding.

With the encode2 API, encoders allocate huge packets to be
sure they have enough room (a typical case is mpeg4, which
allocs ~10M for 1280x768 yuv420p) but only actually use a
very small part of the buffer.

rtpenc: Fix setting the max packet size

This fixes cases where the user had specified one desired MTU
via an option, and the protocol indicates another one.

Signed-off-by: Martin Storsjö <martin@martin.st>

Add a minor bump, changelog/APIchanges entry and some documentation for APIC support.

mp3enc: write attached pictures (APIC).

mp3enc: move mp3_write_xing() further up in the file.

It will be need by new functions called from mp3_write_trailer().

id3v2enc: add a function for writing attached pictures.

Unused so far.

id3v2enc: fix writing frame sizes for ID3v2.3

Frame sizes in ID3v2.3 are not synchsafe, they are simply 32be numbers.

In practice this bug is not noticeable unless the frame size takes more
than 7 bits (which is almost never for text frames).

id3v2enc: split ff_id3v2_write().

This will allow writing the tag in several steps, needed for writing
attached pictures.

id3v2enc: make id3v2_put_size take only an AVIOContext.

It has no need of full AVFormatContext.

id3v2: remove unused ff_id3v2_read().

Rename ff_id3v2_read_all to ff_id3v2_read().

lavf: export id3v2 attached pictures as streams.

lavf: generic code for exporting attached pictures.

id3v2: read attached pictures and export them in ID3v2ExtraMeta.

lavf: move CodecMime from matroska.h to internal.h

it will be useful for attached pictures in ID3v2

swfdec: do not set codec timebase.

It is not supposed to be set outside of lavc.

Fixes a divide by zero when the stored framerate is 0.

prores: store and retrieve extended colourspace information

Based on the patch by Phil Barrett.

proresenc: correct edge emulation

Signed-off-by: Kostya Shishkov <kostya.shishkov@gmail.com>

prores: handle 444 chroma in right order

ProRes codes chroma blocks in 444 mode in different order than luma blocks,
so make both decoder and encoder read/write chroma blocks in right order.

Reported by Phil Barrett

mpegvideo_enc: add quantizer_noise_shaping private option.

Deprecate corresponding AVCodecContext field.

lavc: deprecate AVCodecContext.inter_threshold.

It's unused.

lavc: deprecate AVCodecContext.color_table_id.

It's currently only used as temporary storage by the mov demuxer. Make
it use a local variable instead.

avplay: remove an unused variable.

mpegvideo_enc: add chroma/luma_elim_threshold private options.

Deprecate corresponding AVCodecContext fields.

mpegvideo_enc: add cbp_rd flag to mpv_flags.

Deprecate CODEC_FLAG_CBP_RD.

mpegvideo_enc: add qp_rd flag to mpv_flags.

Deprecate CODEC_FLAG_QP_RD.

mpegvideo_enc: add strict_gop flag to mpv_flags.

Deprecate CODEC_FLAG2_STRICT_GOP.

lavc: add -mpv_flags to mpegvideo_enc-based encoders.

Deprecate CODEC_FLAG2_SKIP_RD in favor of the corresponding mpv_flags
flag.

fate: disable deshake test as it isnt binary identical across archs.

probably due to float rounding

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

aacdec: Support stereo streams that erroneously signal predefined channel configuration 1 (mono).

[alex.converse@mgail.com]
Move code to get_che()
Update for AAC new channel configuration interface
Only set chan_config if output_configure succeeds.

Signed-off-by: Alex Converse <alex.converse@gmail.com>

aacdec: Reshuffle functions so get_che() can call set_default_channel_config() and output_configure().

vmnc: Fail if bpp is not recognized instead of crashing.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

get_buffers: Check that pix_fmt is not NONE.

This is somewhat redundant as no decoder should call get_buffer() with such argument.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

alsdec: Check that quantized parcor coeffs are within range.

ALS spec:
11.6.3.1.1 Quantization and encoding of parcor coefficients
...
In all cases the resulting quantized values ak are restricted to the range [-64,63].

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

libpostproc: fix out of array accesses detected by AddressSanitizer.

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

vf_deshake: try to fix memleak

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

fate: switch lavfi-pp targets which need bitexact flags to use them.

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

libpostproc: add bitexact mode, which is needed for regression testing.

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

fate: More libpostproc tests to improve coverage.

Reviewed-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

vp56: error out on invalid stream dimensions.

Prevents crashes when playing corrupt vp5/6 streams.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

cook: avoid out of global array read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

asf: don't seek back on EOF.

Seeking back on EOF will reset the EOF flag, causing us to re-enter
the loop to find the next marker in the ASF file, thus potentially
causing an infinite loop.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

Merge remote-tracking branch 'qatar/master'

* qatar/master:
  adpcm: Clip step_index values read from the bitstream at the beginning of each frame.
  oma: don't read beyond end of leaf_table.
  doxygen: Remove documentation for non-existing parameters; misc small fixes.
  Indeo3: fix crashes on corrupt bitstreams.
  msmpeg4: Replace forward declaration by proper #include.
  segment: implement wrap around
  avf: reorder AVStream and AVFormatContext
  aacdec: Remove erroneous reference to global gain from the out of bounds scalefactor error message.

Conflicts:
libavcodec/indeo3.c
libavformat/avformat.h
libavutil/avutil.h

Merged-by: Michael Niedermayer <michaelni@gmx.at>

asf: error out on ridiculously large minpktsize values.

They cause various issues further down in demuxing.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

adpcm_xa: Check filter validity.

Fixes out of global array read.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

adpcm: Clip step_index values read from the bitstream at the beginning of each frame.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind

oma: don't read beyond end of leaf_table.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

doxygen: Remove documentation for non-existing parameters; misc small fixes.

mxfdec: set pixel format for cdci picture formats

The properties of the CDCI Descriptor are insufficient to specify
the pixel format for uncompressed picture data. SMPTE 377-1 and
RP224v10 have defined a set of picture coding labels to indicate what
formatting was used.

This patch uses 2 labels to detect UYVY422 or YUYV422 pixel formats.

It defaults to UYVY422 for 8-bit 4:2:2 pictures to support files
that were created before the coding labels were introduced ~2008

The codec pix_fmt default was changed from 0 (PIX_FMT_YUV420P) to
-1 (PIX_FMT_NONE)

Reviewed-by: Baptiste Coudurier <baptiste.coudurier@gmail.com>
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

mxfdec: detect uncomp pictures using essence container ul

This supports detection of uncompressed picture in files that
didn't include a Picture Coding Label. The lables weren't
available until SMPTE 377-1 and RP224v10

Reviewed-by: Baptiste Coudurier <baptiste.coudurier@gmail.com>
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

mxf: add uncompressed 422 8-bit rawvideo label

Reviewed-by: Baptiste Coudurier <baptiste.coudurier@gmail.com>
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

mxfdec: set track edit rate num/den in expected order

This matches the order used for the index table edit rate.

Reviewed-by: Baptiste Coudurier <baptiste.coudurier@gmail.com>
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

mxf: fix v210 label matching len

Must check all 16 bytes because there is a planar 10-bit format
label that has equal first 15 bytes

Review-by: Baptiste Coudurier <baptiste.coudurier@gmail.com>
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

cook: add const to quant_index_table of categorize()

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

Indeo3: fix crashes on corrupt bitstreams.

Splits at borders of cells are invalid, since it leaves one of the
cells with a width/height of zero. Also, propagate errors on buffer
allocation failures, so we don't continue decoding (which crashes).

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

omadec: Fix wrong number of array elements.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

ffmpeg: Fix division by 0 due to invalid timebase

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

add v210 to intra only list to allow "-vcodec copy"

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

tests: add libpostproc test

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

msmpeg4: Replace forward declaration by proper #include.

segment: implement wrap around

Provide a way to wrap around the segment index so pseudostreaming
live through a web server and html5 browser is simpler.

Also ensure that 0 (disable) is a valid value across the options
providing wrap around.

avf: reorder AVStream and AVFormatContext

pmpdec: Check for zero audio packets.

This fixes a division by 0.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

Merge remote-tracking branch 'qatar/master'

* qatar/master:
  avcodec_default_reget_buffer(): fix compilation in DEBUG mode
  fate: Overhaul WavPack coverage
  h264: fix mmxext chroma deblock to use correct TC values.
  flvdec: Remove the now redundant check for known broken metadata creator
  flvdec: Validate index entries added from metadata while reading
  rtsp: Handle requests from server to client
  movenc: use timestamps instead of frame_size for samples-per-packet
  movenc: use the first cluster duration as the tfhd default duration
  movenc: factorize calculation of cluster duration into a separate function
  doc/APIchanges: fill in missing dates and hashes.
  lavc: reorder AVCodecContext fields.
  lavc: reorder AVFrame fields.

Conflicts:
doc/APIchanges
libavcodec/avcodec.h
libavformat/flvdec.c
libavformat/movenc.c
tests/fate/lossless-audio.mak

Merged-by: Michael Niedermayer <michaelni@gmx.at>

aacdec: Remove erroneous reference to global gain from the out of bounds scalefactor error message.

libpostproc: add pp=help support to print the help text via av_log()

Signed-off-by: Michael Niedermayer <michaelni@gmx.at>

avcodec_default_reget_buffer(): fix compilation in DEBUG mode

Exit ffmpeg if swr_convert() fails.