mpegaudioenc: return AVERROR codes instead of -1

libfaac: improve error checking and handling in Faac_encode_init()

avutil: add AVERROR_UNKNOWN

Useful to return instead of -1 when the cause of the error is unknown,
typically from an external library.

check for coded_frame allocation failure in several audio encoders

audio encoders: do not set coded_frame->key_frame.

it is already set in avcodec_alloc_frame()

g722enc: check for trellis data allocation error

libspeexenc: export encoder delay through AVCodecContext.delay

avcodec: document the use of AVCodecContext.delay for audio encoders

kgv1: release reference picture on size change.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

matroska: don't overwrite string values until read/alloc was succesful.

This prevents certain tags with a default value assigned to them (as per
the EBML syntax elements) from ever being assigned a NULL value. Other
parts of the code rely on these being non-NULL (i.e. they don't check for
NULL before e.g. using the string in strcmp() or similar), and thus in
effect this prevents crashes when reading of such specific tags fails,
either because of low memory or because of targeted file corruption.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

lavc: merge two if()s with the same condition.

lavc: factorize setting got_packet_ptr in avcodec_encode_video2()

lavc: signal no output when a NULL frame is passed to audio encoder without delay

xwdenc: fix monow encoding

Signed-off-by: Paul B Mahol <onemda@gmail.com>
Signed-off-by: Anton Khirnov <anton@khirnov.net>

fate: add tests for cdxl video

Signed-off-by: Paul B Mahol <onemda@gmail.com>
Signed-off-by: Justin Ruggles <justin.ruggles@gmail.com>

cdxl: fix ham6/8 on big endian

Signed-off-by: Paul B Mahol <onemda@gmail.com>
Signed-off-by: Justin Ruggles <justin.ruggles@gmail.com>

swscale: fix another integer overflow at large dimensions/rescales.

vorbisdec: add a flush() function

clear MDCT overlap buffer and reset previous window mode when seeking

fraps: release reference buffer on pix_fmt change.

Prevents crash when trying to copy from a non-existing plane in e.g.
a RGB32 reference image to a YUV420P target image

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

avcodec: disallow reget_buffer() if pix_fmt changed.

kgv1: use avctx->get/release_buffer().

Also fixes crashes on corrupt bitstreams.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

docs: use -bsf:[vas] instead of -[vas]bsf.

The latter syntax is now invalid.

Signed-off-by: Anton Khirnov <anton@khirnov.net>

mpegaudiodec: Prevent premature clipping of mp3 input buffer.

Instead of clipping extrasize based on EXTRABYTES, clip based on the
amount of buffer actually left. Without this fix, there are warbles
and other distortions in the test case below.

http://kevincennis.com/mix/assets/sounds/1901_voxfx.mp3

lavf: move the packet keyframe setting code.

compute_pkt_fields() is for unreliable estimates or guessing. The
keyframe information from the parser is (at least in theory) reliable,
so it should be used even when the other guessing is disabled with the
AVFMT_FLAG_NOFILLIN flag.

Therefore, move setting the packet keyframe flag based on parser
information from compute_pkt_fields() to read_frame_internal().

oggenc: free comment header for all codecs

fixes a memleak for Vorbis and Theora, where the comment header from
avpriv_split_xiph_headers() is replaced by a buffer that must be freed
separately.

lcl: error out if uncompressed input buffer is smaller than framesize.

This prevents crashes when trying to read beyond the end of the buffer
while decoding frame data.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

mjpeg: abort decoding if packet is too large.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

golomb: use HAVE_BITS_REMAINING() macro to prevent infloop on EOF.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

get_bits: add HAVE_BITS_REMAINING macro.

lavf/output-example: use new audio encoding API correctly.

lavf/output-example: more proper usage of the new API.

Passing the codec into avformat_new_stream() is preferred.

tiff: Prevent overreads in the type_sizes array.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

tiff: Make the TIFF_LONG and TIFF_SHORT types unsigned.

TIFF v6.0 (unimplemented) adds signed equivalents.

apetag: do not leak memory if avio_read() fails

Signed-off-by: Paul B Mahol <onemda@gmail.com>
Signed-off-by: Ronald S. Bultje <rsbultje@gmail.com>

apetag: propagate errors.

Fixes crashes if reading the tag value fails.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

SBR DSP x86: implement SSE sbr_hf_g_filt

Unrolling the main loop to process, instead of 4 elements:
- 8: minor gain of 2 cycles (not worth the extra object size)
- 2: loss of 8 cycles.

Assigning STEP to a register is a loss. Output address (Y) is almost always
unaligned.

Timings:
- C (32/64 bits): 117/109 cycles
- SSE: 57 cycles

Signed-off-by: Ronald S. Bultje <rsbultje@gmail.com>

SBR DSP x86: implement SSE sbr_sum_square_sse

The 32bits targets have been compiled with -mfpmath=sse for proper reference.
sbr_sum_square C  /32bits: 82c (unrolled)/102c
               C  /64bits: 69c (unrolled)/82c
               SSE/32bits: 42c
               SSE/64bits: 31c

Use of SSE4.1 dpps to perform the final sum is slower.
Not unrolling to perform 8 operations in a loop yields 10 more cycles.

Signed-off-by: Ronald S. Bultje <rsbultje@gmail.com>

SBR DSP: use intptr_t for the ixh parameter.

Signed-off-by: Ronald S. Bultje <rsbultje@gmail.com>

swf: check return values for av_get/new_packet().

Prevents crashers when using the packet if allocation failed.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

wavpack: Don't shift minclip/maxclip

Since we are clipping before we shift the values to
16 or 32 bits, we should not shift the min/max clip
values to compensate.

Fixes 8 and 24 bit lossy decoding.

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>
Signed-off-by: Anton Khirnov <anton@khirnov.net>

rtpenc: Expose the max packet size via an avoption

This allows opting for a lower MTU than what the AVIOContext
indicated, and allows writing into outputs that don't indicate
an MTU at all (such as plain files, which is useful for testing).

This also allows querying for the MTU via the avoption.

Signed-off-by: Martin Storsjö <martin@martin.st>

rtpenc: Move max_packet_size to a context variable

This is in preparation for exposing this via an avoption.

Signed-off-by: Martin Storsjö <martin@martin.st>

rtpenc: Add an option for not sending RTCP packets

Signed-off-by: Martin Storsjö <martin@martin.st>

lavc: drop encode() support for video.

All video encoders have been converted to encode2(), all new encoders
should also use only encode2().

snowenc: switch to encode2().

snowenc: don't abuse input picture for storing information.

a64multienc: switch to encode2().

We have no decoder, so cannot test if the output is decodable.

a64multienc: don't write into output buffer when there's no output.

libxvid: switch to encode2().

tiffenc: switch to encode2().

tiffenc: properly forward error codes in encode_frame().

lavc: drop libdirac encoder.

Libschroedinger is the preferred way to encode dirac video now, it
produces better output and has a nicer API.

gifenc: switch to encode2().

libvpxenc: switch to encode2().

flashsvenc: switch to encode2().

Remove libpostproc.

This library does not fit into Libav as a whole and its code is just a
maintenance burden.  Furthermore it is now available as an external project,
which completely obviates any reason to keep it around.

URL: http://git.videolan.org/?p=libpostproc.git

lcl: don't overwrite input memory.

If the PNG filter is enabled, a PNG-style filter will run over the
input buffer, writing into the buffer. Therefore, if no zlib compression
was used, ensure that we copy into a temporary buffer, otherwise we
overwrite user-provided input data.

swscale: take first/lastline over/underflows into account for MMX.

Fixes crashes for extremely large resizes (several 100-fold).

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

swscale: fix underflows in firstline calculations for extreme resizes.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

swscale: fix overflows in filterPos[] calculation for large sizes.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

libxavs: switch to encode2().

libxavs: add an AVClass at the beginning of XavsContext.

libxavs: split extradata writing out of encode_nals().

This is done in preparation for the following patch implementing
encode2().

This commit is analogous to 05d699222dd5af4f5775f9890aa825ede05a144f for
libx264.

ljpegenc: switch to encode2().

truemotion2: error out if the huffman tree has no nodes.

This prevents crashers and errors further down when reading nodes in the
empty tree.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

rtpenc: Add an error message

Also return a proper error code.

Signed-off-by: Martin Storsjö <martin@martin.st>

rtpenc: Allow packetizing H263 according to the old RFC 2190

According to newer RFCs, this packetization scheme should only
be used for interfacing with legacy systems.

Implementing this packetization mode properly requires parsing
the full H263 bitstream to find macroblock boundaries (and knowing
their macroblock and gob numbers and motion vector predictors).

This implementation tries to look for GOB headers (which
can be inserted by using -ps <small number>), but if the GOBs
aren't small enough to fit into the MTU, the packetizer blindly
splits packets at any offset and claims it to be a GOB boundary
(by using Mode A from the RFC). While not correct, this seems
to work with some receivers.

Signed-off-by: Martin Storsjö <martin@martin.st>

rtpenc: Move the trailing comma into FF_RTP_FLAG_OPTS

This simplifies adding more flags to the macro.

Signed-off-by: Martin Storsjö <martin@martin.st>

asv1enc: switch to encode2().

libschroedingerenc: switch to encode2().

ffv1enc: switch to encode2().

libtheoraenc: switch to encode2().

jpeglsenc: switch to encode2().

lclenc: switch to encode2().

qtrleenc: switch to encode2().

flacdec: set channel_layout based on channel count

Channel layouts are specified in the FLAC format description at
http://flac.sourceforge.net/format.html

fixes Bug 209

mov: set channel layout for AC-3 streams based on the 'dac3' atom info

fixes Bug 225

swscale: fix filtersize clipping.

if srcW<=2, clip(x, 1, srcW-2) still allows srcW to be < 1.

dxva2: don't check for DXVA_PictureParameters->wDecodedPictureIndex

This structure is well defined by Microsoft at:
http://msdn.microsoft.com/en-us/library/windows/hardware/ff564012(v=vs.85).aspx
Thus, the wDecodedPictureIndex member is guaranteed to exist.

Also, both the MPEG-2 and VC-1 hwaccel decoders depend on this struct member,
but only the VC-1 decoder was disabled if the check failed.

Signed-off-by: Diego Biurrun <diego@biurrun.de>

img2: split muxer and demuxer into separate files

Signed-off-by: Paul B Mahol <onemda@gmail.com>
Signed-off-by: Diego Biurrun <diego@biurrun.de>

rm: prevent infinite loops for index parsing.

Specifically, prevent jumping back in the file for the next index, since
this can lead to infinite loops where we jump between indexes referring
to each other, and don't read indexes that don't fit in the file.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

aac: fix infinite loop on end-of-frame with sequence of 1-bits.

Based-on-work-by: Ronald S. Bultje <rsbultje@gmail.com>
Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

mov: Add more HDV and XDCAM FourCCs.

Reference: VLC

lavf: don't set AVCodecContext.has_b_frames in compute_pkt_fields().

It is not supposed to be done outside lavc.

This is basically a revert of 818062f2f346df30f4ec0c0c1f54e8025cc3a80a.

It is unclear what issue this was supposed to fix, if it reappears again
it will have to be fixed in a more proper place.

The wtv-demux test change is because the sample starts with a B-frame.

rmdec: when using INT4 deinterleaving, error out if sub_packet_h <= 1.

We read sub_packet_h / 2 packets per line of data (during deinterleaving),
which equals zero if sub_packet_h <= 1, thus causing us to not read any
data, leading to an infinite loop.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

cdxl: correctly synchronize video timestamps to audio

Signed-off-by: Paul B Mahol <onemda@gmail.com>
Signed-off-by: Justin Ruggles <justin.ruggles@gmail.com>

mlpdec_parser: fix a few channel layouts.

Signed-off-by: Justin Ruggles <justin.ruggles@gmail.com>

Add channel names to channel_names[] array for channels added in b2890f5

Signed-off-by: Justin Ruggles <justin.ruggles@gmail.com>

movenc: Buffer the mdat for the initial moov fragment, too

This allows writing QuickTime-compatible fragmented mp4 (with
a non-empty moov atom) to a non-seekable output.

This buffers the mdat for the initial fragment just as it does
for all normal fragments, too. Previously, the resulting
atom structure was mdat,moov, moof,mdat ..., while it now
is moov,mdat, moof,mdat.

Signed-off-by: Martin Storsjö <martin@martin.st>

flvdec: Ignore the index if the ignidx flag is set

Signed-off-by: Martin Storsjö <martin@martin.st>

flvdec: Fix indentation

Also split a long line.

Signed-off-by: Martin Storsjö <martin@martin.st>

movdec: Don't parse all fragments if ignidx is set

In nonseekable files, we already stop parsing the toplevel atoms
after finding moov and one mdat. In large seekable files (or files
that are seekable, but slowly, e.g. http), reading all the fragments
at the start can take a considerable amount of time. This allows
opting out from this behaviour.

Signed-off-by: Martin Storsjö <martin@martin.st>

movdec: Restart parsing root-level atoms at the right spot

If parsing moov+mdat in a non-seekable file, we currently
abort parsing directly after parsing the header of the mdat
atom. If we want to continue parsing later (if looking to
parse later fragments), we need to skip past the content of the
mdat atom, otherwise we end up parsing the content of the mdat
atom as root level atoms.

Signed-off-by: Martin Storsjö <martin@martin.st>

prores: use natural integer type for the codebook index

The operations that use it require it to be promoted to a larger (natural)
type and thus perform sign extension on it.

While an optimal compiler may account for this, gcc 4.6 (for x86 Windows)
fails. Using the natural integer type provides a 2% speedup for Win64
and 1% for Win32.

Signed-off-by: Diego Biurrun <diego@biurrun.de>

mov: Add support for MPEG2 HDV 720p24 (hdv4)

swscale: K&R formatting cosmetics (part I)

swscale: variable declaration and placement cosmetics

mpegvideo_enc: only allocate output packet when we know there will be output

Fixes a memleak.

Add names for more channel layouts to the channel layout map.

Signed-off-by: Justin Ruggles <justin.ruggles@gmail.com>

sunrast: Add a sample request for RMP_RAW colormap.

Signed-off-by: Justin Ruggles <justin.ruggles@gmail.com>