Fix possible crash in trellis at very low QPs

Add assembly versions of decimate_score
3-7x faster decimation, 1-3% faster overall

Fix typo in subme8/9 lossless qpel-RD
Slightly improves compression.

Extend trellis to support luma/chroma DC and chroma AC
Small speed loss in trellis 1, slightly larger in trellis 2, but significant quality improvement.

rm gtk, avc2avi.
I don't remember why I allowed a gui into the repository in the first place. There's nothing that makes this one special relative to all the other x264 guis.
avc2avi doesn't compile since we removed the bitstream reader. And avc doesn't belong in avi.

Resolve quality regression in r996
Accidentally removed the wrong line of code.  I think this classifies as a "10l".
Thanks to techouse for initial bug report and skystrife for helping me find it.

Fix minor memory leak accidentally added with the addition of b-adapt 2

Rework subme system, add RD refinement in B-frames
The new system is as follows: subme6 is RD in I/P frames, subme7 is RD in all frames, subme8 is RD refinement in I/P frames, and subme9 is RD refinement in all frames.
subme6 == old subme6, subme7 == old subme6+brdo, subme8 == old subme7+brdo, subme9 == no equivalent
--b-rdo has, accordingly, been removed.  --bime has also been removed, and instead enabled automatically at subme >= 5.
RD refinement in B-frames (subme9) includes both qpel-RD and an RD version of bime.

Fix potential miscompilation of some inline asm
Caused problems under some gcc 4.x versions with predictive lossless

Replace High 4:4:4 profile lossless with High 4:4:4 Predictive.
This improves lossless compression by about 4-25% depending on source.
The benefit is generally higher for intra-only compression.
Also add support for 8x8dct and i8x8 blocks in lossless mode; this improves compression very slightly.
In some rare cases 8x8dct can hurt compression in lossless mode, but its usually helpful, albeit marginally.
Note that 8x8dct is only available with CABAC as it is never useful with CAVLC.
High 4:4:4 Predictive replaced the previous profile in a 2007 revision to the H.264 standard.
The only known compliant decoder for this profile is the latest version of CoreAVC.
As I write this, JM does not actually correctly decode this profile.
Hopefully this lack of support will soon change with this commit, as x264 will be (to my knowledge) the first compliant encoder.

Fix typo in progress indicator when using piped input

avg_weight_ssse3

fix bitstream writer on bigendian 64bit (regression in r903)

remove authors whose code no longer exists

more diagnostics when configure finds an unsuitable assembler

Make x264 progress indicator more concise
Now the % indicator should be readable on the header of a minimized window on Windows systems.

Fix deblocking + threads + AQ bug
At low QPs, with threads and deblocking on, deblocking could be improperly disabled.
Revision in which this bug was introduced is unknown; it may be as old as b_variable_qp in x264 itself.

Resolve possible crash in bime, improve the fix in r985

Fix rare crash issue in b-adapt
Regression *probably* in r979

Merging Holger's GSOC branch part 1: hpel_filter speedups

r980 borked weighted bime

Disable I_PCM with psy-RD
psy-RD seems to put the PCM threshold a bit lower than it should be, so PCM is now disabled under psy-RD.

Merge avg and avg_weight
avg_weight no longer has to be special-cased in the code; faster weightb

Rewrite avg/avg_weight to take two source pointers
This allows the use of get_ref instead of mc_luma almost everywhere for bipred

Use low-resolution lookahead motion vectors as an extra predictor
Improves quality considerably (0-5%) in 1pass/CRF mode, especially with lower --me values and complex motion.
Reverses the order of lowres lookahead search to improve the usefulness of the extra predictors.

Add missing free() for f_qp_offset in frame.c

Correct misprediction of bitrate in threaded mode
Improves bitrate accuracy in cases with large numbers of threads.
Loosely based on a patch by BugMaster.

Fix a case in which VBV underflows can occur
Fix a potential case where a frame might be initially allocated too low a QP, which would then have to be raised a low during row-based ratecontrol.
In some cases, this could even produce VBV underflows in 2pass mode.

Use correct format specifier for uint64_t

Cache motion vectors in lowres lookahead
This vastly speeds up b-adapt 2, especially at large bframes values.
This changes output because now MV prediction in lookahead only uses L0/L1 MVs, not bidir.  This isn't a problem, since the bidir prediction wasn't really correct to begin with, so the change in output is neither positive nor negative.
This also allowed the removal of some unnecessary memsets, which should also give a small speed boost.
Finally, this allows the use of the lowres motion vectors for predictors in some future patch.

Fix regression in b-adapt patch: encoder_open failed for multipass encodes without bframes.

Stop SAR in y4m input from overriding --sar on commandline

hadamard_ac for psy-rd
c version is 1.7x faster than satd+sa8d+sad
ssse3 version is 2.3x faster than satd+sa8d+sad

Psychovisually optimized rate-distortion optimization and trellis
The latter, psy-trellis, is disabled by default and is reserved as experimental; your mileage may vary.
Default subme is raised to 6 so that psy RD is on by default.

Add optional more optimal B-frame decision method
This method (--b-adapt 2) uses a Viterbi algorithm somewhat similar to that used in trellis quantization.
Note that it is not fully optimized and is very slow with large --bframes values.
It also takes into account weightb, which should improve fade detection.
Additionally, changes were made to cache lowres intra results for each frame to avoid recalculating them.  This should improve performance in both B-frame decision methods.
This can also be done for motion vectors, which will dramatically improve b-adapt 2 performance when it is complete.
This patch also reads b_adapt and scenecut settings from the first pass so that the x264 header information in the output file will have correct information (since frametype decision is only done on the first pass).

Move adaptive quantization to before ratecontrol, eliminate qcomp bias
This change improves VBV accuracy and improves bit distribution in CRF and 2pass.
Instead of being applied after ratecontrol, AQ becomes part of the complexity measure that ratecontrol uses.
This allows for modularity for changes to AQ; a new AQ algorithm can be introduced simply by introducing a new aq_mode and a corresponding if in adaptive_quant_frame.
This also allows quantizer field smoothing, since quantizers are calculated beofrehand rather during encoding.
Since there is no more reason for it, aq_mode 1 is removed.  The new mode 1 is in a sense a merger of the old modes 1 and 2.
WARNING: This change redefines CRF when using AQ, so output bitrate for a given CRF may be significantly different from before this change!

Fix crash when using b-adapt at resolutions 32x32 or below.
Original patch by BugMaster, but was mostly rewritten in order to make b-adapt actually *work* at such resolutions, not merely stop crashing.

Add title-bar progress indicator under WIN32
Also add bitrate-so-far output when piping data to x264 (total frames not known)
Patch mostly by recover from Doom9.

Revert part of r963
In some rare (but significant) cases, the optimized nal_encode algorithm gave incorrect results.

Predict 4x4_DC asm
Also remove 5-year-old unnecessary #define that reduced speed unnecessarily under MSVC-compiled builds

Faster NAL unit encoding and remove unused nal_decode
Small speedup at very high bitrates

CAVLC cleanup and optimizations
Also move some small functions in macroblock.c to a .h file so they can be inlined.

Faster avg_weight assembly
Unrolling the loop a bit improves performance

Faster H asm intra prediction functions
Take advantage of the H prediction method invented for merged intra SAD and apply it to regular prediction, too.

Add merged SAD for i16x16 analysis
Roughly 30% faster i16x16 analysis under subme=1

Add sad_aligned for faster subme=1 mbcmp
Distinguish between unaligned and aligned uses of mbcmp
SAD_aligned, for MMX SADs, uses non-cacheline SADs.

Improve progress indicator
Show average bitrate so far during encoding
Decrease update interval for longer encodes (max of 10 frames encoded between updates)

Fix speed regression in r951
Row SATDs are only necessary in VBV mode, so don't need to be checked if VBV is off.

zigzag asm

fix SOFLAGS used when building gtk frontend
patch by Markus Kanet %darkvision A gmx P eu%

remove the distinction between itex and ptex
(changes 2pass statsfile format)

hardcode the ratecontrol equation, and remove the rceq option

Fix some uses of uninitialized row_satd values in VBV
Resolves some issues with QP51 in I-frames with scenecut

Activate trellis in p8x8 qpel RD
Also clean up macroblock.c with some refactoring
Note that this change significantly reduces subme7+trellis2 performance, but improves quality.
Issue originally reported by Alex_W.

Improve VBV accuracy
Don't use the previous frame's row SATD as a predictor if it is too different from this frame's row SATD.

improve generation of Darwin libraries
Patch by vmrsss %vmrsss A gmail P com%

Fix compilation in gcc 3.4.x (issue in r946)
Due to a bug in gcc 3.4.x, in certain cases of inlining, the array_non_zero_int_mmx inline asssembly is miscompiled and causes a crash with --subme 7 --8x8dct.
This minor hack fixes this issue.

shut up various gcc warnings

fix a crash with invalid args and --thread-input (introduced in r921)

drop support for x86_32 PIC.

use permute macros in satd
move some more shared macros to x264util.asm

cosmetics

r940 broke threads

Cleanups in macroblock_cache_save/load
A bit more loop unrolling, and moving some constant code to the global init function

Deblocking code cleanup and cosmetics
Convert the style of the deblocking code to the standard x264 style
Eliminate some trailing whitespace

4% faster deblock: special-case macroblock edges
Along with a bit of related code reorganization and macroification

Add dedicated variance function instead of using SAD+SSD
Faster variance calculation

6% faster deblock: remove some clips, earlier termiantion on low qps.

Faster deblocking
Early termination for bS=0, alpha=0, beta=0
Refactoring, various other optimizations
About 30% faster deblocking overall.

asm cosmetics

yet another posix-emulating define on solaris

update msvc projectfile

drop support for msvc6

Prevent VBV from lowering quantizer too much
This code seemed to act up unexpectedly sometimes, creating a situation where in 1-pass VBV mode, a frame's quantizer would drop all the way to qpmin and then shoot back upwards to qpmax, causing serious visual issues.
This change may decrease bitrate in VBV mode, but that is preferable to the artifacting produced by this code.

Improve subme7 at low QPs and add subme7 support in lossless mode

cosmetics: merge x86inc*.asm

Add missing x264util.asm

Basic sanity checking of qpmax/qpmin options

Fix regression in r922
set the chroma DC coefficients to zero for residual coding in qpel-rd
fix C99ism

Refactor asm macros part 2: DCT

Refactor asm macros part 1: DCT

Improve intra RD refine, speed up residual_write_cabac
a do/while loop can be used for residual_write, but i8x8 had to be fixed so that it wouldn't call residual_write with zero coeffs
proper nnz handling added to cabac intra rd refine
chroma cbp added to 8x8 chroma rd
cbp was tested, but wasn't useful

Fix a few more minor memleaks

stats summary: print distribution of numbers of consecutive B-frames

add interlacing to the list of stuff checked by x264_validate_levels

Fix C99-ism in r907

Faster temporal predictor calculation
Split into a separate commit because this changes rounding, and thus changes output slightly.

Align lowres planes for improved cacheline split performance

autodetect level based on resolution/bitrate/refs/etc, rather than defaulting to L5.1
if vbv is not enabled (and especially in crf/cqp), we have to guess max bitrate, so we might underestimate the required level.

fix bs_write_ue_big for values >= 0x10000.
(no immediate effect, since nothing writes such values yet)

Fix lossless mode borked in r901

Relax QPfile restrictions
Allow a QPfile to contain fewer frames than the total number of frames in the video and have ratecontrol fill in the rest.
Patch by kemuri9.

Limit MVrange correctly in interlaced mode
Bug report by Sigma Designs, Inc.

Fix bug with PCM and adaptive quantization
In rare cases CABAC desync could occur, causing bitstream corruption

Fix memory leak upon x264 closing
Doesn't affect the CLI, but potentially important for programs which call x264 as a shared library.

Fix compilation on PPC systems (borked in r903)
Bigendian systems didn't have endian_fix32 defined

Add L1 reflist and B macroblock types to x264 info
Also remove display of "PCM" if PCM mode is never used in the encode.
L1 reflist information will only show if pyramid coding is used.

Fix and enable I_PCM macroblock support
In RD mode, always consider PCM as a macroblock mode possibility
Fix bitstream writing for PCM blocks in CAVLC and CABAC, and a few other minor changes to make PCM work.
PCM macroblocks improve compression at very low QPs (1-5) and in lossless mode.

de-duplicate vlc tables

faster ue/se/te write