]> git.sesse.net Git - ffmpeg/blobdiff - tests/regression.sh
first pass at Sierra VMD A/V decoders; video looks great, audio is not
[ffmpeg] / tests / regression.sh
index 03427f0009feeeda5da1666607608091ebd24d25..c242bcbb10ba3516864aeb8125f038ef42fef82a 100755 (executable)
 #
 #
 #set -x
+# Even in the 21st century some diffs are not supporting -u.
+diff -u $0 $0 > /dev/null 2>&1
+if [ $? -eq 0 ]; then
+  diff_cmd="diff -u"
+else
+  diff_cmd="diff"
+fi
+
 set -e
 
 datadir="./data"
 
 logfile="$datadir/ffmpeg.regression"
+outfile="$datadir/a-"
 
 # tests to do
 if [ "$1" = "mpeg4" ] ; then
     do_mpeg4=y
 elif [ "$1" = "mpeg" ] ; then
     do_mpeg=y
+elif [ "$1" = "ac3" ] ; then
+    do_ac3=y
 elif [ "$1" = "libavtest" ] ; then
     do_libav=y
     logfile="$datadir/libav.regression"
+    outfile="$datadir/b-"
 else
     do_mpeg=y
+    do_mpeg2=y
+    do_msmpeg4v2=y
     do_msmpeg4=y
+    do_wmv1=y
+    do_wmv2=y
     do_h263=y
+    do_h263p=y
     do_mpeg4=y
+    do_huffyuv=y
     do_mjpeg=y
-    #do_rv10=y #broken
+    do_ljpeg=y
+    do_rv10=y
     do_mp2=y
     do_ac3=y
+    do_rc=y
+    do_mpeg4adv=y
+    do_mpeg1b=y
+    do_asv1=y
+    do_asv2=y
+    do_flv=y
+    do_ffv1=y
+    do_error=y
 fi
 
 
 # various files
-ffmpeg="../ffmpeg"
-outfile="$datadir/a-"
+ffmpeg="../ffmpeg_g"
+tiny_psnr="./tiny_psnr"
 reffile="$2"
 benchfile="$datadir/ffmpeg.bench"
-raw_src="vsynth1/%d.pgm"
+raw_src="$3/%d.pgm"
 raw_dst="$datadir/out.yuv"
+raw_ref="$datadir/ref.yuv"
 pcm_src="asynth1.sw"
 pcm_dst="$datadir/out.wav"
 
 # create the data directory if it does not exists
 mkdir -p $datadir
 
-function do_ffmpeg ()
+do_ffmpeg()
 {
     f="$1"
     shift
-    echo $ffmpeg -bitexact $*
-    $ffmpeg -bitexact -benchmark $* > $datadir/bench.tmp
-    md5sum $f >> $logfile
-    expr match "`cat $datadir/bench.tmp`" '.*utime=\(.*s\)' > $datadir/bench2.tmp
+    echo $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 $*
+    $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 -benchmark $* > $datadir/bench.tmp 2> /tmp/ffmpeg$$
+    egrep -v "^(Stream|Press|Input|Output|frame|  Stream|  Duration)" /tmp/ffmpeg$$ || true
+    rm -f /tmp/ffmpeg$$
+    md5sum -b $f >> $logfile
+    if [ $f = $raw_dst ] ; then
+        $tiny_psnr $f $raw_ref >> $logfile
+    fi
+    expr "`cat $datadir/bench.tmp`" : '.*utime=\(.*s\)' > $datadir/bench2.tmp
     echo `cat $datadir/bench2.tmp` $f >> $benchfile
 }
 
-function do_ffmpeg_crc ()
+do_ffmpeg_crc()
 {
     f="$1"
     shift
-    echo $ffmpeg -y -bitexact $* -f crc $datadir/ffmpeg.crc
-    $ffmpeg -y -bitexact $* -f crc $datadir/ffmpeg.crc
-    echo -n "$f " >> $logfile
-    cat $datadir/ffmpeg.crc >> $logfile
+    echo $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 $* -f crc $datadir/ffmpeg.crc
+    $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 $* -f crc $datadir/ffmpeg.crc > /tmp/ffmpeg$$ 2>&1
+    egrep -v "^(Stream|Press|Input|Output|frame|  Stream|  Duration)" /tmp/ffmpeg$$ || true
+    rm -f /tmp/ffmpeg$$ 
+    echo "$f `cat $datadir/ffmpeg.crc`" >> $logfile
+}
+
+do_ffmpeg_nocheck()
+{
+    f="$1"
+    shift
+    echo $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 $*
+    $ffmpeg -y -bitexact -dct_algo 1 -idct_algo 2 -benchmark $* > $datadir/bench.tmp 2> /tmp/ffmpeg$$
+    egrep -v "^(Stream|Press|Input|Output|frame|  Stream|  Duration)" /tmp/ffmpeg$$ || true
+    rm -f /tmp/ffmpeg$$
+    expr "`cat $datadir/bench.tmp`" : '.*utime=\(.*s\)' > $datadir/bench2.tmp
+    echo `cat $datadir/bench2.tmp` $f >> $benchfile
 }
 
 echo "ffmpeg regression test" > $logfile
 echo "ffmpeg benchmarks" > $benchfile
 
+###################################
+# generate reference for quality check
+do_ffmpeg_nocheck $raw_ref -y -f pgmyuv -i $raw_src -an -f rawvideo $raw_ref
+
 ###################################
 if [ -n "$do_mpeg" ] ; then
 # mpeg1 encoding
@@ -75,10 +125,33 @@ do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -f mpeg1video $file
 
 # mpeg1 decoding
 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst
+fi
+
+###################################
+if [ -n "$do_mpeg2" ] ; then
+# mpeg2 encoding
+file=${outfile}mpeg2.mpg
+do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -vcodec mpeg2video -f mpeg1video $file 
+
+# mpeg2 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst
+
+# mpeg2 encoding interlaced
+file=${outfile}mpeg2i.mpg
+do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -vcodec mpeg2video -f mpeg1video -ildct -ilme $file 
 
 # mpeg2 decoding
-#do_ffmpeg /tmp/out-mpeg2.yuv -y -f mpegvideo -i a.vob \
-#          -f rawvideo /tmp/out-mpeg2.yuv
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst
+fi
+
+###################################
+if [ -n "$do_msmpeg4v2" ] ; then
+# msmpeg4 encoding
+file=${outfile}msmpeg4v2.avi
+do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec msmpeg4v2 $file
+
+# msmpeg4v2 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
 fi
 
 ###################################
@@ -91,12 +164,42 @@ do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec msmpeg4 $file
 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
 fi
 
+###################################
+if [ -n "$do_wmv1" ] ; then
+# wmv1 encoding
+file=${outfile}wmv1.avi
+do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec wmv1 $file
+
+# wmv1 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
+###################################
+if [ -n "$do_wmv2" ] ; then
+# wmv2 encoding
+file=${outfile}wmv2.avi
+do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec wmv2 $file
+
+# wmv2 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
 ###################################
 if [ -n "$do_h263" ] ; then
 # h263 encoding
 file=${outfile}h263.avi
 do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -s 352x288 -an -vcodec h263 $file
 
+# h263 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
+###################################
+if [ -n "$do_h263p" ] ; then
+# h263p encoding
+file=${outfile}h263p.avi
+do_ffmpeg $file -y -qscale 2 -umv -aiv -aic -f pgmyuv -i $raw_src -s 352x288 -an -vcodec h263p -ps 300 $file
+
 # h263p decoding
 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
 fi
@@ -104,13 +207,63 @@ fi
 ###################################
 if [ -n "$do_mpeg4" ] ; then
 # mpeg4
-file=${outfile}odivx.avi
-do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec mpeg4 $file
+file=${outfile}odivx.mp4
+do_ffmpeg $file -y -4mv -hq -qscale 10 -f pgmyuv -i $raw_src -an -vcodec mpeg4 $file
+
+# mpeg4 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
+###################################
+if [ -n "$do_huffyuv" ] ; then
+# huffyuv
+file=${outfile}huffyuv.avi
+do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec huffyuv -strict -1 $file
+
+# huffyuv decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo -strict -1 $raw_dst
+fi
+
+###################################
+if [ -n "$do_rc" ] ; then
+# mpeg4 rate control
+file=${outfile}mpeg4-rc.avi
+do_ffmpeg $file -y -b 400 -bf 2 -f pgmyuv -i $raw_src -an -vcodec mpeg4 $file
+
+# mpeg4 rate control decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
+###################################
+if [ -n "$do_mpeg4adv" ] ; then
+# mpeg4
+file=${outfile}mpeg4-adv.avi
+do_ffmpeg $file -y -qscale 9 -4mv -hq -part -ps 200 -aic -trell -f pgmyuv -i $raw_src -an -vcodec mpeg4 $file
 
 # mpeg4 decoding
 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
 fi
 
+###################################
+if [ -n "$do_error" ] ; then
+# damaged mpeg4
+file=${outfile}error-mpeg4-adv.avi
+do_ffmpeg $file -y -qscale 7 -4mv -mbd 2 -part -ps 250 -error 10 -aic -f pgmyuv -i $raw_src -an -vcodec mpeg4 $file
+
+# damaged mpeg4 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
+###################################
+if [ -n "$do_mpeg1b" ] ; then
+# mpeg1
+file=${outfile}mpeg1b.mpg
+do_ffmpeg $file -y -qscale 8 -bf 3 -ps 200 -f pgmyuv -i $raw_src -an -vcodec mpeg1video -f mpeg1video $file
+
+# mpeg1 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
 ###################################
 if [ -n "$do_mjpeg" ] ; then
 # mjpeg
@@ -121,6 +274,16 @@ do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec mjpeg $file
 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
 fi
 
+###################################
+if [ -n "$do_ljpeg" ] ; then
+# ljpeg
+file=${outfile}ljpeg.avi
+do_ffmpeg $file -y -f pgmyuv -i $raw_src -an -vcodec ljpeg $file
+
+# ljpeg decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
 ###################################
 if [ -n "$do_rv10" ] ; then
 # rv10 encoding
@@ -131,6 +294,46 @@ do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an $file
 do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
 fi
 
+###################################
+if [ -n "$do_asv1" ] ; then
+# asv1 encoding
+file=${outfile}asv1.avi
+do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec asv1 $file
+
+# asv1 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
+###################################
+if [ -n "$do_asv2" ] ; then
+# asv2 encoding
+file=${outfile}asv2.avi
+do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec asv2 $file
+
+# asv2 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
+###################################
+if [ -n "$do_flv" ] ; then
+# flv encoding
+file=${outfile}flv.flv
+do_ffmpeg $file -y -qscale 10 -f pgmyuv -i $raw_src -an -vcodec flv $file
+
+# flv decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
+###################################
+if [ -n "$do_ffv1" ] ; then
+# ffv1 encoding
+file=${outfile}ffv1.avi
+do_ffmpeg $file -y -strict -1 -f pgmyuv -i $raw_src -an -vcodec ffv1 $file
+
+# ffv1 decoding
+do_ffmpeg $raw_dst -y -i $file -f rawvideo $raw_dst 
+fi
+
 ###################################
 if [ -n "$do_mp2" ] ; then
 # mp2 encoding
@@ -148,7 +351,7 @@ file=${outfile}ac3.rm
 do_ffmpeg $file -y -ab 128 -ac 2 -f s16le  -i $pcm_src -vn $file 
 
 # ac3 decoding
-do_ffmpeg $pcm_dst -y -i $file -f wav $pcm_dst 
+#do_ffmpeg $pcm_dst -y -i $file -f wav $pcm_dst 
 fi
 
 ###################################
@@ -188,29 +391,54 @@ file=${outfile}libav.ffm
 do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
 do_ffmpeg_crc $file -i $file
 
-# XXX: need mov and mpegts tests (add bitstreams or add output capability in ffmpeg)
+# flv
+file=${outfile}libav.flv
+do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
+do_ffmpeg_crc $file -i $file
+
+# mov
+#file=${outfile}libav.mov
+#do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
+#do_ffmpeg_crc $file -i $file
+
+# nut
+file=${outfile}libav.nut
+do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f s16le -i $pcm_src $file
+do_ffmpeg_crc $file -i $file
+
+# XXX: need mpegts tests (add bitstreams or add output capability in ffmpeg)
 
 ####################
 # streamed images
 # mjpeg
-file=${outfile}libav.mjpeg
-do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src $file
-do_ffmpeg_crc $file -i $file
+#file=${outfile}libav.mjpeg
+#do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src $file
+#do_ffmpeg_crc $file -i $file
+
+# pbmpipe
+file=${outfile}libav.pbm
+do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f imagepipe $file
+do_ffmpeg_crc $file -f imagepipe -i $file
 
 # pgmpipe
-file=${outfile}libav.pgmpipe
-do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f pgmpipe $file
-do_ffmpeg_crc $file -f pgmpipe -i $file
+file=${outfile}libav.pgm
+do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f imagepipe $file
+do_ffmpeg_crc $file -f imagepipe -i $file
 
 # ppmpipe
-file=${outfile}libav.ppmpipe
-do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f ppmpipe $file
-do_ffmpeg_crc $file -f ppmpipe -i $file
+file=${outfile}libav.ppm
+do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f imagepipe $file
+do_ffmpeg_crc $file -f imagepipe -i $file
 
 # gif
 file=${outfile}libav.gif
-do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src -f ppmpipe $file
-#do_ffmpeg_crc $file -f ppmpipe -i $file
+do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src $file
+#do_ffmpeg_crc $file -i $file
+
+# yuv4mpeg
+file=${outfile}libav.yuv4mpeg
+do_ffmpeg $file -t 1 -y -qscale 10 -f pgmyuv -i $raw_src $file
+#do_ffmpeg_crc $file -i $file
 
 ####################
 # image formats
@@ -225,9 +453,9 @@ $ffmpeg -t 0.5 -y -qscale 10 -f pgmyuv -i $raw_src $file
 do_ffmpeg_crc $file -i $file
 
 # jpeg (we do not do md5 on image files yet)
-file=${outfile}libav%d.jpg
-$ffmpeg -t 0.5 -y -qscale 10 -f pgmyuv -i $raw_src $file
-do_ffmpeg_crc $file -i $file
+#file=${outfile}libav%d.jpg
+#$ffmpeg -t 0.5 -y -qscale 10 -f pgmyuv -i $raw_src $file
+#do_ffmpeg_crc $file -i $file
 
 ####################
 # audio only
@@ -252,11 +480,24 @@ file=${outfile}libav.au
 do_ffmpeg $file -t 1 -y -qscale 10 -f s16le -i $pcm_src $file
 do_ffmpeg_crc $file -i $file
 
+####################
+# pix_fmt conversions
+conversions="yuv420p yuv422p yuv444p yuv422 yuv410p yuv411p yuvj420p \
+             yuvj422p yuvj444p rgb24 bgr24 rgba32 rgb565 rgb555 gray monow \
+            monob pal8"
+for pix_fmt in $conversions ; do
+    file=${outfile}libav-${pix_fmt}.yuv
+    do_ffmpeg_nocheck $file -r 1 -t 1 -y -f pgmyuv -i $raw_src \
+                            -f rawvideo -s 352x288 -pix_fmt $pix_fmt $raw_dst
+    do_ffmpeg $file -f rawvideo -s 352x288 -pix_fmt $pix_fmt -i $raw_dst \
+                    -f rawvideo -s 352x288 -pix_fmt yuv444p $file
+done
+
 fi
 
 
 
-if diff -u $logfile $reffile ; then
+if $diff_cmd $logfile $reffile ; then
     echo 
     echo Regression test succeeded.
     exit 0