]> git.sesse.net Git - remoteglot-book/commitdiff
Set parallel merges to a value different from parallel loads.
authorSteinar H. Gunderson <sgunderson@bigfoot.com>
Sat, 13 Dec 2014 01:02:59 +0000 (02:02 +0100)
committerSteinar H. Gunderson <sgunderson@bigfoot.com>
Sat, 13 Dec 2014 01:02:59 +0000 (02:02 +0100)
build-book.sh

index e6e8c09afa4def12b1b1a07cb01868b634d215c7..60d5710ed481eda49ee4e372bbf778778688e1dd 100755 (executable)
@@ -3,7 +3,8 @@
 set -e
 
 export SHARDS=40
-export PARALLEL_LOADS=20  # Reduce if you have problems with OOM
+export PARALLEL_LOADS=15  # Reduce if you have problems with OOM
+export PARALLEL_MERGES=40
 
 rm -f pgnnames.txt part-*.bin part-*.mtbl part-*.mtbl.part???? open.mtbl.new open.mtbl.part???? open.mtbl.part????.new 2>/dev/null
 
@@ -22,7 +23,7 @@ parallel -i -j ${PARALLEL_LOADS} bash -c 'FILE="{}"; set -x; ./binloader "$FILE"
 
 rm -f part-*.bin
 
-parallel -i -j ${PARALLEL_LOADS} bash -c 'X={}; set -x; ./binmerger part-*.mtbl.part$( printf %04d $X ) open.mtbl.part$( printf %04d $X ).new' -- $( seq 0 $(( SHARDS - 1 )) )
+parallel -i -j ${PARALLEL_MERGES} bash -c 'X={}; set -x; ./binmerger part-*.mtbl.part$( printf %04d $X ) open.mtbl.part$( printf %04d $X ).new' -- $( seq 0 $(( SHARDS - 1 )) )
 
 for X in $( seq 0 $(( SHARDS - 1 )) ); do
        mv open.mtbl.part$( printf %04d $X ).new open.mtbl.part$( printf %04d $X )