Increase null reduction at high depths

Linear rule, less aggressive then Dann's one.

It seems it scales well with depth. We will need to
verify against weaker engine if it keeps the score.

After 999 games at 1+0 on my Dual Core
Mod vs Orig +232 =534 -207  +9 ELO

After 1000 games by Martin Thoresen on his QUAD at 1+0
Mod vs Orig 521/479 52.10%

Functionality Signature: 17655312

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix a compile error under gcc

And some warnings on the picky icc.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Last round of search.cpp cleanup

The most interesting thing is a bit of rewrite
and semplification in connected_moves()

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Space inflate bottom part of search.cpp

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Rename MaxActiveSplitPoints

And move in thread.h togheter with THREAD_MAX

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Retire 'finished' from MovePicker

It is not useful becasue it is safe to call
get_next_move() multiple times when phase == PH_STOP

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Rename SingleReplyExtension in SingleEvasionExtension

Because that's the correct meaning. Note that also the
corresponding UCI option has been renamed.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Small cleanup in search.cpp

Also clarify some comments.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Retire approximateEval field from SplitPoint

It is not used anymore after the futility pruning
rewrite in a66f31f12.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Double HistoryMax and reduce aging

After history accounting rewrite in 1.6, a small
tweak of history parameters seems positive.

Note that these are not to be considered the optimal
values, just a wild guess that proved good.

Finding the optimal values would require a much longer
testing time.

After 967 games at 1+0

Mod vs Orig 240 529 198 +15 ELO

Functionality Signature: 21222553

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix a little warning under gcc compiler

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Optimized bitScanReverse32()

Should be a bit faster then previous one.
Hacked by Pascal Georges.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Restore development version

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Stockfish 1.6.2

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Better fix for gcc optimization issue

According to the standard, compiler is free to choose
the enum type as long as can keep its data.
Also cast to short and right shift are implementation
defined in case of a signed integer.

Normally all the compilers implement this stuff in
the "usual" way, but gcc with -O3 and -O2 pushes
aggressively the language to its limits to squeeze
even the last bit of speed. And this broke our
not 100% standard conforming code.

The fix is to rewrite the Score enum and the 16 bits
word extracting functions in a way that is 100% standard
compliant and with no speed regression on gcc and also on
the other compilers.

Verified it works on all compilers and with equivalent
functionality.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Score enum should be at least 32 bits

The compiler is allowed to chose the size of an enum variable
based on the values it is expected to store. So force the compiler
to use at least a 32 bit integer type for the Score.

MSVC and Intel do not change, while gcc under -O3 is affected
by this change.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Revert small pop_1st_bit() optimization

We cannot cast a pointer type to an unrelated pointer type.
This is a violation of the strict aliasing rules.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Remove a bogus assert

It is not clear why is not true, even in single thread
case, but as a matter of fact it is not!

So remove it.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Use THREAD_MAX instead of hardcoded 8

This will allow to change THREAD_MAX value in the future.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Restore development version

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Set maximum hash table size to 2GB

We cannot allocate more then 2 GB, so let the limit
reflect this.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Stockfish 1.6.1

Workaround a gcc optimization bug.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Workaround optimization bug in gcc

Unfortunatly we need to slow down to -O1 to be sure
it works always.

Note that sometime it works also with -O2 or even -O3,
but user has to try himself.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix description of Score enum

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix a typo in ReducedStateInfo

It happened to work by accident because Score and
Value are both integer.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Stockfish 1.6

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Score definition gives a compile error under gcc

For enum definitions a parenthesis is required.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Setup Release Candidate 1

To be used by Jim for testing different compiles settings.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix a comment in HistoryMax description

Was obsoleted out some time ago.

Spotted by Justin Blanchard

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix book name is hard coded as book.bin

Instead should be read by the corresponding UCI
option "Book File".

Bug reported and fixed by Justin Blanchard (Arch Linux)

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

In non-PV IID don't call evaluate when in check

Was a long standing hidden bug from Glaurung times,
triggered only now that we enable IID at non PV nodes.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix a compile error in debug mode

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Enable IID at non-PV nodes

We want to increrase the opportunities
of doing an exclusion search.

After 999 games at 1+0
Mod vs Orig +216 =574 -209 50.35%  503.0/999  +2 ELO

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Synchronize pruning rules in search and sp_search

Regression test passed:

Mod - Orig: 365 - 351

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Remove history counters

Instead decrement history value on failure.

After 999 games at 1+0

Mod vs Orig  +236 =558 -204 51.60% +11 ELO

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix overflow risk in split point

Sizeof of search stack should be PLY_MAX+2 instead of PLY_MAX.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Re-enable TT.insert_pv()

This time make sure that valuable TTentries are not overwritten.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Disable insert_pv

This way we avoid overwriting valuable TT entries which
are needed to calculate exclusion search extension for pv.

Mod - Orig: 483 - 410 (+28 elo!)

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Set IncrementalFutilityMargin to 8

After 999 games we are almost equal (+2 ELO),
but we have a good result against Rybka

Rybka 2.3.2a mp 32-bit vs Mod  254.5 - 242.5 +152/-140/=205 51.21%
Rybka 2.3.2a mp 32-bit vs Orig 259.5 - 236.5 +151/-128/=217 52.32%

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Replace 100 with PLY_MAX in ok_to_use_TT

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Adjust SingleReplyMargin 0x64 -> 0x20

Mod - Orig: 920 - 890 (+6 elo)

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Don't clear hash at the beginning of a new game

After 900 games at 1+0
Mod vs Orig +217 =480 -196 +8 ELO

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Try to prune also when approximateEval < beta

Now we always try to filter out moves, we will have
more wasted evaluation calls, but also more pruned
nodes.

After 786 games

Mod vs Orig +196 =413 -177 +8 ELO

Verified also against Rybka it increases score to 50-51%

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Do not crash if we are asked to search mate or stalemate position.

We might be asked to ponder mate or stalemate position.
This being the case, simply wait for stop or ponderhit.
Currently we crash.

UCI specs aren't clear on the issue, but it cost nothing to
add little check.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix get_option_value() for strings with spaces

Problem is that

istream& operator>> (istream& is, char* str );

according to C++ documentation "Ends extraction when the
next character is either a valid whitespace or a null character,
or if the End-Of-File is reached."

So if the parameter value is a string with spaces the currently
used instruction 'ss >> ret;' copies the chars only up to the first
white space and not the whole string.

Use a specialization of get_option_value() to fix this corner case.

Bug reported by xiaozhi

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Retire FutilityMargins[] array

Now we use a formula to calculate margins on the fly.

Node count has changed because we fixed a leftover when
we still where using FutilityMargins to calculate futilityValue
in the case that we had the evaluation score in TT.

Also small indentation fix.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

IncrementalFutilityMargin to 4 and increased pruning

Increase pruning at low depths while tone downa bit at
higher depths (linearize a bit the logaritmic behaviour)

This goes togheter with IncrementalFutilityMargin decreased
to 4 compensate the bigger pruning effect.

Total pruned nodes are more or less the same. We go from 36%
of nodes after prune to 37% with this patch.

After 999 games at 1+0
Mod vs Orig +250 =526 -223 +9 ELO

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Drop OnlyMoveExt PV-condition from 8 plies to 6 plies

Orig - Mod: 731 - 750

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Use move not ttMove in exclude search

If we arrive until the exclusion search call then
we know that move == ttMove == tte->move()

But using ttMove in search call while, during excluded search
conditions we have used tte->Move()could be a little bit suboptimal.
On the other side using tte->move() also in search call is a bit ugly
so opt for the third choice that is the most clean becasue from the
conditions the reader easily understands that we are talking of ttMove
and that we ant to exclude the move we are evaluating in that moment.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Better document previous patch

If tte->move() != MOVE_NONE then tte->move() == ttMove

What could happen is that we have a ttMove without a tte, or,
we have a tte but tte->move() == MOVE_NONE

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix a possible crash in excluded search condition

Due to IID we could have a ttMove and not a tte, or,
even if we have a tte they could belong to different
searches so that the depth and type of tte don't
have the same origin of the ttMove.

To fix this we always use tte entry in excluded search
condition and, after an IID, we reprobe the TT table.

No functional change. Apart from possible crash fix.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Document why we don't use TT to prune in search_pv()

From a Joona' s post on talkchess.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Revert last Only move extensions tweaks

They gave bad results:

Mod - Orig: 361 - 404

Master is now verified to be functional equivalent with F_63

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Speed up sorting of non-captures

Becasue we have a lot of zero scores (around 30% of moves)
it is a good idea to do a couple a presorting loops across
the move list and shuffle the moves a bit so that with a
small effort we end up with 3 groups of moves: positives
scores, zero scores and negative scores.

We have two advantages

1) We don't need to sort zero scores

2) Sort two small groups is faster then sort a single big one

Speed up is of about 2%

Because equal scored moves could be reordered in a different way
this is not a "no functional change" although I have verified
the output list is always correctly sorted.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Rewrite messy LSN-code take 2

We already reset loseOnTime flag at the beginning of
a new game, so we can simplify a bit the ligic there.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Rewrite messy LSN-code

* New version is documented and logic should be easier to follow
* Add extra check to not use LSN with x moves / y seconds time control
* New code fixes some rear cases where old code (still) causes program to lose on time at move 1.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Remove RootMoveList::scan_for_easy_move()

* The function is called only in one place
* It must not be called elsewhere
* The function call easily replaced with simple one line condition

No functional change (tested with usual set + 2000 random positions)

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Remove 2 FIXMEs from search.cpp

* First one is without any documentation, code is working just fine,
  so there seems to be nothing that really should be fixed.

* Second one requesting emergency measures on aspiration fail low
  when we are running out of time and we are without good move.
  After very long time, I've come to conclusion that this is
  impossible to fix, so remove request.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Document and cleanup new effective-single-reply code

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Always extend full ply in PV

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Add mild extension in low depths

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix currentMove bug

Orig vs Master: +15 elo 887.5 - 812.5 (1700 games, finished) [4CPU]

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Only move extension based on exclusion search

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Base work for exclusion search

No functional change

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Tone down a bit futility parameters

After 999 games at 1+0

Mod vs Orig +239 =542 -218  +7 ELO

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Remove 4*IncrementalFutilityMargin from futilityValue

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Logaritmic futility margins

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Exponential futility margins

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

History pruning exponential limit

Use an exponenital law instead of a linear one for
history pruning.

This should prune more at low depths and a bit less
at high depths.

After 965 games

Mod vs Orig +233 =504 -228 +2 ELO

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Incremental Futility Margin

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

In razor qsearch use corrected beta

Correct beta by razor margin when callin qsearch

After 1019 games on Joona's QUAD

Mod - Orig: 524 - 495 (+10 elo)

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Code style triviality

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Micro-optimize get_material_info()

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Convert pawns evaluation to Score

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Move game phase computation to MaterialInfo

Game phase is a strictly function of the material
combination so its natural place is MaterialInfo,
not position.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Null move dynamic reduction based on value

After 994 games at 1+0

Mod vs Orig +244 =521 -229 50.75%  504.5/994 +5 ELO

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Use a more standard perft UCI interface

Call directly 'perft 6' to search up to depth 6*OnePly
instead of the old 'perft depth 6'.

It is more in line to what other engines do. Also a bit
of cleanup while there.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Better document king safety evaluation

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Rearrange table layout in evaluate.cpp

A bit more cache friendly.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Remove dcCandidates data member from SplitPoint

It is no more used now that we have CheckInfo.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Remove update_checkers()

Now that we have CheckInfo we don't need it anymore.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Retire evaluate_mobility()

Move the code to the caller and also move mob_area
computation out of evaluate_pieces(). It is more clear
the code flow and it is also faster.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Small sort_moves() deobfuscation

Write the for loop in a more idiomatic way, no assembly
change and of course no functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Don't futility-prune ttMove

After 933 games
Mod vs Orig +219 =505 -208 +4 ELO

A small increase as expected.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Propagate "move is check" info to do_move()

When false (common case) we avoid to update checkers
bitboard that although not so costly slows down a bit
this very hot and critical path.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Small update_checkers() cleanup

And is a bit faster too.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Small update to pop_1st_bit()

Avoid a 64 bit load using a pointer. It saves a couple of push/pop
instructions so advantage is only theorical, but anyway we use
pop_1st_bit() as a reference implementation for 32 bit systems so
we keep it more for documentation purposes then for other reasons.

Idea of pointer is of Eric Mullins.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Small CheckInfo fallout

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fully convert move_is_check() internally

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Convert move_is_check() to take a CheckInfo reference

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Use CheckInfo to compute dcCandidates

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Introduce CheckInfo struct

Keeps info used to speed-up move_is_check()

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Fix operator/(Score s, int i)

And remove some useless declarations

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Don't copy the key in do_move

It will be overwritten anyway.

Also other little small touches that seem to increase
speed more then the whole enum Score patch series :-(

Optimization is really a black art.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Define Score as an enum

Increases performance because now we use one integer
for both midgame and endgame scores.

Unfortunatly the latest patches seem to have reduced a bit
the speed so at the end we are more or less at the same
performance level of the beginning. But this patch series
introduced also some code cleanup so it is the main reason
we commit anyway.

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Change Score definition to avoid the union

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Revert "Do not extend at low depths if not in PV"

On Joona's QUAD:
Orig - Mod: 414 - 373

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Revert "IID in pv also when TT move depth is too small"

After almost 900 games we are at -2 ELO

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Last conversions to Score in evaluate.cpp

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>

Convert ThreatBonus to Score

No functional change.

Signed-off-by: Marco Costalba <mcostalba@gmail.com>