4738b27b2bb980fb4202b988a9c47f740caf91d5
[stockfish] / src / search.cpp
1 /*
2   Stockfish, a UCI chess playing engine derived from Glaurung 2.1
3   Copyright (C) 2004-2008 Tord Romstad (Glaurung author)
4   Copyright (C) 2008-2015 Marco Costalba, Joona Kiiski, Tord Romstad
5   Copyright (C) 2015-2016 Marco Costalba, Joona Kiiski, Gary Linscott, Tord Romstad
6
7   Stockfish is free software: you can redistribute it and/or modify
8   it under the terms of the GNU General Public License as published by
9   the Free Software Foundation, either version 3 of the License, or
10   (at your option) any later version.
11
12   Stockfish is distributed in the hope that it will be useful,
13   but WITHOUT ANY WARRANTY; without even the implied warranty of
14   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15   GNU General Public License for more details.
16
17   You should have received a copy of the GNU General Public License
18   along with this program.  If not, see <http://www.gnu.org/licenses/>.
19 */
20
21 #include <algorithm>
22 #include <cassert>
23 #include <cmath>
24 #include <cstring>   // For std::memset
25 #include <iostream>
26 #include <sstream>
27
28 #include "evaluate.h"
29 #include "misc.h"
30 #include "movegen.h"
31 #include "movepick.h"
32 #include "search.h"
33 #include "timeman.h"
34 #include "thread.h"
35 #include "tt.h"
36 #include "uci.h"
37 #include "syzygy/tbprobe.h"
38
39 namespace Search {
40
41   SignalsType Signals;
42   LimitsType Limits;
43   StateStackPtr SetupStates;
44 }
45
46 namespace Tablebases {
47
48   int Cardinality;
49   uint64_t Hits;
50   bool RootInTB;
51   bool UseRule50;
52   Depth ProbeDepth;
53   Value Score;
54 }
55
56 namespace TB = Tablebases;
57
58 using std::string;
59 using Eval::evaluate;
60 using namespace Search;
61
62 namespace {
63
64   // Different node types, used as template parameter
65   enum NodeType { Root, PV, NonPV };
66
67   // Razoring and futility margin based on depth
68   const int razor_margin[4] = { 483, 570, 603, 554 };
69   Value futility_margin(Depth d) { return Value(200 * d); }
70
71   // Futility and reductions lookup tables, initialized at startup
72   int FutilityMoveCounts[2][16];  // [improving][depth]
73   Depth Reductions[2][2][64][64]; // [pv][improving][depth][moveNumber]
74
75   template <bool PvNode> Depth reduction(bool i, Depth d, int mn) {
76     return Reductions[PvNode][i][std::min(d, 63 * ONE_PLY)][std::min(mn, 63)];
77   }
78
79   // Skill struct is used to implement strength limiting
80   struct Skill {
81     Skill(int l) : level(l) {}
82     bool enabled() const { return level < 20; }
83     bool time_to_pick(Depth depth) const { return depth / ONE_PLY == 1 + level; }
84     Move best_move(size_t multiPV) { return best ? best : pick_best(multiPV); }
85     Move pick_best(size_t multiPV);
86
87     int level;
88     Move best = MOVE_NONE;
89   };
90
91   // EasyMoveManager struct is used to detect a so called 'easy move'; when PV is
92   // stable across multiple search iterations we can fast return the best move.
93   struct EasyMoveManager {
94
95     void clear() {
96       stableCnt = 0;
97       expectedPosKey = 0;
98       pv[0] = pv[1] = pv[2] = MOVE_NONE;
99     }
100
101     Move get(Key key) const {
102       return expectedPosKey == key ? pv[2] : MOVE_NONE;
103     }
104
105     void update(Position& pos, const std::vector<Move>& newPv) {
106
107       assert(newPv.size() >= 3);
108
109       // Keep track of how many times in a row 3rd ply remains stable
110       stableCnt = (newPv[2] == pv[2]) ? stableCnt + 1 : 0;
111
112       if (!std::equal(newPv.begin(), newPv.begin() + 3, pv))
113       {
114           std::copy(newPv.begin(), newPv.begin() + 3, pv);
115
116           StateInfo st[2];
117           pos.do_move(newPv[0], st[0], pos.gives_check(newPv[0], CheckInfo(pos)));
118           pos.do_move(newPv[1], st[1], pos.gives_check(newPv[1], CheckInfo(pos)));
119           expectedPosKey = pos.key();
120           pos.undo_move(newPv[1]);
121           pos.undo_move(newPv[0]);
122       }
123     }
124
125     int stableCnt;
126     Key expectedPosKey;
127     Move pv[3];
128   };
129
130   EasyMoveManager EasyMove;
131   Value DrawValue[COLOR_NB];
132   CounterMovesHistoryStats CounterMovesHistory;
133
134   template <NodeType NT>
135   Value search(Position& pos, Stack* ss, Value alpha, Value beta, Depth depth, bool cutNode);
136
137   template <NodeType NT, bool InCheck>
138   Value qsearch(Position& pos, Stack* ss, Value alpha, Value beta, Depth depth);
139
140   Value value_to_tt(Value v, int ply);
141   Value value_from_tt(Value v, int ply);
142   void update_pv(Move* pv, Move move, Move* childPv);
143   void update_stats(const Position& pos, Stack* ss, Move move, Depth depth, Move* quiets, int quietsCnt);
144   void check_time();
145
146 } // namespace
147
148
149 /// Search::init() is called during startup to initialize various lookup tables
150
151 void Search::init() {
152
153   const double K[][2] = {{ 0.799, 2.281 }, { 0.484, 3.023 }};
154
155   for (int pv = 0; pv <= 1; ++pv)
156       for (int imp = 0; imp <= 1; ++imp)
157           for (int d = 1; d < 64; ++d)
158               for (int mc = 1; mc < 64; ++mc)
159               {
160                   double r = K[pv][0] + log(d) * log(mc) / K[pv][1];
161
162                   if (r >= 1.5)
163                       Reductions[pv][imp][d][mc] = int(r) * ONE_PLY;
164
165                   // Increase reduction when eval is not improving
166                   if (!pv && !imp && Reductions[pv][imp][d][mc] >= 2 * ONE_PLY)
167                       Reductions[pv][imp][d][mc] += ONE_PLY;
168               }
169
170   for (int d = 0; d < 16; ++d)
171   {
172       FutilityMoveCounts[0][d] = int(2.4 + 0.773 * pow(d + 0.00, 1.8));
173       FutilityMoveCounts[1][d] = int(2.9 + 1.045 * pow(d + 0.49, 1.8));
174   }
175 }
176
177
178 /// Search::clear() resets to zero search state, to obtain reproducible results
179
180 void Search::clear() {
181
182   TT.clear();
183   CounterMovesHistory.clear();
184
185   for (Thread* th : Threads)
186   {
187       th->history.clear();
188       th->counterMoves.clear();
189   }
190 }
191
192
193 /// Search::perft() is our utility to verify move generation. All the leaf nodes
194 /// up to the given depth are generated and counted and the sum returned.
195 template<bool Root>
196 uint64_t Search::perft(Position& pos, Depth depth) {
197
198   StateInfo st;
199   uint64_t cnt, nodes = 0;
200   CheckInfo ci(pos);
201   const bool leaf = (depth == 2 * ONE_PLY);
202
203   for (const auto& m : MoveList<LEGAL>(pos))
204   {
205       if (Root && depth <= ONE_PLY)
206           cnt = 1, nodes++;
207       else
208       {
209           pos.do_move(m, st, pos.gives_check(m, ci));
210           cnt = leaf ? MoveList<LEGAL>(pos).size() : perft<false>(pos, depth - ONE_PLY);
211           nodes += cnt;
212           pos.undo_move(m);
213       }
214       if (Root)
215           sync_cout << UCI::move(m, pos.is_chess960()) << ": " << cnt << sync_endl;
216   }
217   return nodes;
218 }
219
220 template uint64_t Search::perft<true>(Position&, Depth);
221
222
223 /// MainThread::search() is called by the main thread when the program receives
224 /// the UCI 'go' command. It searches from root position and at the end prints
225 /// the "bestmove" to output.
226
227 void MainThread::search() {
228
229   Color us = rootPos.side_to_move();
230   Time.init(Limits, us, rootPos.game_ply());
231
232   int contempt = Options["Contempt"] * PawnValueEg / 100; // From centipawns
233   DrawValue[ us] = VALUE_DRAW - Value(contempt);
234   DrawValue[~us] = VALUE_DRAW + Value(contempt);
235
236   TB::Hits = 0;
237   TB::RootInTB = false;
238   TB::UseRule50 = Options["Syzygy50MoveRule"];
239   TB::ProbeDepth = Options["SyzygyProbeDepth"] * ONE_PLY;
240   TB::Cardinality = Options["SyzygyProbeLimit"];
241
242   // Skip TB probing when no TB found: !TBLargest -> !TB::Cardinality
243   if (TB::Cardinality > TB::MaxCardinality)
244   {
245       TB::Cardinality = TB::MaxCardinality;
246       TB::ProbeDepth = DEPTH_ZERO;
247   }
248
249   if (rootMoves.empty())
250   {
251       rootMoves.push_back(RootMove(MOVE_NONE));
252       sync_cout << "info depth 0 score "
253                 << UCI::value(rootPos.checkers() ? -VALUE_MATE : VALUE_DRAW)
254                 << sync_endl;
255   }
256   else
257   {
258       if (TB::Cardinality >=  rootPos.count<ALL_PIECES>(WHITE)
259                             + rootPos.count<ALL_PIECES>(BLACK))
260       {
261           // If the current root position is in the tablebases then RootMoves
262           // contains only moves that preserve the draw or win.
263           TB::RootInTB = Tablebases::root_probe(rootPos, rootMoves, TB::Score);
264
265           if (TB::RootInTB)
266               TB::Cardinality = 0; // Do not probe tablebases during the search
267
268           else // If DTZ tables are missing, use WDL tables as a fallback
269           {
270               // Filter out moves that do not preserve a draw or win
271               TB::RootInTB = Tablebases::root_probe_wdl(rootPos, rootMoves, TB::Score);
272
273               // Only probe during search if winning
274               if (TB::Score <= VALUE_DRAW)
275                   TB::Cardinality = 0;
276           }
277
278           if (TB::RootInTB)
279           {
280               TB::Hits = rootMoves.size();
281
282               if (!TB::UseRule50)
283                   TB::Score =  TB::Score > VALUE_DRAW ?  VALUE_MATE - MAX_PLY - 1
284                              : TB::Score < VALUE_DRAW ? -VALUE_MATE + MAX_PLY + 1
285                                                       :  VALUE_DRAW;
286           }
287       }
288
289       for (Thread* th : Threads)
290       {
291           th->maxPly = 0;
292           th->rootDepth = DEPTH_ZERO;
293           if (th != this)
294           {
295               th->rootPos = Position(rootPos, th);
296               th->rootMoves = rootMoves;
297               th->start_searching();
298           }
299       }
300
301       Thread::search(); // Let's start searching!
302   }
303
304   // When playing in 'nodes as time' mode, subtract the searched nodes from
305   // the available ones before to exit.
306   if (Limits.npmsec)
307       Time.availableNodes += Limits.inc[us] - Threads.nodes_searched();
308
309   // When we reach the maximum depth, we can arrive here without a raise of
310   // Signals.stop. However, if we are pondering or in an infinite search,
311   // the UCI protocol states that we shouldn't print the best move before the
312   // GUI sends a "stop" or "ponderhit" command. We therefore simply wait here
313   // until the GUI sends one of those commands (which also raises Signals.stop).
314   if (!Signals.stop && (Limits.ponder || Limits.infinite))
315   {
316       Signals.stopOnPonderhit = true;
317       wait(Signals.stop);
318   }
319
320   // Stop the threads if not already stopped
321   Signals.stop = true;
322
323   // Wait until all threads have finished
324   for (Thread* th : Threads)
325       if (th != this)
326           th->wait_for_search_finished();
327
328   // Check if there are threads with a better score than main thread
329   Thread* bestThread = this;
330   if (   !this->easyMovePlayed
331       &&  Options["MultiPV"] == 1
332       && !Skill(Options["Skill Level"]).enabled())
333   {
334       for (Thread* th : Threads)
335           if (   th->completedDepth > bestThread->completedDepth
336               && th->rootMoves[0].score > bestThread->rootMoves[0].score)
337               bestThread = th;
338   }
339
340   // Send new PV when needed
341   if (bestThread != this)
342       sync_cout << UCI::pv(bestThread->rootPos, bestThread->completedDepth, -VALUE_INFINITE, VALUE_INFINITE) << sync_endl;
343
344   sync_cout << "bestmove " << UCI::move(bestThread->rootMoves[0].pv[0], rootPos.is_chess960());
345
346   if (bestThread->rootMoves[0].pv.size() > 1 || bestThread->rootMoves[0].extract_ponder_from_tt(rootPos))
347       std::cout << " ponder " << UCI::move(bestThread->rootMoves[0].pv[1], rootPos.is_chess960());
348
349   std::cout << sync_endl;
350 }
351
352
353 // Thread::search() is the main iterative deepening loop. It calls search()
354 // repeatedly with increasing depth until the allocated thinking time has been
355 // consumed, user stops the search, or the maximum search depth is reached.
356
357 void Thread::search() {
358
359   Stack stack[MAX_PLY+4], *ss = stack+2; // To allow referencing (ss-2) and (ss+2)
360   Value bestValue, alpha, beta, delta;
361   Move easyMove = MOVE_NONE;
362   MainThread* mainThread = (this == Threads.main() ? Threads.main() : nullptr);
363
364   std::memset(ss-2, 0, 5 * sizeof(Stack));
365
366   bestValue = delta = alpha = -VALUE_INFINITE;
367   beta = VALUE_INFINITE;
368   completedDepth = DEPTH_ZERO;
369
370   if (mainThread)
371   {
372       easyMove = EasyMove.get(rootPos.key());
373       EasyMove.clear();
374       mainThread->easyMovePlayed = mainThread->failedLow = false;
375       mainThread->bestMoveChanges = 0;
376       TT.new_search();
377   }
378
379   size_t multiPV = Options["MultiPV"];
380   Skill skill(Options["Skill Level"]);
381
382   // When playing with strength handicap enable MultiPV search that we will
383   // use behind the scenes to retrieve a set of possible moves.
384   if (skill.enabled())
385       multiPV = std::max(multiPV, (size_t)4);
386
387   multiPV = std::min(multiPV, rootMoves.size());
388
389   // Iterative deepening loop until requested to stop or target depth reached
390   while (++rootDepth < DEPTH_MAX && !Signals.stop && (!Limits.depth || rootDepth <= Limits.depth))
391   {
392       // Set up the new depth for the helper threads skipping in average each
393       // 2nd ply (using a half density map similar to a Hadamard matrix).
394       if (!mainThread)
395       {
396           int d = rootDepth + rootPos.game_ply();
397
398           if (idx <= 6 || idx > 24)
399           {
400               if (((d + idx) >> (msb(idx + 1) - 1)) % 2)
401                   continue;
402           }
403           else
404           {
405               // Table of values of 6 bits with 3 of them set
406               static const int HalfDensityMap[] = {
407                 0x07, 0x0b, 0x0d, 0x0e, 0x13, 0x16, 0x19, 0x1a, 0x1c,
408                 0x23, 0x25, 0x26, 0x29, 0x2c, 0x31, 0x32, 0x34, 0x38
409               };
410
411               if ((HalfDensityMap[idx - 7] >> (d % 6)) & 1)
412                   continue;
413           }
414       }
415
416       // Age out PV variability metric
417       if (mainThread)
418           mainThread->bestMoveChanges *= 0.505, mainThread->failedLow = false;
419
420       // Save the last iteration's scores before first PV line is searched and
421       // all the move scores except the (new) PV are set to -VALUE_INFINITE.
422       for (RootMove& rm : rootMoves)
423           rm.previousScore = rm.score;
424
425       // MultiPV loop. We perform a full root search for each PV line
426       for (PVIdx = 0; PVIdx < multiPV && !Signals.stop; ++PVIdx)
427       {
428           // Reset aspiration window starting size
429           if (rootDepth >= 5 * ONE_PLY)
430           {
431               delta = Value(18);
432               alpha = std::max(rootMoves[PVIdx].previousScore - delta,-VALUE_INFINITE);
433               beta  = std::min(rootMoves[PVIdx].previousScore + delta, VALUE_INFINITE);
434           }
435
436           // Start with a small aspiration window and, in the case of a fail
437           // high/low, re-search with a bigger window until we're not failing
438           // high/low anymore.
439           while (true)
440           {
441               bestValue = ::search<Root>(rootPos, ss, alpha, beta, rootDepth, false);
442
443               // Bring the best move to the front. It is critical that sorting
444               // is done with a stable algorithm because all the values but the
445               // first and eventually the new best one are set to -VALUE_INFINITE
446               // and we want to keep the same order for all the moves except the
447               // new PV that goes to the front. Note that in case of MultiPV
448               // search the already searched PV lines are preserved.
449               std::stable_sort(rootMoves.begin() + PVIdx, rootMoves.end());
450
451               // Write PV back to transposition table in case the relevant
452               // entries have been overwritten during the search.
453               for (size_t i = 0; i <= PVIdx; ++i)
454                   rootMoves[i].insert_pv_in_tt(rootPos);
455
456               // If search has been stopped break immediately. Sorting and
457               // writing PV back to TT is safe because RootMoves is still
458               // valid, although it refers to previous iteration.
459               if (Signals.stop)
460                   break;
461
462               // When failing high/low give some update (without cluttering
463               // the UI) before a re-search.
464               if (   mainThread
465                   && multiPV == 1
466                   && (bestValue <= alpha || bestValue >= beta)
467                   && Time.elapsed() > 3000)
468                   sync_cout << UCI::pv(rootPos, rootDepth, alpha, beta) << sync_endl;
469
470               // In case of failing low/high increase aspiration window and
471               // re-search, otherwise exit the loop.
472               if (bestValue <= alpha)
473               {
474                   beta = (alpha + beta) / 2;
475                   alpha = std::max(bestValue - delta, -VALUE_INFINITE);
476
477                   if (mainThread)
478                   {
479                       mainThread->failedLow = true;
480                       Signals.stopOnPonderhit = false;
481                   }
482               }
483               else if (bestValue >= beta)
484               {
485                   alpha = (alpha + beta) / 2;
486                   beta = std::min(bestValue + delta, VALUE_INFINITE);
487               }
488               else
489                   break;
490
491               delta += delta / 4 + 5;
492
493               assert(alpha >= -VALUE_INFINITE && beta <= VALUE_INFINITE);
494           }
495
496           // Sort the PV lines searched so far and update the GUI
497           std::stable_sort(rootMoves.begin(), rootMoves.begin() + PVIdx + 1);
498
499           if (!mainThread)
500               break;
501
502           if (Signals.stop)
503               sync_cout << "info nodes " << Threads.nodes_searched()
504                         << " time " << Time.elapsed() << sync_endl;
505
506           else if (PVIdx + 1 == multiPV || Time.elapsed() > 3000)
507               sync_cout << UCI::pv(rootPos, rootDepth, alpha, beta) << sync_endl;
508       }
509
510       if (!Signals.stop)
511           completedDepth = rootDepth;
512
513       if (!mainThread)
514           continue;
515
516       // If skill level is enabled and time is up, pick a sub-optimal best move
517       if (skill.enabled() && skill.time_to_pick(rootDepth))
518           skill.pick_best(multiPV);
519
520       // Have we found a "mate in x"?
521       if (   Limits.mate
522           && bestValue >= VALUE_MATE_IN_MAX_PLY
523           && VALUE_MATE - bestValue <= 2 * Limits.mate)
524           Signals.stop = true;
525
526       // Do we have time for the next iteration? Can we stop searching now?
527       if (Limits.use_time_management())
528       {
529           if (!Signals.stop && !Signals.stopOnPonderhit)
530           {
531               // Take some extra time if the best move has changed
532               if (rootDepth > 4 * ONE_PLY && multiPV == 1)
533                   Time.pv_instability(mainThread->bestMoveChanges);
534
535               // Stop the search if only one legal move is available or all
536               // of the available time has been used or we matched an easyMove
537               // from the previous search and just did a fast verification.
538               if (   rootMoves.size() == 1
539                   || Time.elapsed() > Time.available() * (mainThread->failedLow ? 641 : 315) / 640
540                   || (mainThread->easyMovePlayed = (   rootMoves[0].pv[0] == easyMove
541                                                     && mainThread->bestMoveChanges < 0.03
542                                                     && Time.elapsed() > Time.available() / 8)))
543               {
544                   // If we are allowed to ponder do not stop the search now but
545                   // keep pondering until the GUI sends "ponderhit" or "stop".
546                   if (Limits.ponder)
547                       Signals.stopOnPonderhit = true;
548                   else
549                       Signals.stop = true;
550               }
551           }
552
553           if (rootMoves[0].pv.size() >= 3)
554               EasyMove.update(rootPos, rootMoves[0].pv);
555           else
556               EasyMove.clear();
557       }
558   }
559
560   if (!mainThread)
561       return;
562
563   // Clear any candidate easy move that wasn't stable for the last search
564   // iterations; the second condition prevents consecutive fast moves.
565   if (EasyMove.stableCnt < 6 || mainThread->easyMovePlayed)
566       EasyMove.clear();
567
568   // If skill level is enabled, swap best PV line with the sub-optimal one
569   if (skill.enabled())
570       std::swap(rootMoves[0], *std::find(rootMoves.begin(),
571                 rootMoves.end(), skill.best_move(multiPV)));
572 }
573
574
575 namespace {
576
577   // search<>() is the main search function for both PV and non-PV nodes
578
579   template <NodeType NT>
580   Value search(Position& pos, Stack* ss, Value alpha, Value beta, Depth depth, bool cutNode) {
581
582     const bool RootNode = NT == Root;
583     const bool PvNode   = NT == PV || NT == Root;
584
585     assert(-VALUE_INFINITE <= alpha && alpha < beta && beta <= VALUE_INFINITE);
586     assert(PvNode || (alpha == beta - 1));
587     assert(DEPTH_ZERO < depth && depth < DEPTH_MAX);
588
589     Move pv[MAX_PLY+1], quietsSearched[64];
590     StateInfo st;
591     TTEntry* tte;
592     Key posKey;
593     Move ttMove, move, excludedMove, bestMove;
594     Depth extension, newDepth, predictedDepth;
595     Value bestValue, value, ttValue, eval, nullValue, futilityValue;
596     bool ttHit, inCheck, givesCheck, singularExtensionNode, improving;
597     bool captureOrPromotion, doFullDepthSearch;
598     int moveCount, quietCount;
599
600     // Step 1. Initialize node
601     Thread* thisThread = pos.this_thread();
602     inCheck = pos.checkers();
603     moveCount = quietCount =  ss->moveCount = 0;
604     bestValue = -VALUE_INFINITE;
605     ss->ply = (ss-1)->ply + 1;
606
607     // Check for available remaining time
608     if (thisThread->resetCalls.load(std::memory_order_relaxed))
609     {
610         thisThread->resetCalls = false;
611         thisThread->callsCnt = 0;
612     }
613     if (++thisThread->callsCnt > 4096)
614     {
615         for (Thread* th : Threads)
616             th->resetCalls = true;
617
618         check_time();
619     }
620
621     // Used to send selDepth info to GUI
622     if (PvNode && thisThread->maxPly < ss->ply)
623         thisThread->maxPly = ss->ply;
624
625     if (!RootNode)
626     {
627         // Step 2. Check for aborted search and immediate draw
628         if (Signals.stop.load(std::memory_order_relaxed) || pos.is_draw() || ss->ply >= MAX_PLY)
629             return ss->ply >= MAX_PLY && !inCheck ? evaluate(pos)
630                                                   : DrawValue[pos.side_to_move()];
631
632         // Step 3. Mate distance pruning. Even if we mate at the next move our score
633         // would be at best mate_in(ss->ply+1), but if alpha is already bigger because
634         // a shorter mate was found upward in the tree then there is no need to search
635         // because we will never beat the current alpha. Same logic but with reversed
636         // signs applies also in the opposite condition of being mated instead of giving
637         // mate. In this case return a fail-high score.
638         alpha = std::max(mated_in(ss->ply), alpha);
639         beta = std::min(mate_in(ss->ply+1), beta);
640         if (alpha >= beta)
641             return alpha;
642     }
643
644     assert(0 <= ss->ply && ss->ply < MAX_PLY);
645
646     ss->currentMove = (ss+1)->excludedMove = bestMove = MOVE_NONE;
647     (ss+1)->skipEarlyPruning = false;
648     (ss+2)->killers[0] = (ss+2)->killers[1] = MOVE_NONE;
649
650     // Step 4. Transposition table lookup. We don't want the score of a partial
651     // search to overwrite a previous full search TT value, so we use a different
652     // position key in case of an excluded move.
653     excludedMove = ss->excludedMove;
654     posKey = excludedMove ? pos.exclusion_key() : pos.key();
655     tte = TT.probe(posKey, ttHit);
656     ttValue = ttHit ? value_from_tt(tte->value(), ss->ply) : VALUE_NONE;
657     ttMove =  RootNode ? thisThread->rootMoves[thisThread->PVIdx].pv[0]
658             : ttHit    ? tte->move() : MOVE_NONE;
659
660     // At non-PV nodes we check for an early TT cutoff
661     if (  !PvNode
662         && ttHit
663         && tte->depth() >= depth
664         && ttValue != VALUE_NONE // Possible in case of TT access race
665         && (ttValue >= beta ? (tte->bound() & BOUND_LOWER)
666                             : (tte->bound() & BOUND_UPPER)))
667     {
668         ss->currentMove = ttMove; // Can be MOVE_NONE
669
670         // If ttMove is quiet, update killers, history, counter move on TT hit
671         if (ttValue >= beta && ttMove && !pos.capture_or_promotion(ttMove))
672             update_stats(pos, ss, ttMove, depth, nullptr, 0);
673
674         return ttValue;
675     }
676
677     // Step 4a. Tablebase probe
678     if (!RootNode && TB::Cardinality)
679     {
680         int piecesCnt = pos.count<ALL_PIECES>(WHITE) + pos.count<ALL_PIECES>(BLACK);
681
682         if (    piecesCnt <= TB::Cardinality
683             && (piecesCnt <  TB::Cardinality || depth >= TB::ProbeDepth)
684             &&  pos.rule50_count() == 0)
685         {
686             int found, v = Tablebases::probe_wdl(pos, &found);
687
688             if (found)
689             {
690                 TB::Hits++;
691
692                 int drawScore = TB::UseRule50 ? 1 : 0;
693
694                 value =  v < -drawScore ? -VALUE_MATE + MAX_PLY + ss->ply
695                        : v >  drawScore ?  VALUE_MATE - MAX_PLY - ss->ply
696                                         :  VALUE_DRAW + 2 * v * drawScore;
697
698                 tte->save(posKey, value_to_tt(value, ss->ply), BOUND_EXACT,
699                           std::min(DEPTH_MAX - ONE_PLY, depth + 6 * ONE_PLY),
700                           MOVE_NONE, VALUE_NONE, TT.generation());
701
702                 return value;
703             }
704         }
705     }
706
707     // Step 5. Evaluate the position statically
708     if (inCheck)
709     {
710         ss->staticEval = eval = VALUE_NONE;
711         goto moves_loop;
712     }
713
714     else if (ttHit)
715     {
716         // Never assume anything on values stored in TT
717         if ((ss->staticEval = eval = tte->eval()) == VALUE_NONE)
718             eval = ss->staticEval = evaluate(pos);
719
720         // Can ttValue be used as a better position evaluation?
721         if (ttValue != VALUE_NONE)
722             if (tte->bound() & (ttValue > eval ? BOUND_LOWER : BOUND_UPPER))
723                 eval = ttValue;
724     }
725     else
726     {
727         eval = ss->staticEval =
728         (ss-1)->currentMove != MOVE_NULL ? evaluate(pos)
729                                          : -(ss-1)->staticEval + 2 * Eval::Tempo;
730
731         tte->save(posKey, VALUE_NONE, BOUND_NONE, DEPTH_NONE, MOVE_NONE,
732                   ss->staticEval, TT.generation());
733     }
734
735     if (ss->skipEarlyPruning)
736         goto moves_loop;
737
738     // Step 6. Razoring (skipped when in check)
739     if (   !PvNode
740         &&  depth < 4 * ONE_PLY
741         &&  eval + razor_margin[depth] <= alpha
742         &&  ttMove == MOVE_NONE)
743     {
744         if (   depth <= ONE_PLY
745             && eval + razor_margin[3 * ONE_PLY] <= alpha)
746             return qsearch<NonPV, false>(pos, ss, alpha, beta, DEPTH_ZERO);
747
748         Value ralpha = alpha - razor_margin[depth];
749         Value v = qsearch<NonPV, false>(pos, ss, ralpha, ralpha+1, DEPTH_ZERO);
750         if (v <= ralpha)
751             return v;
752     }
753
754     // Step 7. Futility pruning: child node (skipped when in check)
755     if (   !RootNode
756         &&  depth < 7 * ONE_PLY
757         &&  eval - futility_margin(depth) >= beta
758         &&  eval < VALUE_KNOWN_WIN  // Do not return unproven wins
759         &&  pos.non_pawn_material(pos.side_to_move()))
760         return eval - futility_margin(depth);
761
762     // Step 8. Null move search with verification search (is omitted in PV nodes)
763     if (   !PvNode
764         &&  depth >= 2 * ONE_PLY
765         &&  eval >= beta
766         &&  pos.non_pawn_material(pos.side_to_move()))
767     {
768         ss->currentMove = MOVE_NULL;
769
770         assert(eval - beta >= 0);
771
772         // Null move dynamic reduction based on depth and value
773         Depth R = ((823 + 67 * depth) / 256 + std::min((eval - beta) / PawnValueMg, 3)) * ONE_PLY;
774
775         pos.do_null_move(st);
776         (ss+1)->skipEarlyPruning = true;
777         nullValue = depth-R < ONE_PLY ? -qsearch<NonPV, false>(pos, ss+1, -beta, -beta+1, DEPTH_ZERO)
778                                       : - search<NonPV>(pos, ss+1, -beta, -beta+1, depth-R, !cutNode);
779         (ss+1)->skipEarlyPruning = false;
780         pos.undo_null_move();
781
782         if (nullValue >= beta)
783         {
784             // Do not return unproven mate scores
785             if (nullValue >= VALUE_MATE_IN_MAX_PLY)
786                 nullValue = beta;
787
788             if (depth < 12 * ONE_PLY && abs(beta) < VALUE_KNOWN_WIN)
789                 return nullValue;
790
791             // Do verification search at high depths
792             ss->skipEarlyPruning = true;
793             Value v = depth-R < ONE_PLY ? qsearch<NonPV, false>(pos, ss, beta-1, beta, DEPTH_ZERO)
794                                         :  search<NonPV>(pos, ss, beta-1, beta, depth-R, false);
795             ss->skipEarlyPruning = false;
796
797             if (v >= beta)
798                 return nullValue;
799         }
800     }
801
802     // Step 9. ProbCut (skipped when in check)
803     // If we have a very good capture (i.e. SEE > seeValues[captured_piece_type])
804     // and a reduced search returns a value much above beta, we can (almost)
805     // safely prune the previous move.
806     if (   !PvNode
807         &&  depth >= 5 * ONE_PLY
808         &&  abs(beta) < VALUE_MATE_IN_MAX_PLY)
809     {
810         Value rbeta = std::min(beta + 200, VALUE_INFINITE);
811         Depth rdepth = depth - 4 * ONE_PLY;
812
813         assert(rdepth >= ONE_PLY);
814         assert((ss-1)->currentMove != MOVE_NONE);
815         assert((ss-1)->currentMove != MOVE_NULL);
816
817         MovePicker mp(pos, ttMove, thisThread->history, PieceValue[MG][pos.captured_piece_type()]);
818         CheckInfo ci(pos);
819
820         while ((move = mp.next_move()) != MOVE_NONE)
821             if (pos.legal(move, ci.pinned))
822             {
823                 ss->currentMove = move;
824                 pos.do_move(move, st, pos.gives_check(move, ci));
825                 value = -search<NonPV>(pos, ss+1, -rbeta, -rbeta+1, rdepth, !cutNode);
826                 pos.undo_move(move);
827                 if (value >= rbeta)
828                     return value;
829             }
830     }
831
832     // Step 10. Internal iterative deepening (skipped when in check)
833     if (    depth >= (PvNode ? 5 * ONE_PLY : 8 * ONE_PLY)
834         && !ttMove
835         && (PvNode || ss->staticEval + 256 >= beta))
836     {
837         Depth d = depth - 2 * ONE_PLY - (PvNode ? DEPTH_ZERO : depth / 4);
838         ss->skipEarlyPruning = true;
839         search<PvNode ? PV : NonPV>(pos, ss, alpha, beta, d, true);
840         ss->skipEarlyPruning = false;
841
842         tte = TT.probe(posKey, ttHit);
843         ttMove = ttHit ? tte->move() : MOVE_NONE;
844     }
845
846 moves_loop: // When in check search starts from here
847
848     Square prevSq = to_sq((ss-1)->currentMove);
849     Move cm = thisThread->counterMoves[pos.piece_on(prevSq)][prevSq];
850     const CounterMovesStats& cmh = CounterMovesHistory[pos.piece_on(prevSq)][prevSq];
851
852     MovePicker mp(pos, ttMove, depth, thisThread->history, cmh, cm, ss);
853     CheckInfo ci(pos);
854     value = bestValue; // Workaround a bogus 'uninitialized' warning under gcc
855     improving =   ss->staticEval >= (ss-2)->staticEval
856                || ss->staticEval == VALUE_NONE
857                ||(ss-2)->staticEval == VALUE_NONE;
858
859     singularExtensionNode =   !RootNode
860                            &&  depth >= 8 * ONE_PLY
861                            &&  ttMove != MOVE_NONE
862                        /*  &&  ttValue != VALUE_NONE Already implicit in the next condition */
863                            &&  abs(ttValue) < VALUE_KNOWN_WIN
864                            && !excludedMove // Recursive singular search is not allowed
865                            && (tte->bound() & BOUND_LOWER)
866                            &&  tte->depth() >= depth - 3 * ONE_PLY;
867
868     // Step 11. Loop through moves
869     // Loop through all pseudo-legal moves until no moves remain or a beta cutoff occurs
870     while ((move = mp.next_move()) != MOVE_NONE)
871     {
872       assert(is_ok(move));
873
874       if (move == excludedMove)
875           continue;
876
877       // At root obey the "searchmoves" option and skip moves not listed in Root
878       // Move List. As a consequence any illegal move is also skipped. In MultiPV
879       // mode we also skip PV moves which have been already searched.
880       if (RootNode && !std::count(thisThread->rootMoves.begin() + thisThread->PVIdx,
881                                   thisThread->rootMoves.end(), move))
882           continue;
883
884       ss->moveCount = ++moveCount;
885
886       if (RootNode && thisThread == Threads.main() && Time.elapsed() > 3000)
887           sync_cout << "info depth " << depth / ONE_PLY
888                     << " currmove " << UCI::move(move, pos.is_chess960())
889                     << " currmovenumber " << moveCount + thisThread->PVIdx << sync_endl;
890
891       if (PvNode)
892           (ss+1)->pv = nullptr;
893
894       extension = DEPTH_ZERO;
895       captureOrPromotion = pos.capture_or_promotion(move);
896
897       givesCheck =  type_of(move) == NORMAL && !ci.dcCandidates
898                   ? ci.checkSquares[type_of(pos.piece_on(from_sq(move)))] & to_sq(move)
899                   : pos.gives_check(move, ci);
900
901       // Step 12. Extend checks
902       if (givesCheck && pos.see_sign(move) >= VALUE_ZERO)
903           extension = ONE_PLY;
904
905       // Singular extension search. If all moves but one fail low on a search of
906       // (alpha-s, beta-s), and just one fails high on (alpha, beta), then that move
907       // is singular and should be extended. To verify this we do a reduced search
908       // on all the other moves but the ttMove and if the result is lower than
909       // ttValue minus a margin then we extend the ttMove.
910       if (    singularExtensionNode
911           &&  move == ttMove
912           && !extension
913           &&  pos.legal(move, ci.pinned))
914       {
915           Value rBeta = ttValue - 2 * depth / ONE_PLY;
916           ss->excludedMove = move;
917           ss->skipEarlyPruning = true;
918           value = search<NonPV>(pos, ss, rBeta - 1, rBeta, depth / 2, cutNode);
919           ss->skipEarlyPruning = false;
920           ss->excludedMove = MOVE_NONE;
921
922           if (value < rBeta)
923               extension = ONE_PLY;
924       }
925
926       // Update the current move (this must be done after singular extension search)
927       newDepth = depth - ONE_PLY + extension;
928
929       // Step 13. Pruning at shallow depth
930       if (   !RootNode
931           && !captureOrPromotion
932           && !inCheck
933           && !givesCheck
934           && !pos.advanced_pawn_push(move)
935           &&  bestValue > VALUE_MATED_IN_MAX_PLY)
936       {
937           // Move count based pruning
938           if (   depth < 16 * ONE_PLY
939               && moveCount >= FutilityMoveCounts[improving][depth])
940               continue;
941
942           // History based pruning
943           if (   depth <= 4 * ONE_PLY
944               && move != ss->killers[0]
945               && thisThread->history[pos.moved_piece(move)][to_sq(move)] < VALUE_ZERO
946               && cmh[pos.moved_piece(move)][to_sq(move)] < VALUE_ZERO)
947               continue;
948
949           predictedDepth = newDepth - reduction<PvNode>(improving, depth, moveCount);
950
951           // Futility pruning: parent node
952           if (predictedDepth < 7 * ONE_PLY)
953           {
954               futilityValue = ss->staticEval + futility_margin(predictedDepth) + 256;
955
956               if (futilityValue <= alpha)
957               {
958                   bestValue = std::max(bestValue, futilityValue);
959                   continue;
960               }
961           }
962
963           // Prune moves with negative SEE at low depths
964           if (predictedDepth < 4 * ONE_PLY && pos.see_sign(move) < VALUE_ZERO)
965               continue;
966       }
967
968       // Speculative prefetch as early as possible
969       prefetch(TT.first_entry(pos.key_after(move)));
970
971       // Check for legality just before making the move
972       if (!RootNode && !pos.legal(move, ci.pinned))
973       {
974           ss->moveCount = --moveCount;
975           continue;
976       }
977
978       ss->currentMove = move;
979
980       // Step 14. Make the move
981       pos.do_move(move, st, givesCheck);
982
983       // Step 15. Reduced depth search (LMR). If the move fails high it will be
984       // re-searched at full depth.
985       if (    depth >= 3 * ONE_PLY
986           &&  moveCount > 1
987           && !captureOrPromotion)
988       {
989           Depth r = reduction<PvNode>(improving, depth, moveCount);
990
991           // Increase reduction for cut nodes and moves with a bad history
992           if (   (!PvNode && cutNode)
993               || (   thisThread->history[pos.piece_on(to_sq(move))][to_sq(move)] < VALUE_ZERO
994                   && cmh[pos.piece_on(to_sq(move))][to_sq(move)] <= VALUE_ZERO))
995               r += ONE_PLY;
996
997           // Decrease reduction for moves with a good history
998           if (   thisThread->history[pos.piece_on(to_sq(move))][to_sq(move)] > VALUE_ZERO
999               && cmh[pos.piece_on(to_sq(move))][to_sq(move)] > VALUE_ZERO)
1000               r = std::max(DEPTH_ZERO, r - ONE_PLY);
1001
1002           // Decrease reduction for moves that escape a capture
1003           if (   r
1004               && type_of(move) == NORMAL
1005               && type_of(pos.piece_on(to_sq(move))) != PAWN
1006               && pos.see(make_move(to_sq(move), from_sq(move))) < VALUE_ZERO)
1007               r = std::max(DEPTH_ZERO, r - ONE_PLY);
1008
1009           Depth d = std::max(newDepth - r, ONE_PLY);
1010
1011           value = -search<NonPV>(pos, ss+1, -(alpha+1), -alpha, d, true);
1012
1013           doFullDepthSearch = (value > alpha && r != DEPTH_ZERO);
1014       }
1015       else
1016           doFullDepthSearch = !PvNode || moveCount > 1;
1017
1018       // Step 16. Full depth search, when LMR is skipped or fails high
1019       if (doFullDepthSearch)
1020           value = newDepth <   ONE_PLY ?
1021                             givesCheck ? -qsearch<NonPV,  true>(pos, ss+1, -(alpha+1), -alpha, DEPTH_ZERO)
1022                                        : -qsearch<NonPV, false>(pos, ss+1, -(alpha+1), -alpha, DEPTH_ZERO)
1023                                        : - search<NonPV>(pos, ss+1, -(alpha+1), -alpha, newDepth, !cutNode);
1024
1025       // For PV nodes only, do a full PV search on the first move or after a fail
1026       // high (in the latter case search only if value < beta), otherwise let the
1027       // parent node fail low with value <= alpha and to try another move.
1028       if (PvNode && (moveCount == 1 || (value > alpha && (RootNode || value < beta))))
1029       {
1030           (ss+1)->pv = pv;
1031           (ss+1)->pv[0] = MOVE_NONE;
1032
1033           value = newDepth <   ONE_PLY ?
1034                             givesCheck ? -qsearch<PV,  true>(pos, ss+1, -beta, -alpha, DEPTH_ZERO)
1035                                        : -qsearch<PV, false>(pos, ss+1, -beta, -alpha, DEPTH_ZERO)
1036                                        : - search<PV>(pos, ss+1, -beta, -alpha, newDepth, false);
1037       }
1038
1039       // Step 17. Undo move
1040       pos.undo_move(move);
1041
1042       assert(value > -VALUE_INFINITE && value < VALUE_INFINITE);
1043
1044       // Step 18. Check for new best move
1045       // Finished searching the move. If a stop occurred, the return value of
1046       // the search cannot be trusted, and we return immediately without
1047       // updating best move, PV and TT.
1048       if (Signals.stop.load(std::memory_order_relaxed))
1049           return VALUE_ZERO;
1050
1051       if (RootNode)
1052       {
1053           RootMove& rm = *std::find(thisThread->rootMoves.begin(),
1054                                     thisThread->rootMoves.end(), move);
1055
1056           // PV move or new best move ?
1057           if (moveCount == 1 || value > alpha)
1058           {
1059               rm.score = value;
1060               rm.pv.resize(1);
1061
1062               assert((ss+1)->pv);
1063
1064               for (Move* m = (ss+1)->pv; *m != MOVE_NONE; ++m)
1065                   rm.pv.push_back(*m);
1066
1067               // We record how often the best move has been changed in each
1068               // iteration. This information is used for time management: When
1069               // the best move changes frequently, we allocate some more time.
1070               if (moveCount > 1 && thisThread == Threads.main())
1071                   ++static_cast<MainThread*>(thisThread)->bestMoveChanges;
1072           }
1073           else
1074               // All other moves but the PV are set to the lowest value: this is
1075               // not a problem when sorting because the sort is stable and the
1076               // move position in the list is preserved - just the PV is pushed up.
1077               rm.score = -VALUE_INFINITE;
1078       }
1079
1080       if (value > bestValue)
1081       {
1082           bestValue = value;
1083
1084           if (value > alpha)
1085           {
1086               // If there is an easy move for this position, clear it if unstable
1087               if (    PvNode
1088                   &&  thisThread == Threads.main()
1089                   &&  EasyMove.get(pos.key())
1090                   && (move != EasyMove.get(pos.key()) || moveCount > 1))
1091                   EasyMove.clear();
1092
1093               bestMove = move;
1094
1095               if (PvNode && !RootNode) // Update pv even in fail-high case
1096                   update_pv(ss->pv, move, (ss+1)->pv);
1097
1098               if (PvNode && value < beta) // Update alpha! Always alpha < beta
1099                   alpha = value;
1100               else
1101               {
1102                   assert(value >= beta); // Fail high
1103                   break;
1104               }
1105           }
1106       }
1107
1108       if (!captureOrPromotion && move != bestMove && quietCount < 64)
1109           quietsSearched[quietCount++] = move;
1110     }
1111
1112     // Following condition would detect a stop only after move loop has been
1113     // completed. But in this case bestValue is valid because we have fully
1114     // searched our subtree, and we can anyhow save the result in TT.
1115     /*
1116        if (Signals.stop)
1117         return VALUE_DRAW;
1118     */
1119
1120     // Step 20. Check for mate and stalemate
1121     // All legal moves have been searched and if there are no legal moves, it
1122     // must be mate or stalemate. If we are in a singular extension search then
1123     // return a fail low score.
1124     if (!moveCount)
1125         bestValue = excludedMove ? alpha
1126                    :     inCheck ? mated_in(ss->ply) : DrawValue[pos.side_to_move()];
1127
1128     // Quiet best move: update killers, history and countermoves
1129     else if (bestMove && !pos.capture_or_promotion(bestMove))
1130         update_stats(pos, ss, bestMove, depth, quietsSearched, quietCount);
1131
1132     // Bonus for prior countermove that caused the fail low
1133     else if (    depth >= 3 * ONE_PLY
1134              && !bestMove
1135              && !inCheck
1136              && !pos.captured_piece_type()
1137              && is_ok((ss - 1)->currentMove)
1138              && is_ok((ss - 2)->currentMove))
1139     {
1140         Value bonus = Value((depth / ONE_PLY) * (depth / ONE_PLY) + depth / ONE_PLY - 1);
1141         Square prevPrevSq = to_sq((ss - 2)->currentMove);
1142         CounterMovesStats& prevCmh = CounterMovesHistory[pos.piece_on(prevPrevSq)][prevPrevSq];
1143         prevCmh.update(pos.piece_on(prevSq), prevSq, bonus);
1144     }
1145
1146     tte->save(posKey, value_to_tt(bestValue, ss->ply),
1147               bestValue >= beta ? BOUND_LOWER :
1148               PvNode && bestMove ? BOUND_EXACT : BOUND_UPPER,
1149               depth, bestMove, ss->staticEval, TT.generation());
1150
1151     assert(bestValue > -VALUE_INFINITE && bestValue < VALUE_INFINITE);
1152
1153     return bestValue;
1154   }
1155
1156
1157   // qsearch() is the quiescence search function, which is called by the main
1158   // search function when the remaining depth is zero (or, to be more precise,
1159   // less than ONE_PLY).
1160
1161   template <NodeType NT, bool InCheck>
1162   Value qsearch(Position& pos, Stack* ss, Value alpha, Value beta, Depth depth) {
1163
1164     const bool PvNode = NT == PV;
1165
1166     assert(NT == PV || NT == NonPV);
1167     assert(InCheck == !!pos.checkers());
1168     assert(alpha >= -VALUE_INFINITE && alpha < beta && beta <= VALUE_INFINITE);
1169     assert(PvNode || (alpha == beta - 1));
1170     assert(depth <= DEPTH_ZERO);
1171
1172     Move pv[MAX_PLY+1];
1173     StateInfo st;
1174     TTEntry* tte;
1175     Key posKey;
1176     Move ttMove, move, bestMove;
1177     Value bestValue, value, ttValue, futilityValue, futilityBase, oldAlpha;
1178     bool ttHit, givesCheck, evasionPrunable;
1179     Depth ttDepth;
1180
1181     if (PvNode)
1182     {
1183         oldAlpha = alpha; // To flag BOUND_EXACT when eval above alpha and no available moves
1184         (ss+1)->pv = pv;
1185         ss->pv[0] = MOVE_NONE;
1186     }
1187
1188     ss->currentMove = bestMove = MOVE_NONE;
1189     ss->ply = (ss-1)->ply + 1;
1190
1191     // Check for an instant draw or if the maximum ply has been reached
1192     if (pos.is_draw() || ss->ply >= MAX_PLY)
1193         return ss->ply >= MAX_PLY && !InCheck ? evaluate(pos)
1194                                               : DrawValue[pos.side_to_move()];
1195
1196     assert(0 <= ss->ply && ss->ply < MAX_PLY);
1197
1198     // Decide whether or not to include checks: this fixes also the type of
1199     // TT entry depth that we are going to use. Note that in qsearch we use
1200     // only two types of depth in TT: DEPTH_QS_CHECKS or DEPTH_QS_NO_CHECKS.
1201     ttDepth = InCheck || depth >= DEPTH_QS_CHECKS ? DEPTH_QS_CHECKS
1202                                                   : DEPTH_QS_NO_CHECKS;
1203
1204     // Transposition table lookup
1205     posKey = pos.key();
1206     tte = TT.probe(posKey, ttHit);
1207     ttMove = ttHit ? tte->move() : MOVE_NONE;
1208     ttValue = ttHit ? value_from_tt(tte->value(), ss->ply) : VALUE_NONE;
1209
1210     if (  !PvNode
1211         && ttHit
1212         && tte->depth() >= ttDepth
1213         && ttValue != VALUE_NONE // Only in case of TT access race
1214         && (ttValue >= beta ? (tte->bound() &  BOUND_LOWER)
1215                             : (tte->bound() &  BOUND_UPPER)))
1216     {
1217         ss->currentMove = ttMove; // Can be MOVE_NONE
1218         return ttValue;
1219     }
1220
1221     // Evaluate the position statically
1222     if (InCheck)
1223     {
1224         ss->staticEval = VALUE_NONE;
1225         bestValue = futilityBase = -VALUE_INFINITE;
1226     }
1227     else
1228     {
1229         if (ttHit)
1230         {
1231             // Never assume anything on values stored in TT
1232             if ((ss->staticEval = bestValue = tte->eval()) == VALUE_NONE)
1233                 ss->staticEval = bestValue = evaluate(pos);
1234
1235             // Can ttValue be used as a better position evaluation?
1236             if (ttValue != VALUE_NONE)
1237                 if (tte->bound() & (ttValue > bestValue ? BOUND_LOWER : BOUND_UPPER))
1238                     bestValue = ttValue;
1239         }
1240         else
1241             ss->staticEval = bestValue =
1242             (ss-1)->currentMove != MOVE_NULL ? evaluate(pos)
1243                                              : -(ss-1)->staticEval + 2 * Eval::Tempo;
1244
1245         // Stand pat. Return immediately if static value is at least beta
1246         if (bestValue >= beta)
1247         {
1248             if (!ttHit)
1249                 tte->save(pos.key(), value_to_tt(bestValue, ss->ply), BOUND_LOWER,
1250                           DEPTH_NONE, MOVE_NONE, ss->staticEval, TT.generation());
1251
1252             return bestValue;
1253         }
1254
1255         if (PvNode && bestValue > alpha)
1256             alpha = bestValue;
1257
1258         futilityBase = bestValue + 128;
1259     }
1260
1261     // Initialize a MovePicker object for the current position, and prepare
1262     // to search the moves. Because the depth is <= 0 here, only captures,
1263     // queen promotions and checks (only if depth >= DEPTH_QS_CHECKS) will
1264     // be generated.
1265     MovePicker mp(pos, ttMove, depth, pos.this_thread()->history, to_sq((ss-1)->currentMove));
1266     CheckInfo ci(pos);
1267
1268     // Loop through the moves until no moves remain or a beta cutoff occurs
1269     while ((move = mp.next_move()) != MOVE_NONE)
1270     {
1271       assert(is_ok(move));
1272
1273       givesCheck =  type_of(move) == NORMAL && !ci.dcCandidates
1274                   ? ci.checkSquares[type_of(pos.piece_on(from_sq(move)))] & to_sq(move)
1275                   : pos.gives_check(move, ci);
1276
1277       // Futility pruning
1278       if (   !InCheck
1279           && !givesCheck
1280           &&  futilityBase > -VALUE_KNOWN_WIN
1281           && !pos.advanced_pawn_push(move))
1282       {
1283           assert(type_of(move) != ENPASSANT); // Due to !pos.advanced_pawn_push
1284
1285           futilityValue = futilityBase + PieceValue[EG][pos.piece_on(to_sq(move))];
1286
1287           if (futilityValue <= alpha)
1288           {
1289               bestValue = std::max(bestValue, futilityValue);
1290               continue;
1291           }
1292
1293           if (futilityBase <= alpha && pos.see(move) <= VALUE_ZERO)
1294           {
1295               bestValue = std::max(bestValue, futilityBase);
1296               continue;
1297           }
1298       }
1299
1300       // Detect non-capture evasions that are candidates to be pruned
1301       evasionPrunable =    InCheck
1302                        &&  bestValue > VALUE_MATED_IN_MAX_PLY
1303                        && !pos.capture(move);
1304
1305       // Don't search moves with negative SEE values
1306       if (  (!InCheck || evasionPrunable)
1307           &&  type_of(move) != PROMOTION
1308           &&  pos.see_sign(move) < VALUE_ZERO)
1309           continue;
1310
1311       // Speculative prefetch as early as possible
1312       prefetch(TT.first_entry(pos.key_after(move)));
1313
1314       // Check for legality just before making the move
1315       if (!pos.legal(move, ci.pinned))
1316           continue;
1317
1318       ss->currentMove = move;
1319
1320       // Make and search the move
1321       pos.do_move(move, st, givesCheck);
1322       value = givesCheck ? -qsearch<NT,  true>(pos, ss+1, -beta, -alpha, depth - ONE_PLY)
1323                          : -qsearch<NT, false>(pos, ss+1, -beta, -alpha, depth - ONE_PLY);
1324       pos.undo_move(move);
1325
1326       assert(value > -VALUE_INFINITE && value < VALUE_INFINITE);
1327
1328       // Check for new best move
1329       if (value > bestValue)
1330       {
1331           bestValue = value;
1332
1333           if (value > alpha)
1334           {
1335               if (PvNode) // Update pv even in fail-high case
1336                   update_pv(ss->pv, move, (ss+1)->pv);
1337
1338               if (PvNode && value < beta) // Update alpha here!
1339               {
1340                   alpha = value;
1341                   bestMove = move;
1342               }
1343               else // Fail high
1344               {
1345                   tte->save(posKey, value_to_tt(value, ss->ply), BOUND_LOWER,
1346                             ttDepth, move, ss->staticEval, TT.generation());
1347
1348                   return value;
1349               }
1350           }
1351        }
1352     }
1353
1354     // All legal moves have been searched. A special case: If we're in check
1355     // and no legal moves were found, it is checkmate.
1356     if (InCheck && bestValue == -VALUE_INFINITE)
1357         return mated_in(ss->ply); // Plies to mate from the root
1358
1359     tte->save(posKey, value_to_tt(bestValue, ss->ply),
1360               PvNode && bestValue > oldAlpha ? BOUND_EXACT : BOUND_UPPER,
1361               ttDepth, bestMove, ss->staticEval, TT.generation());
1362
1363     assert(bestValue > -VALUE_INFINITE && bestValue < VALUE_INFINITE);
1364
1365     return bestValue;
1366   }
1367
1368
1369   // value_to_tt() adjusts a mate score from "plies to mate from the root" to
1370   // "plies to mate from the current position". Non-mate scores are unchanged.
1371   // The function is called before storing a value in the transposition table.
1372
1373   Value value_to_tt(Value v, int ply) {
1374
1375     assert(v != VALUE_NONE);
1376
1377     return  v >= VALUE_MATE_IN_MAX_PLY  ? v + ply
1378           : v <= VALUE_MATED_IN_MAX_PLY ? v - ply : v;
1379   }
1380
1381
1382   // value_from_tt() is the inverse of value_to_tt(): It adjusts a mate score
1383   // from the transposition table (which refers to the plies to mate/be mated
1384   // from current position) to "plies to mate/be mated from the root".
1385
1386   Value value_from_tt(Value v, int ply) {
1387
1388     return  v == VALUE_NONE             ? VALUE_NONE
1389           : v >= VALUE_MATE_IN_MAX_PLY  ? v - ply
1390           : v <= VALUE_MATED_IN_MAX_PLY ? v + ply : v;
1391   }
1392
1393
1394   // update_pv() adds current move and appends child pv[]
1395
1396   void update_pv(Move* pv, Move move, Move* childPv) {
1397
1398     for (*pv++ = move; childPv && *childPv != MOVE_NONE; )
1399         *pv++ = *childPv++;
1400     *pv = MOVE_NONE;
1401   }
1402
1403
1404   // update_stats() updates killers, history, countermove and countermove
1405   // history when a new quiet best move is found.
1406
1407   void update_stats(const Position& pos, Stack* ss, Move move,
1408                     Depth depth, Move* quiets, int quietsCnt) {
1409
1410     if (ss->killers[0] != move)
1411     {
1412         ss->killers[1] = ss->killers[0];
1413         ss->killers[0] = move;
1414     }
1415
1416     Value bonus = Value((depth / ONE_PLY) * (depth / ONE_PLY) + depth / ONE_PLY - 1);
1417
1418     Square prevSq = to_sq((ss-1)->currentMove);
1419     CounterMovesStats& cmh = CounterMovesHistory[pos.piece_on(prevSq)][prevSq];
1420     Thread* thisThread = pos.this_thread();
1421
1422     thisThread->history.update(pos.moved_piece(move), to_sq(move), bonus);
1423
1424     if (is_ok((ss-1)->currentMove))
1425     {
1426         thisThread->counterMoves.update(pos.piece_on(prevSq), prevSq, move);
1427         cmh.update(pos.moved_piece(move), to_sq(move), bonus);
1428     }
1429
1430     // Decrease all the other played quiet moves
1431     for (int i = 0; i < quietsCnt; ++i)
1432     {
1433         thisThread->history.update(pos.moved_piece(quiets[i]), to_sq(quiets[i]), -bonus);
1434
1435         if (is_ok((ss-1)->currentMove))
1436             cmh.update(pos.moved_piece(quiets[i]), to_sq(quiets[i]), -bonus);
1437     }
1438
1439     // Extra penalty for a quiet TT move in previous ply when it gets refuted
1440     if (   (ss-1)->moveCount == 1
1441         && !pos.captured_piece_type()
1442         && is_ok((ss-2)->currentMove))
1443     {
1444         Square prevPrevSq = to_sq((ss-2)->currentMove);
1445         CounterMovesStats& prevCmh = CounterMovesHistory[pos.piece_on(prevPrevSq)][prevPrevSq];
1446         prevCmh.update(pos.piece_on(prevSq), prevSq, -bonus - 2 * (depth + 1) / ONE_PLY);
1447     }
1448   }
1449
1450
1451   // When playing with strength handicap, choose best move among a set of RootMoves
1452   // using a statistical rule dependent on 'level'. Idea by Heinz van Saanen.
1453
1454   Move Skill::pick_best(size_t multiPV) {
1455
1456     const Search::RootMoveVector& rootMoves = Threads.main()->rootMoves;
1457     static PRNG rng(now()); // PRNG sequence should be non-deterministic
1458
1459     // RootMoves are already sorted by score in descending order
1460     Value topScore = rootMoves[0].score;
1461     int delta = std::min(topScore - rootMoves[multiPV - 1].score, PawnValueMg);
1462     int weakness = 120 - 2 * level;
1463     int maxScore = -VALUE_INFINITE;
1464
1465     // Choose best move. For each move score we add two terms, both dependent on
1466     // weakness. One deterministic and bigger for weaker levels, and one random,
1467     // then we choose the move with the resulting highest score.
1468     for (size_t i = 0; i < multiPV; ++i)
1469     {
1470         // This is our magic formula
1471         int push = (  weakness * int(topScore - rootMoves[i].score)
1472                     + delta * (rng.rand<unsigned>() % weakness)) / 128;
1473
1474         if (rootMoves[i].score + push > maxScore)
1475         {
1476             maxScore = rootMoves[i].score + push;
1477             best = rootMoves[i].pv[0];
1478         }
1479     }
1480
1481     return best;
1482   }
1483
1484
1485   // check_time() is used to print debug info and, more importantly, to detect
1486   // when we are out of available time and thus stop the search.
1487
1488   void check_time() {
1489
1490     static TimePoint lastInfoTime = now();
1491
1492     int elapsed = Time.elapsed();
1493     TimePoint tick = Limits.startTime + elapsed;
1494
1495     if (tick - lastInfoTime >= 1000)
1496     {
1497         lastInfoTime = tick;
1498         dbg_print();
1499     }
1500
1501     // An engine may not stop pondering until told so by the GUI
1502     if (Limits.ponder)
1503         return;
1504
1505     if (   (Limits.use_time_management() && elapsed > Time.maximum() - 10)
1506         || (Limits.movetime && elapsed >= Limits.movetime)
1507         || (Limits.nodes && Threads.nodes_searched() >= Limits.nodes))
1508             Signals.stop = true;
1509   }
1510
1511 } // namespace
1512
1513
1514 /// UCI::pv() formats PV information according to the UCI protocol. UCI requires
1515 /// that all (if any) unsearched PV lines are sent using a previous search score.
1516
1517 string UCI::pv(const Position& pos, Depth depth, Value alpha, Value beta) {
1518
1519   std::stringstream ss;
1520   int elapsed = Time.elapsed() + 1;
1521   const Search::RootMoveVector& rootMoves = pos.this_thread()->rootMoves;
1522   size_t PVIdx = pos.this_thread()->PVIdx;
1523   size_t multiPV = std::min((size_t)Options["MultiPV"], rootMoves.size());
1524   uint64_t nodes_searched = Threads.nodes_searched();
1525
1526   for (size_t i = 0; i < multiPV; ++i)
1527   {
1528       bool updated = (i <= PVIdx);
1529
1530       if (depth == ONE_PLY && !updated)
1531           continue;
1532
1533       Depth d = updated ? depth : depth - ONE_PLY;
1534       Value v = updated ? rootMoves[i].score : rootMoves[i].previousScore;
1535
1536       bool tb = TB::RootInTB && abs(v) < VALUE_MATE - MAX_PLY;
1537       v = tb ? TB::Score : v;
1538
1539       if (ss.rdbuf()->in_avail()) // Not at first line
1540           ss << "\n";
1541
1542       ss << "info"
1543          << " depth "    << d / ONE_PLY
1544          << " seldepth " << pos.this_thread()->maxPly
1545          << " multipv "  << i + 1
1546          << " score "    << UCI::value(v);
1547
1548       if (!tb && i == PVIdx)
1549           ss << (v >= beta ? " lowerbound" : v <= alpha ? " upperbound" : "");
1550
1551       ss << " nodes "    << nodes_searched
1552          << " nps "      << nodes_searched * 1000 / elapsed;
1553
1554       if (elapsed > 1000) // Earlier makes little sense
1555           ss << " hashfull " << TT.hashfull();
1556
1557       ss << " tbhits "   << TB::Hits
1558          << " time "     << elapsed
1559          << " pv";
1560
1561       for (Move m : rootMoves[i].pv)
1562           ss << " " << UCI::move(m, pos.is_chess960());
1563   }
1564
1565   return ss.str();
1566 }
1567
1568
1569 /// RootMove::insert_pv_in_tt() is called at the end of a search iteration, and
1570 /// inserts the PV back into the TT. This makes sure the old PV moves are searched
1571 /// first, even if the old TT entries have been overwritten.
1572
1573 void RootMove::insert_pv_in_tt(Position& pos) {
1574
1575   StateInfo state[MAX_PLY], *st = state;
1576   bool ttHit;
1577
1578   for (Move m : pv)
1579   {
1580       assert(MoveList<LEGAL>(pos).contains(m));
1581
1582       TTEntry* tte = TT.probe(pos.key(), ttHit);
1583
1584       if (!ttHit || tte->move() != m) // Don't overwrite correct entries
1585           tte->save(pos.key(), VALUE_NONE, BOUND_NONE, DEPTH_NONE,
1586                     m, VALUE_NONE, TT.generation());
1587
1588       pos.do_move(m, *st++, pos.gives_check(m, CheckInfo(pos)));
1589   }
1590
1591   for (size_t i = pv.size(); i > 0; )
1592       pos.undo_move(pv[--i]);
1593 }
1594
1595
1596 /// RootMove::extract_ponder_from_tt() is called in case we have no ponder move
1597 /// before exiting the search, for instance in case we stop the search during a
1598 /// fail high at root. We try hard to have a ponder move to return to the GUI,
1599 /// otherwise in case of 'ponder on' we have nothing to think on.
1600
1601 bool RootMove::extract_ponder_from_tt(Position& pos)
1602 {
1603     StateInfo st;
1604     bool ttHit;
1605
1606     assert(pv.size() == 1);
1607
1608     pos.do_move(pv[0], st, pos.gives_check(pv[0], CheckInfo(pos)));
1609     TTEntry* tte = TT.probe(pos.key(), ttHit);
1610     pos.undo_move(pv[0]);
1611
1612     if (ttHit)
1613     {
1614         Move m = tte->move(); // Local copy to be SMP safe
1615         if (MoveList<LEGAL>(pos).contains(m))
1616            return pv.push_back(m), true;
1617     }
1618
1619     return false;
1620 }