]> git.sesse.net Git - stockfish/blobdiff - src/search.cpp
Use posKey instead of pos.get_key() after NonPVIID
[stockfish] / src / search.cpp
index 64cdf1c4e5fac5f27d679e7ed4c2ad865c961a19..6090233089bdcacd7d1f514507925e029e4730cf 100644 (file)
@@ -23,6 +23,7 @@
 ////
 
 #include <cassert>
+#include <cmath>
 #include <cstring>
 #include <fstream>
 #include <iostream>
@@ -52,26 +53,6 @@ namespace {
 
   /// Types
 
-  // IterationInfoType stores search results for each iteration
-  //
-  // Because we use relatively small (dynamic) aspiration window,
-  // there happens many fail highs and fail lows in root. And
-  // because we don't do researches in those cases, "value" stored
-  // here is not necessarily exact. Instead in case of fail high/low
-  // we guess what the right value might be and store our guess
-  // as a "speculated value" and then move on. Speculated values are
-  // used just to calculate aspiration window width, so also if are
-  // not exact is not big a problem.
-
-  struct IterationInfoType {
-
-    IterationInfoType(Value v = Value(0), Value sv = Value(0))
-    : value(v), speculatedValue(sv) {}
-
-    Value value, speculatedValue;
-  };
-
-
   // The BetaCounterType class is used to order moves at ply one.
   // Apart for the first one that has its score, following moves
   // normally have score -VALUE_INFINITE, so are ordered according
@@ -161,17 +142,6 @@ namespace {
   // better than the second best move.
   const Value EasyMoveMargin = Value(0x200);
 
-  // Problem margin. If the score of the first move at iteration N+1 has
-  // dropped by more than this since iteration N, the boolean variable
-  // "Problem" is set to true, which will make the program spend some extra
-  // time looking for a better move.
-  const Value ProblemMargin = Value(0x28);
-
-  // No problem margin. If the boolean "Problem" is true, and a new move
-  // is found at the root which is less than NoProblemMargin worse than the
-  // best move from the previous iteration, Problem is set back to false.
-  const Value NoProblemMargin = Value(0x14);
-
   // Null move margin. A null move search will not be done if the static
   // evaluation of the position is more than NullMoveMargin below beta.
   const Value NullMoveMargin = Value(0x200);
@@ -184,6 +154,8 @@ namespace {
   // and near frontier nodes.
   const Value FutilityMarginQS = Value(0x80);
 
+  Value FutilityMargins[2 * PLY_MAX_PLUS_2]; // Initialized at startup.
+
   // Each move futility margin is decreased
   const Value IncrementalFutilityMargin = Value(0x8);
 
@@ -192,9 +164,6 @@ namespace {
 
   /// Variables initialized by UCI options
 
-  // Minimum number of full depth (i.e. non-reduced) moves at PV and non-PV nodes
-  int LMRPVMoves, LMRNonPVMoves;
-
   // Depth limit for use of dynamic threat detection
   Depth ThreatDepth;
 
@@ -213,9 +182,12 @@ namespace {
   BetaCounterType BetaCounter;
 
   // Scores and number of times the best move changed for each iteration
-  IterationInfoType IterationInfo[PLY_MAX_PLUS_2];
+  Value ValueByIteration[PLY_MAX_PLUS_2];
   int BestMoveChangesByIteration[PLY_MAX_PLUS_2];
 
+  // Search window management
+  int AspirationDelta;
+
   // MultiPV mode
   int MultiPV;
 
@@ -226,7 +198,7 @@ namespace {
   int MaxSearchTime, AbsoluteMaxSearchTime, ExtraSearchTime, ExactMaxTime;
   bool UseTimeManagement, InfiniteSearch, PonderSearch, StopOnPonderhit;
   bool AbortSearch, Quit;
-  bool FailHigh, FailLow, Problem;
+  bool AspirationFailLow;
 
   // Show current line?
   bool ShowCurrentLine;
@@ -235,6 +207,14 @@ namespace {
   bool UseLogFile;
   std::ofstream LogFile;
 
+  // Reduction lookup tables and their getter functions
+  // Initialized at startup
+  int8_t    PVReductionMatrix[64][64]; // [depth][moveNumber]
+  int8_t NonPVReductionMatrix[64][64]; // [depth][moveNumber]
+
+  inline Depth    pv_reduction(Depth d, int mn) { return (Depth)    PVReductionMatrix[Min(d / 2, 63)][Min(mn, 63)]; }
+  inline Depth nonpv_reduction(Depth d, int mn) { return (Depth) NonPVReductionMatrix[Min(d / 2, 63)][Min(mn, 63)]; }
+
   // MP related variables
   int ActiveThreads = 1;
   Depth MinimumSplitDepth;
@@ -261,11 +241,10 @@ namespace {
   // History table
   History H;
 
-
   /// Functions
 
   Value id_loop(const Position& pos, Move searchMoves[]);
-  Value root_search(Position& pos, SearchStack ss[], RootMoveList& rml, Value alpha, Value beta);
+  Value root_search(Position& pos, SearchStack ss[], RootMoveList& rml, Value& oldAlpha, Value& beta);
   Value search_pv(Position& pos, SearchStack ss[], Value alpha, Value beta, Depth depth, int ply, int threadID);
   Value search(Position& pos, SearchStack ss[], Value beta, Depth depth, int ply, bool allowNullmove, int threadID, Move excludedMove = MOVE_NONE);
   Value qsearch(Position& pos, SearchStack ss[], Value alpha, Value beta, Depth depth, int ply, int threadID);
@@ -284,8 +263,8 @@ namespace {
   Value refine_eval(const TTEntry* tte, Value defaultEval, int ply);
   void update_history(const Position& pos, Move move, Depth depth, Move movesSearched[], int moveCount);
   void update_killers(Move m, SearchStack& ss);
+  void update_gains(const Position& pos, Move move, Value before, Value after);
 
-  bool fail_high_ply_1();
   int current_search_time();
   int nps();
   void poll();
@@ -319,13 +298,6 @@ namespace {
 //// Functions
 ////
 
-//FIXME: HACK
-static double lnArray[512];
-
-inline double ln(int i)
-{
-    return lnArray[i];
-}
 
 /// perft() is our utility to verify move generation is bug free. All the legal
 /// moves up to given depth are generated and counted and the sum returned.
@@ -368,7 +340,7 @@ bool think(const Position& pos, bool infinite, bool ponder, int side_to_move,
 
   // Initialize global search variables
   Idle = StopOnPonderhit = AbortSearch = Quit = false;
-  FailHigh = FailLow = Problem = false;
+  AspirationFailLow = false;
   NodesSincePoll = 0;
   SearchStartTime = get_system_time();
   ExactMaxTime = maxTime;
@@ -379,7 +351,7 @@ bool think(const Position& pos, bool infinite, bool ponder, int side_to_move,
   UseTimeManagement = !ExactMaxTime && !MaxDepth && !MaxNodes && !InfiniteSearch;
 
   // Look for a book move, only during games, not tests
-  if (UseTimeManagement && !ponder && get_option_value_bool("OwnBook"))
+  if (UseTimeManagement && get_option_value_bool("OwnBook"))
   {
       Move bookMove;
       if (get_option_value_string("Book File") != OpeningBook.file_name())
@@ -388,6 +360,9 @@ bool think(const Position& pos, bool infinite, bool ponder, int side_to_move,
       bookMove = OpeningBook.get_move(pos);
       if (bookMove != MOVE_NONE)
       {
+          if (PonderSearch)
+              wait_for_stop_or_ponderhit();
+
           cout << "bestmove " << bookMove << endl;
           return true;
       }
@@ -396,7 +371,6 @@ bool think(const Position& pos, bool infinite, bool ponder, int side_to_move,
   for (int i = 0; i < THREAD_MAX; i++)
   {
       Threads[i].nodes = 0ULL;
-      Threads[i].failHighPly1 = false;
   }
 
   if (button_was_pressed("New Game"))
@@ -428,8 +402,6 @@ bool think(const Position& pos, bool infinite, bool ponder, int side_to_move,
   MateThreatExtension[1] = Depth(get_option_value_int("Mate Threat Extension (PV nodes)"));
   MateThreatExtension[0] = Depth(get_option_value_int("Mate Threat Extension (non-PV nodes)"));
 
-  LMRPVMoves    = get_option_value_int("Full Depth Moves (PV nodes)") + 1;
-  LMRNonPVMoves = get_option_value_int("Full Depth Moves (non-PV nodes)") + 1;
   ThreatDepth   = get_option_value_int("Threat Depth") * OnePly;
 
   Chess960 = get_option_value_bool("UCI_Chess960");
@@ -449,6 +421,10 @@ bool think(const Position& pos, bool infinite, bool ponder, int side_to_move,
   {
       ActiveThreads = newActiveThreads;
       init_eval(ActiveThreads);
+      // HACK: init_eval() destroys the static castleRightsMask[] array in the
+      // Position class. The below line repairs the damage.
+      Position p(pos.to_fen());
+      assert(pos.is_ok());
   }
 
   // Wake up sleeping threads
@@ -527,7 +503,6 @@ bool think(const Position& pos, bool infinite, bool ponder, int side_to_move,
   // We're ready to start thinking. Call the iterative deepening loop function
   Value v = id_loop(pos, searchMoves);
 
-
   if (UseLSNFiltering)
   {
       // Step 1. If this is sudden death game and our position is hopeless,
@@ -559,20 +534,33 @@ bool think(const Position& pos, bool infinite, bool ponder, int side_to_move,
 /// and initializes the split point stack and the global locks and condition
 /// objects.
 
-#include <cmath> //FIXME: HACK
-
 void init_threads() {
 
-  // FIXME: HACK!!
-  for (int i = 0; i < 512; i++)
-    lnArray[i] = log(double(i));
-
   volatile int i;
+  bool ok;
 
 #if !defined(_MSC_VER)
   pthread_t pthread[1];
 #endif
 
+  // Init our reduction lookup tables
+  for (i = 1; i < 64; i++) // i == depth
+      for (int j = 1; j < 64; j++) // j == moveNumber
+      {
+          double    pvRed = 0.5 + log(double(i)) * log(double(j)) / 6.0;
+          double nonPVRed = 0.5 + log(double(i)) * log(double(j)) / 3.0;
+          PVReductionMatrix[i][j]    = (int8_t) (   pvRed >= 1.0 ? floor(   pvRed * int(OnePly)) : 0);
+          NonPVReductionMatrix[i][j] = (int8_t) (nonPVRed >= 1.0 ? floor(nonPVRed * int(OnePly)) : 0);
+      }
+
+  // Init futility margins array
+  FutilityMargins[0] = FutilityMargins[1] = Value(0);
+
+  for (i = 2; i < 2 * PLY_MAX_PLUS_2; i++)
+  {
+      FutilityMargins[i] = Value(112 * bitScanReverse32(i * i / 2)); // FIXME: test using log instead of BSR
+  }
+
   for (i = 0; i < THREAD_MAX; i++)
       Threads[i].activeSplitPoints = 0;
 
@@ -603,12 +591,18 @@ void init_threads() {
   for (i = 1; i < THREAD_MAX; i++)
   {
 #if !defined(_MSC_VER)
-      pthread_create(pthread, NULL, init_thread, (void*)(&i));
+      ok = (pthread_create(pthread, NULL, init_thread, (void*)(&i)) == 0);
 #else
       DWORD iID[1];
-      CreateThread(NULL, 0, init_thread, (LPVOID)(&i), 0, iID);
+      ok = (CreateThread(NULL, 0, init_thread, (LPVOID)(&i), 0, iID) != NULL);
 #endif
 
+      if (!ok)
+      {
+          cout << "Failed to create thread number " << i << endl;
+          Application::exit_with_failure();
+      }
+
       // Wait until the thread has finished launching
       while (!Threads[i].running);
   }
@@ -653,6 +647,7 @@ void SearchStack::init(int ply) {
   currentMove = threatMove = MOVE_NONE;
   reduction = Depth(0);
   eval = VALUE_NONE;
+  evalInfo = NULL;
 }
 
 void SearchStack::initKillers() {
@@ -677,6 +672,7 @@ namespace {
     // searchMoves are verified, copied, scored and sorted
     RootMoveList rml(p, searchMoves);
 
+    // Handle special case of searching on a mate/stale position
     if (rml.move_count() == 0)
     {
         if (PonderSearch)
@@ -698,7 +694,7 @@ namespace {
     TT.new_search();
     H.clear();
     init_ss_array(ss);
-    IterationInfo[1] = IterationInfoType(rml.get_move_score(0), rml.get_move_score(0));
+    ValueByIteration[1] = rml.get_move_score(0);
     Iteration = 1;
 
     // Is one move significantly better than others after initial scoring ?
@@ -722,15 +718,16 @@ namespace {
         // Calculate dynamic search window based on previous iterations
         Value alpha, beta;
 
-        if (MultiPV == 1 && Iteration >= 6 && abs(IterationInfo[Iteration - 1].value) < VALUE_KNOWN_WIN)
+        if (MultiPV == 1 && Iteration >= 6 && abs(ValueByIteration[Iteration - 1]) < VALUE_KNOWN_WIN)
         {
-            int prevDelta1 = IterationInfo[Iteration - 1].speculatedValue - IterationInfo[Iteration - 2].speculatedValue;
-            int prevDelta2 = IterationInfo[Iteration - 2].speculatedValue - IterationInfo[Iteration - 3].speculatedValue;
+            int prevDelta1 = ValueByIteration[Iteration - 1] - ValueByIteration[Iteration - 2];
+            int prevDelta2 = ValueByIteration[Iteration - 2] - ValueByIteration[Iteration - 3];
 
-            int delta = Max(2 * abs(prevDelta1) + abs(prevDelta2), ProblemMargin);
+            AspirationDelta = Max(abs(prevDelta1) + abs(prevDelta2) / 2, 16);
+            AspirationDelta = (AspirationDelta + 7) / 8 * 8; // Round to match grainSize
 
-            alpha = Max(IterationInfo[Iteration - 1].value - delta, -VALUE_INFINITE);
-            beta  = Min(IterationInfo[Iteration - 1].value + delta,  VALUE_INFINITE);
+            alpha = Max(ValueByIteration[Iteration - 1] - AspirationDelta, -VALUE_INFINITE);
+            beta  = Min(ValueByIteration[Iteration - 1] + AspirationDelta,  VALUE_INFINITE);
         }
         else
         {
@@ -749,39 +746,12 @@ namespace {
             break; // Value cannot be trusted. Break out immediately!
 
         //Save info about search result
-        Value speculatedValue;
-        bool fHigh = false;
-        bool fLow = false;
-        Value delta = value - IterationInfo[Iteration - 1].value;
-
-        if (value >= beta)
-        {
-            assert(delta > 0);
-
-            fHigh = true;
-            speculatedValue = value + delta;
-            BestMoveChangesByIteration[Iteration] += 2; // Allocate more time
-        }
-        else if (value <= alpha)
-        {
-            assert(value == alpha);
-            assert(delta < 0);
-
-            fLow = true;
-            speculatedValue = value + delta;
-            BestMoveChangesByIteration[Iteration] += 3; // Allocate more time
-        } else
-            speculatedValue = value;
-
-        speculatedValue = Min(Max(speculatedValue, -VALUE_INFINITE), VALUE_INFINITE);
-        IterationInfo[Iteration] = IterationInfoType(value, speculatedValue);
+        ValueByIteration[Iteration] = value;
 
         // Drop the easy move if it differs from the new best move
         if (ss[0].pv[0] != EasyMove)
             EasyMove = MOVE_NONE;
 
-        Problem = false;
-
         if (UseTimeManagement)
         {
             // Time to stop?
@@ -794,15 +764,13 @@ namespace {
 
             // Stop search early when the last two iterations returned a mate score
             if (  Iteration >= 6
-                && abs(IterationInfo[Iteration].value) >= abs(VALUE_MATE) - 100
-                && abs(IterationInfo[Iteration-1].value) >= abs(VALUE_MATE) - 100)
+                && abs(ValueByIteration[Iteration]) >= abs(VALUE_MATE) - 100
+                && abs(ValueByIteration[Iteration-1]) >= abs(VALUE_MATE) - 100)
                 stopSearch = true;
 
             // Stop search early if one move seems to be much better than the rest
             int64_t nodes = nodes_searched();
             if (   Iteration >= 8
-                && !fLow
-                && !fHigh
                 && EasyMove == ss[0].pv[0]
                 && (  (   rml.get_move_cumulative_nodes(0) > (nodes * 85) / 100
                        && current_search_time() > MaxSearchTime / 16)
@@ -883,148 +851,118 @@ namespace {
   // similar to search_pv except that it uses a different move ordering
   // scheme and prints some information to the standard output.
 
-  Value root_search(Position& pos, SearchStack ss[], RootMoveList& rml, Value alpha, Value beta) {
+  Value root_search(Position& pos, SearchStack ss[], RootMoveList& rml, Value& oldAlpha, Value& beta) {
 
-    Value oldAlpha = alpha;
+    int64_t nodes;
+    Move move;
+    StateInfo st;
+    Depth depth, ext, newDepth;
     Value value;
     CheckInfo ci(pos);
+    int researchCount = 0;
+    bool moveIsCheck, captureOrPromotion, dangerous;
+    Value alpha = oldAlpha;
+    bool isCheck = pos.is_check();
+
+    // Evaluate the position statically
+    EvalInfo ei;
+    ss[0].eval = !isCheck ? evaluate(pos, ei, 0) : VALUE_NONE;
 
-    // Loop through all the moves in the root move list
-    for (int i = 0; i <  rml.move_count() && !AbortSearch; i++)
+    while (1) // Fail low loop
     {
-        if (alpha >= beta)
-        {
-            // We failed high, invalidate and skip next moves, leave node-counters
-            // and beta-counters as they are and quickly return, we will try to do
-            // a research at the next iteration with a bigger aspiration window.
-            rml.set_move_score(i, -VALUE_INFINITE);
-            continue;
-        }
-        int64_t nodes;
-        Move move;
-        StateInfo st;
-        Depth depth, ext, newDepth;
 
-        RootMoveNumber = i + 1;
-        FailHigh = false;
+        // Loop through all the moves in the root move list
+        for (int i = 0; i <  rml.move_count() && !AbortSearch; i++)
+        {
+            if (alpha >= beta)
+            {
+                // We failed high, invalidate and skip next moves, leave node-counters
+                // and beta-counters as they are and quickly return, we will try to do
+                // a research at the next iteration with a bigger aspiration window.
+                rml.set_move_score(i, -VALUE_INFINITE);
+                continue;
+            }
 
-        // Save the current node count before the move is searched
-        nodes = nodes_searched();
+            RootMoveNumber = i + 1;
 
-        // Reset beta cut-off counters
-        BetaCounter.clear();
+            // Save the current node count before the move is searched
+            nodes = nodes_searched();
 
-        // Pick the next root move, and print the move and the move number to
-        // the standard output.
-        move = ss[0].currentMove = rml.get_move(i);
+            // Reset beta cut-off counters
+            BetaCounter.clear();
 
-        if (current_search_time() >= 1000)
-            cout << "info currmove " << move
-                 << " currmovenumber " << RootMoveNumber << endl;
+            // Pick the next root move, and print the move and the move number to
+            // the standard output.
+            move = ss[0].currentMove = rml.get_move(i);
 
-        // Decide search depth for this move
-        bool moveIsCheck = pos.move_is_check(move);
-        bool captureOrPromotion = pos.move_is_capture_or_promotion(move);
-        bool dangerous;
-        depth =  (Iteration - 2) * OnePly + InitialDepth;
-        ext = extension(pos, move, true, captureOrPromotion, moveIsCheck, false, false, &dangerous);
-        newDepth = depth + ext;
+            if (current_search_time() >= 1000)
+                cout << "info currmove " << move
+                     << " currmovenumber " << RootMoveNumber << endl;
 
-        // Make the move, and search it
-        pos.do_move(move, st, ci, moveIsCheck);
+            // Decide search depth for this move
+            moveIsCheck = pos.move_is_check(move);
+            captureOrPromotion = pos.move_is_capture_or_promotion(move);
+            depth = (Iteration - 2) * OnePly + InitialDepth;
+            ext = extension(pos, move, true, captureOrPromotion, moveIsCheck, false, false, &dangerous);
+            newDepth = depth + ext;
 
-        if (i < MultiPV)
-        {
-            // Aspiration window is disabled in multi-pv case
-            if (MultiPV > 1)
-                alpha = -VALUE_INFINITE;
+            value = - VALUE_INFINITE;
 
-            value = -search_pv(pos, ss, -beta, -alpha, newDepth, 1, 0);
+            while (1) // Fail high loop
+            {
 
-            // If the value has dropped a lot compared to the last iteration,
-            // set the boolean variable Problem to true. This variable is used
-            // for time managment: When Problem is true, we try to complete the
-            // current iteration before playing a move.
-            Problem = (   Iteration >= 2
-                       && value <= IterationInfo[Iteration - 1].value - ProblemMargin);
+                // Make the move, and search it
+                pos.do_move(move, st, ci, moveIsCheck);
 
-            if (Problem && StopOnPonderhit)
-                StopOnPonderhit = false;
-        }
-        else
-        {
-            // Try to reduce non-pv search depth by one ply if move seems not problematic,
-            // if the move fails high will be re-searched at full depth.
-            if (   depth >= 3*OnePly // FIXME was newDepth
-                && !dangerous
-                && !captureOrPromotion
-                && !move_is_castle(move))
-            {
-                double red = 0.5 + ln(RootMoveNumber - MultiPV + 1) * ln(depth / 2) / 6.0;
-                if (red >= 1.0)
+                if (i < MultiPV || value > alpha)
                 {
-                    ss[0].reduction = Depth(int(floor(red * int(OnePly))));
-                    value = -search(pos, ss, -alpha, newDepth-ss[0].reduction, 1, true, 0);
+                    // Aspiration window is disabled in multi-pv case
+                    if (MultiPV > 1)
+                        alpha = -VALUE_INFINITE;
+
+                    value = -search_pv(pos, ss, -beta, -alpha, newDepth, 1, 0);
                 }
                 else
-                    value = alpha + 1; // Just to trigger next condition
-            } else
-                value = alpha + 1; // Just to trigger next condition
-
-            if (value > alpha)
-            {
-                value = -search(pos, ss, -alpha, newDepth, 1, true, 0);
-
-                if (value > alpha)
                 {
-                    // Fail high! Set the boolean variable FailHigh to true, and
-                    // re-search the move using a PV search. The variable FailHigh
-                    // is used for time managment: We try to avoid aborting the
-                    // search prematurely during a fail high research.
-                    FailHigh = true;
-                    value = -search_pv(pos, ss, -beta, -alpha, newDepth, 1, 0);
+                    // Try to reduce non-pv search depth by one ply if move seems not problematic,
+                    // if the move fails high will be re-searched at full depth.
+                    bool doFullDepthSearch = true;
+
+                    if (   depth >= 3*OnePly // FIXME was newDepth
+                        && !dangerous
+                        && !captureOrPromotion
+                        && !move_is_castle(move))
+                    {
+                        ss[0].reduction = pv_reduction(depth, RootMoveNumber - MultiPV + 1);
+                        if (ss[0].reduction)
+                        {
+                            value = -search(pos, ss, -alpha, newDepth-ss[0].reduction, 1, true, 0);
+                            doFullDepthSearch = (value > alpha);
+                        }
+                    }
+
+                    if (doFullDepthSearch)
+                    {
+                        ss[0].reduction = Depth(0);
+                        value = -search(pos, ss, -alpha, newDepth, 1, true, 0);
+
+                        if (value > alpha)
+                            value = -search_pv(pos, ss, -beta, -alpha, newDepth, 1, 0);
+                    }
                 }
-            }
-        }
 
-        pos.undo_move(move);
+                pos.undo_move(move);
 
-        // Finished searching the move. If AbortSearch is true, the search
-        // was aborted because the user interrupted the search or because we
-        // ran out of time. In this case, the return value of the search cannot
-        // be trusted, and we break out of the loop without updating the best
-        // move and/or PV.
-        if (AbortSearch)
-            break;
-
-        // Remember beta-cutoff and searched nodes counts for this move. The
-        // info is used to sort the root moves at the next iteration.
-        int64_t our, their;
-        BetaCounter.read(pos.side_to_move(), our, their);
-        rml.set_beta_counters(i, our, their);
-        rml.set_move_nodes(i, nodes_searched() - nodes);
-
-        assert(value >= -VALUE_INFINITE && value <= VALUE_INFINITE);
-
-        if (value <= alpha && i >= MultiPV)
-            rml.set_move_score(i, -VALUE_INFINITE);
-        else
-        {
-            // PV move or new best move!
-
-            // Update PV
-            rml.set_move_score(i, value);
-            update_pv(ss, 0);
-            TT.extract_pv(pos, ss[0].pv, PLY_MAX);
-            rml.set_move_pv(i, ss[0].pv);
+                // Can we exit fail high loop ?
+                if (AbortSearch || value < beta)
+                    break;
 
-            if (MultiPV == 1)
-            {
-                // We record how often the best move has been changed in each
-                // iteration. This information is used for time managment: When
-                // the best move changes frequently, we allocate some more time.
-                if (i > 0)
-                    BestMoveChangesByIteration[Iteration]++;
+                // We are failing high and going to do a research. It's important to update score
+                // before research in case we run out of time while researching.
+                rml.set_move_score(i, value);
+                update_pv(ss, 0);
+                TT.extract_pv(pos, ss[0].pv, PLY_MAX);
+                rml.set_move_pv(i, ss[0].pv);
 
                 // Print search information to the standard output
                 cout << "info depth " << Iteration
@@ -1049,40 +987,117 @@ namespace {
                     LogFile << pretty_pv(pos, current_search_time(), Iteration,
                                          nodes_searched(), value, type, ss[0].pv) << endl;
                 }
-                if (value > alpha)
-                    alpha = value;
 
-                // Reset the global variable Problem to false if the value isn't too
-                // far below the final value from the last iteration.
-                if (value > IterationInfo[Iteration - 1].value - NoProblemMargin)
-                    Problem = false;
-            }
-            else // MultiPV > 1
+                // Prepare for a research after a fail high, each time with a wider window
+                researchCount++;
+                beta = Min(beta + AspirationDelta * (1 << researchCount), VALUE_INFINITE);
+
+            } // End of fail high loop
+
+            // Finished searching the move. If AbortSearch is true, the search
+            // was aborted because the user interrupted the search or because we
+            // ran out of time. In this case, the return value of the search cannot
+            // be trusted, and we break out of the loop without updating the best
+            // move and/or PV.
+            if (AbortSearch)
+                break;
+
+            // Remember beta-cutoff and searched nodes counts for this move. The
+            // info is used to sort the root moves at the next iteration.
+            int64_t our, their;
+            BetaCounter.read(pos.side_to_move(), our, their);
+            rml.set_beta_counters(i, our, their);
+            rml.set_move_nodes(i, nodes_searched() - nodes);
+
+            assert(value >= -VALUE_INFINITE && value <= VALUE_INFINITE);
+
+            if (value <= alpha && i >= MultiPV)
+                rml.set_move_score(i, -VALUE_INFINITE);
+            else
             {
-                rml.sort_multipv(i);
-                for (int j = 0; j < Min(MultiPV, rml.move_count()); j++)
+                // PV move or new best move!
+
+                // Update PV
+                rml.set_move_score(i, value);
+                update_pv(ss, 0);
+                TT.extract_pv(pos, ss[0].pv, PLY_MAX);
+                rml.set_move_pv(i, ss[0].pv);
+
+                if (MultiPV == 1)
                 {
-                    cout << "info multipv " << j + 1
-                         << " score " << value_to_string(rml.get_move_score(j))
-                         << " depth " << ((j <= i)? Iteration : Iteration - 1)
-                         << " time " << current_search_time()
+                    // We record how often the best move has been changed in each
+                    // iteration. This information is used for time managment: When
+                    // the best move changes frequently, we allocate some more time.
+                    if (i > 0)
+                        BestMoveChangesByIteration[Iteration]++;
+
+                    // Print search information to the standard output
+                    cout << "info depth " << Iteration
+                         << " score " << value_to_string(value)
+                         << ((value >= beta) ? " lowerbound" :
+                            ((value <= alpha)? " upperbound" : ""))
+                         << " time "  << current_search_time()
                          << " nodes " << nodes_searched()
-                         << " nps " << nps()
+                         << " nps "   << nps()
                          << " pv ";
 
-                    for (int k = 0; rml.get_move_pv(j, k) != MOVE_NONE && k < PLY_MAX; k++)
-                        cout << rml.get_move_pv(j, k) << " ";
+                    for (int j = 0; ss[0].pv[j] != MOVE_NONE && j < PLY_MAX; j++)
+                        cout << ss[0].pv[j] << " ";
 
                     cout << endl;
+
+                    if (UseLogFile)
+                    {
+                        ValueType type =  (value >= beta  ? VALUE_TYPE_LOWER
+                                        : (value <= alpha ? VALUE_TYPE_UPPER : VALUE_TYPE_EXACT));
+
+                        LogFile << pretty_pv(pos, current_search_time(), Iteration,
+                                             nodes_searched(), value, type, ss[0].pv) << endl;
+                    }
+                    if (value > alpha)
+                        alpha = value;
                 }
-                alpha = rml.get_move_score(Min(i, MultiPV-1));
-            }
-        } // PV move or new best move
+                else // MultiPV > 1
+                {
+                    rml.sort_multipv(i);
+                    for (int j = 0; j < Min(MultiPV, rml.move_count()); j++)
+                    {
+                        cout << "info multipv " << j + 1
+                             << " score " << value_to_string(rml.get_move_score(j))
+                             << " depth " << ((j <= i)? Iteration : Iteration - 1)
+                             << " time " << current_search_time()
+                             << " nodes " << nodes_searched()
+                             << " nps " << nps()
+                             << " pv ";
+
+                        for (int k = 0; rml.get_move_pv(j, k) != MOVE_NONE && k < PLY_MAX; k++)
+                            cout << rml.get_move_pv(j, k) << " ";
+
+                        cout << endl;
+                    }
+                    alpha = rml.get_move_score(Min(i, MultiPV-1));
+                }
+            } // PV move or new best move
 
-        assert(alpha >= oldAlpha);
+            assert(alpha >= oldAlpha);
+
+            AspirationFailLow = (alpha == oldAlpha);
+
+            if (AspirationFailLow && StopOnPonderhit)
+                StopOnPonderhit = false;
+        }
+
+        // Can we exit fail low loop ?
+        if (AbortSearch || alpha > oldAlpha)
+            break;
+
+        // Prepare for a research after a fail low, each time with a wider window
+        researchCount++;
+        alpha = Max(alpha - AspirationDelta * (1 << researchCount), -VALUE_INFINITE);
+        oldAlpha = alpha;
+
+    } // Fail low loop
 
-        FailLow = (alpha == oldAlpha);
-    }
     return alpha;
   }
 
@@ -1105,7 +1120,7 @@ namespace {
     Value oldAlpha, value;
     bool isCheck, mateThreat, singleEvasion, moveIsCheck, captureOrPromotion, dangerous;
     int moveCount = 0;
-    Value bestValue = -VALUE_INFINITE;
+    Value bestValue = value = -VALUE_INFINITE;
 
     if (depth < OnePly)
         return qsearch(pos, ss, alpha, beta, Depth(0), ply, threadID);
@@ -1150,9 +1165,18 @@ namespace {
         tte = TT.retrieve(pos.get_key());
     }
 
+    isCheck = pos.is_check();
+    if (!isCheck)
+    {
+        // Update gain statistics of the previous move that lead
+        // us in this position.
+        EvalInfo ei;
+        ss[ply].eval = evaluate(pos, ei, threadID);
+        update_gains(pos, ss[ply - 1].currentMove, ss[ply - 1].eval, ss[ply].eval);
+    }
+
     // Initialize a MovePicker object for the current position, and prepare
     // to search all moves
-    isCheck = pos.is_check();
     mateThreat = pos.has_mate_threat(opposite_color(pos.side_to_move()));
     CheckInfo ci(pos);
     MovePicker mp = MovePicker(pos, ttMove, depth, H, &ss[ply]);
@@ -1207,42 +1231,28 @@ namespace {
       {
         // Try to reduce non-pv search depth by one ply if move seems not problematic,
         // if the move fails high will be re-searched at full depth.
+        bool doFullDepthSearch = true;
+
         if (    depth >= 3*OnePly
             && !dangerous
             && !captureOrPromotion
             && !move_is_castle(move)
             && !move_is_killer(move, ss[ply]))
         {
-          double red = 0.5 + ln(moveCount) * ln(depth / 2) / 6.0;
-          if (red >= 1.0)
-          {
-              ss[ply].reduction = Depth(int(floor(red * int(OnePly))));
-              value = -search(pos, ss, -alpha, newDepth-ss[ply].reduction, ply+1, true, threadID);
-          }
-          else
-              value = alpha + 1; // Just to trigger next condition
+            ss[ply].reduction = pv_reduction(depth, moveCount);
+            if (ss[ply].reduction)
+            {
+                value = -search(pos, ss, -alpha, newDepth-ss[ply].reduction, ply+1, true, threadID);
+                doFullDepthSearch = (value > alpha);
+            }
         }
-        else
-            value = alpha + 1; // Just to trigger next condition
 
-        if (value > alpha) // Go with full depth non-pv search
+        if (doFullDepthSearch) // Go with full depth non-pv search
         {
             ss[ply].reduction = Depth(0);
             value = -search(pos, ss, -alpha, newDepth, ply+1, true, threadID);
             if (value > alpha && value < beta)
-            {
-                // When the search fails high at ply 1 while searching the first
-                // move at the root, set the flag failHighPly1. This is used for
-                // time managment:  We don't want to stop the search early in
-                // such cases, because resolving the fail high at ply 1 could
-                // result in a big drop in score at the root.
-                if (ply == 1 && RootMoveNumber == 1)
-                    Threads[threadID].failHighPly1 = true;
-
-                // A fail high occurred. Re-search at full window (pv search)
                 value = -search_pv(pos, ss, -beta, -alpha, newDepth, ply+1, threadID);
-                Threads[threadID].failHighPly1 = false;
-          }
         }
       }
       pos.undo_move(move);
@@ -1260,13 +1270,6 @@ namespace {
               if (value == value_mate_in(ply + 1))
                   ss[ply].mateKiller = move;
           }
-          // If we are at ply 1, and we are searching the first root move at
-          // ply 0, set the 'Problem' variable if the score has dropped a lot
-          // (from the computer's point of view) since the previous iteration.
-          if (   ply == 1
-              && Iteration >= 2
-              && -value <= IterationInfo[Iteration-1].value - ProblemMargin)
-              Problem = true;
       }
 
       // Split?
@@ -1329,10 +1332,10 @@ namespace {
     Move ttMove, move;
     Depth ext, newDepth;
     Value bestValue, staticValue, nullValue, value, futilityValue, futilityValueScaled;
-    bool isCheck, useFutilityPruning, singleEvasion, moveIsCheck, captureOrPromotion, dangerous;
+    bool isCheck, singleEvasion, moveIsCheck, captureOrPromotion, dangerous;
     bool mateThreat = false;
     int moveCount = 0;
-    futilityValue = staticValue = bestValue = -VALUE_INFINITE;
+    futilityValue = staticValue = bestValue = value = -VALUE_INFINITE;
 
     if (depth < OnePly)
         return qsearch(pos, ss, beta-1, beta, Depth(0), ply, threadID);
@@ -1373,23 +1376,33 @@ namespace {
 
     // Calculate depth dependant futility pruning parameters
     const int FutilityMoveCountMargin = 3 + (1 << (3 * int(depth) / 8));
-    const int FutilityValueMargin = 112 * bitScanReverse32(int(depth) * int(depth) / 2);
 
     // Evaluate the position statically
-    if (isCheck)
-        ss[ply].eval = VALUE_NONE;
-    else
+    if (!isCheck)
     {
         if (tte && (tte->type() & VALUE_TYPE_EVAL))
             staticValue = value_from_tt(tte->value(), ply);
         else
+        {
             staticValue = evaluate(pos, ei, threadID);
+            ss[ply].evalInfo = &ei;
+        }
 
         ss[ply].eval = staticValue;
-        futilityValue = staticValue + FutilityValueMargin;
+        futilityValue = staticValue + FutilityMargins[int(depth)]; //FIXME: Remove me, only for split
         staticValue = refine_eval(tte, staticValue, ply); // Enhance accuracy with TT value if possible
+        update_gains(pos, ss[ply - 1].currentMove, ss[ply - 1].eval, ss[ply].eval);
     }
 
+    // Static null move pruning. We're betting that the opponent doesn't have
+    // a move that will reduce the score by more than FutilityMargins[int(depth)]
+    // if we do a null move.
+    if (  !isCheck
+        && allowNullmove
+        && depth < RazorDepth
+        && staticValue - FutilityMargins[int(depth)] >= beta)
+        return staticValue - FutilityMargins[int(depth)];
+
     // Null move search
     if (    allowNullmove
         &&  depth > OnePly
@@ -1456,18 +1469,17 @@ namespace {
 
     // Go with internal iterative deepening if we don't have a TT move
     if (UseIIDAtNonPVNodes && ttMove == MOVE_NONE && depth >= 8*OnePly &&
-        !isCheck && evaluate(pos, ei, threadID) >= beta - IIDMargin)
+        !isCheck && ss[ply].eval >= beta - IIDMargin)
     {
         search(pos, ss, beta, Min(depth/2, depth-2*OnePly), ply, false, threadID);
         ttMove = ss[ply].pv[ply];
-        tte = TT.retrieve(pos.get_key());
+        tte = TT.retrieve(posKey);
     }
 
     // Initialize a MovePicker object for the current position, and prepare
     // to search all moves.
     MovePicker mp = MovePicker(pos, ttMove, depth, H, &ss[ply]);
     CheckInfo ci(pos);
-    useFutilityPruning = depth < SelectiveDepth && !isCheck;
 
     // Loop through all legal moves until no moves remain or a beta cutoff occurs
     while (   bestValue < beta
@@ -1514,9 +1526,10 @@ namespace {
       movesSearched[moveCount++] = ss[ply].currentMove = move;
 
       // Futility pruning
-      if (    useFutilityPruning
+      if (   !isCheck
           && !dangerous
           && !captureOrPromotion
+          && !move_is_castle(move)
           &&  move != ttMove)
       {
           // Move count based pruning
@@ -1526,13 +1539,29 @@ namespace {
               continue;
 
           // Value based pruning
-          futilityValueScaled = futilityValue - moveCount * IncrementalFutilityMargin;
+          Depth predictedDepth = newDepth;
+
+          //FIXME: We are ignoring condition: depth >= 3*OnePly, BUG??
+          ss[ply].reduction = nonpv_reduction(depth, moveCount);
+          if (ss[ply].reduction)
+              predictedDepth -= ss[ply].reduction;
 
-          if (futilityValueScaled < beta)
+          if (predictedDepth < SelectiveDepth)
           {
-              if (futilityValueScaled > bestValue)
-                  bestValue = futilityValueScaled;
-              continue;
+              int preFutilityValueMargin = 0;
+              if (predictedDepth >= OnePly)
+                  preFutilityValueMargin = FutilityMargins[int(predictedDepth)];
+
+              preFutilityValueMargin += H.gain(pos.piece_on(move_from(move)), move_to(move)) + 45;
+
+              futilityValueScaled = ss[ply].eval + preFutilityValueMargin - moveCount * IncrementalFutilityMargin;
+
+              if (futilityValueScaled < beta)
+              {
+                  if (futilityValueScaled > bestValue)
+                      bestValue = futilityValueScaled;
+                  continue;
+              }
           }
       }
 
@@ -1541,26 +1570,23 @@ namespace {
 
       // Try to reduce non-pv search depth by one ply if move seems not problematic,
       // if the move fails high will be re-searched at full depth.
+      bool doFullDepthSearch = true;
+
       if (    depth >= 3*OnePly
           && !dangerous
           && !captureOrPromotion
           && !move_is_castle(move)
-          && !move_is_killer(move, ss[ply])
-          /* && move != ttMove*/)
+          && !move_is_killer(move, ss[ply]))
       {
-          double red = 0.5 + ln(moveCount) * ln(depth / 2) / 3.0;
-          if (red >= 1.0)
+          ss[ply].reduction = nonpv_reduction(depth, moveCount);
+          if (ss[ply].reduction)
           {
-              ss[ply].reduction = Depth(int(floor(red * int(OnePly))));
               value = -search(pos, ss, -(beta-1), newDepth-ss[ply].reduction, ply+1, true, threadID);
+              doFullDepthSearch = (value >= beta);
           }
-          else
-              value = beta; // Just to trigger next condition
       }
-      else
-          value = beta; // Just to trigger next condition
 
-      if (value >= beta) // Go with full depth non-pv search
+      if (doFullDepthSearch) // Go with full depth non-pv search
       {
           ss[ply].reduction = Depth(0);
           value = -search(pos, ss, -(beta-1), newDepth, ply+1, true, threadID);
@@ -1588,7 +1614,7 @@ namespace {
           && idle_thread_exists(threadID)
           && !AbortSearch
           && !thread_should_stop(threadID)
-          && split(pos, ss, ply, &beta, &beta, &bestValue, futilityValue,
+          && split(pos, ss, ply, &beta, &beta, &bestValue, futilityValue, //FIXME: SMP & futilityValue
                    depth, &moveCount, &mp, threadID, false))
           break;
     }
@@ -1641,10 +1667,11 @@ namespace {
     StateInfo st;
     Move ttMove, move;
     Value staticValue, bestValue, value, futilityBase, futilityValue;
-    bool isCheck, enoughMaterial, moveIsCheck;
+    bool isCheck, enoughMaterial, moveIsCheck, evasionPrunable;
     const TTEntry* tte = NULL;
     int moveCount = 0;
     bool pvNode = (beta - alpha != 1);
+    Value oldAlpha = alpha;
 
     // Initialize, and make an early exit in case of an aborted search,
     // an instant draw, maximum ply reached, etc.
@@ -1680,6 +1707,12 @@ namespace {
     else
         staticValue = evaluate(pos, ei, threadID);
 
+    if (!isCheck)
+    {
+        ss[ply].eval = staticValue;
+        update_gains(pos, ss[ply - 1].currentMove, ss[ply - 1].eval, ss[ply].eval);
+    }
+
     // Initialize "stand pat score", and return it immediately if it is
     // at least beta.
     bestValue = staticValue;
@@ -1687,7 +1720,7 @@ namespace {
     if (bestValue >= beta)
     {
         // Store the score to avoid a future costly evaluation() call
-        if (!isCheck && !tte && ei.futilityMargin == 0)
+        if (!isCheck && !tte && ei.futilityMargin[pos.side_to_move()] == 0)
             TT.store(pos.get_key(), value_to_tt(bestValue, ply), VALUE_TYPE_EV_LO, Depth(-127*OnePly), MOVE_NONE);
 
         return bestValue;
@@ -1696,13 +1729,17 @@ namespace {
     if (bestValue > alpha)
         alpha = bestValue;
 
+    // If we are near beta then try to get a cutoff pushing checks a bit further
+    bool deepChecks = depth == -OnePly && staticValue >= beta - PawnValueMidgame / 8;
+
     // Initialize a MovePicker object for the current position, and prepare
-    // to search the moves.  Because the depth is <= 0 here, only captures,
-    // queen promotions and checks (only if depth == 0) will be generated.
-    MovePicker mp = MovePicker(pos, ttMove, depth, H);
+    // to search the moves. Because the depth is <= 0 here, only captures,
+    // queen promotions and checks (only if depth == 0 or depth == -OnePly
+    // and we are near beta) will be generated.
+    MovePicker mp = MovePicker(pos, ttMove, deepChecks ? Depth(0) : depth, H);
     CheckInfo ci(pos);
     enoughMaterial = pos.non_pawn_material(pos.side_to_move()) > RookValueMidgame;
-    futilityBase = staticValue + FutilityMarginQS + ei.futilityMargin;
+    futilityBase = staticValue + FutilityMarginQS + ei.futilityMargin[pos.side_to_move()];
 
     // Loop through the moves until no moves remain or a beta cutoff
     // occurs.
@@ -1738,8 +1775,15 @@ namespace {
           }
       }
 
-      // Don't search captures and checks with negative SEE values
-      if (   !isCheck
+      // Detect blocking evasions that are candidate to be pruned
+      evasionPrunable =   isCheck
+                       && bestValue != -VALUE_INFINITE
+                       && !pos.move_is_capture(move)
+                       && pos.type_of_piece_on(move_from(move)) != KING
+                       && !pos.can_castle(pos.side_to_move());
+
+      // Don't search moves with negative SEE values
+      if (   (!isCheck || evasionPrunable)
           &&  move != ttMove
           && !move_is_promotion(move)
           &&  pos.see_sign(move) < 0)
@@ -1771,14 +1815,14 @@ namespace {
 
     // Update transposition table
     Depth d = (depth == Depth(0) ? Depth(0) : Depth(-1));
-    if (bestValue < beta)
+    if (bestValue <= oldAlpha)
     {
         // If bestValue isn't changed it means it is still the static evaluation
         // of the node, so keep this info to avoid a future evaluation() call.
-        ValueType type = (bestValue == staticValue && !ei.futilityMargin ? VALUE_TYPE_EV_UP : VALUE_TYPE_UPPER);
+        ValueType type = (bestValue == staticValue && !ei.futilityMargin[pos.side_to_move()] ? VALUE_TYPE_EV_UP : VALUE_TYPE_UPPER);
         TT.store(pos.get_key(), value_to_tt(bestValue, ply), type, d, MOVE_NONE);
     }
-    else
+    else if (bestValue >= beta)
     {
         move = ss[ply].pv[ply];
         TT.store(pos.get_key(), value_to_tt(bestValue, ply), VALUE_TYPE_LOWER, d, move);
@@ -1787,6 +1831,8 @@ namespace {
         if (!pos.move_is_capture_or_promotion(move))
             update_killers(move, ss[ply]);
     }
+    else
+        TT.store(pos.get_key(), value_to_tt(bestValue, ply), VALUE_TYPE_EXACT, d, ss[ply].pv[ply]);
 
     assert(bestValue > -VALUE_INFINITE && bestValue < VALUE_INFINITE);
 
@@ -1807,33 +1853,34 @@ namespace {
     assert(threadID >= 0 && threadID < ActiveThreads);
     assert(ActiveThreads > 1);
 
-    Position pos = Position(sp->pos);
+    Position pos(*sp->pos);
     CheckInfo ci(pos);
     SearchStack* ss = sp->sstack[threadID];
-    Value value;
+    Value value = -VALUE_INFINITE;
     Move move;
+    int moveCount;
     bool isCheck = pos.is_check();
     bool useFutilityPruning =     sp->depth < SelectiveDepth
                               && !isCheck;
 
     const int FutilityMoveCountMargin = 3 + (1 << (3 * int(sp->depth) / 8));
 
-    while (    sp->bestValue < sp->beta
+    while (    lock_grab_bool(&(sp->lock))
+           &&  sp->bestValue < sp->beta
            && !thread_should_stop(threadID)
-           && (move = sp->mp->get_next_move(sp->lock)) != MOVE_NONE)
+           && (move = sp->mp->get_next_move()) != MOVE_NONE)
     {
+      moveCount = ++sp->moves;
+      lock_release(&(sp->lock));
+
       assert(move_is_ok(move));
 
       bool moveIsCheck = pos.move_is_check(move, ci);
       bool captureOrPromotion = pos.move_is_capture_or_promotion(move);
 
-      lock_grab(&(sp->lock));
-      int moveCount = ++sp->moves;
-      lock_release(&(sp->lock));
-
       ss[sp->ply].currentMove = move;
 
-      // Decide the new search depth.
+      // Decide the new search depth
       bool dangerous;
       Depth ext = extension(pos, move, false, captureOrPromotion, moveIsCheck, false, false, &dangerous);
       Depth newDepth = sp->depth - OnePly + ext;
@@ -1871,24 +1918,22 @@ namespace {
 
       // Try to reduce non-pv search depth by one ply if move seems not problematic,
       // if the move fails high will be re-searched at full depth.
+      bool doFullDepthSearch = true;
+
       if (   !dangerous
           && !captureOrPromotion
           && !move_is_castle(move)
           && !move_is_killer(move, ss[sp->ply]))
       {
-          double red = 0.5 + ln(moveCount) * ln(sp->depth / 2) / 3.0;
-          if (red >= 1.0)
+          ss[sp->ply].reduction = nonpv_reduction(sp->depth, moveCount);
+          if (ss[sp->ply].reduction)
           {
-              ss[sp->ply].reduction = Depth(int(floor(red * int(OnePly))));
               value = -search(pos, ss, -(sp->beta-1), newDepth-ss[sp->ply].reduction, sp->ply+1, true, threadID);
+              doFullDepthSearch = (value >= sp->beta);
           }
-          else
-              value = sp->beta; // Just to trigger next condition
       }
-      else
-          value = sp->beta; // Just to trigger next condition
 
-      if (value >= sp->beta) // Go with full depth non-pv search
+      if (doFullDepthSearch) // Go with full depth non-pv search
       {
           ss[sp->ply].reduction = Depth(0);
           value = -search(pos, ss, -(sp->beta - 1), newDepth, sp->ply+1, true, threadID);
@@ -1898,7 +1943,10 @@ namespace {
       assert(value > -VALUE_INFINITE && value < VALUE_INFINITE);
 
       if (thread_should_stop(threadID))
+      {
+          lock_grab(&(sp->lock));
           break;
+      }
 
       // New best move?
       if (value > sp->bestValue) // Less then 2% of cases
@@ -1921,7 +1969,7 @@ namespace {
       }
     }
 
-    lock_grab(&(sp->lock));
+    /* Here we have the lock still grabbed */
 
     // If this is the master thread and we have been asked to stop because of
     // a beta cutoff higher up in the tree, stop all slave threads.
@@ -1950,28 +1998,29 @@ namespace {
     assert(threadID >= 0 && threadID < ActiveThreads);
     assert(ActiveThreads > 1);
 
-    Position pos = Position(sp->pos);
+    Position pos(*sp->pos);
     CheckInfo ci(pos);
     SearchStack* ss = sp->sstack[threadID];
-    Value value;
+    Value value = -VALUE_INFINITE;
+    int moveCount;
     Move move;
 
-    while (    sp->alpha < sp->beta
+    while (    lock_grab_bool(&(sp->lock))
+           &&  sp->alpha < sp->beta
            && !thread_should_stop(threadID)
-           && (move = sp->mp->get_next_move(sp->lock)) != MOVE_NONE)
+           && (move = sp->mp->get_next_move()) != MOVE_NONE)
     {
-      bool moveIsCheck = pos.move_is_check(move, ci);
-      bool captureOrPromotion = pos.move_is_capture_or_promotion(move);
+      moveCount = ++sp->moves;
+      lock_release(&(sp->lock));
 
       assert(move_is_ok(move));
 
-      lock_grab(&(sp->lock));
-      int moveCount = ++sp->moves;
-      lock_release(&(sp->lock));
+      bool moveIsCheck = pos.move_is_check(move, ci);
+      bool captureOrPromotion = pos.move_is_capture_or_promotion(move);
 
       ss[sp->ply].currentMove = move;
 
-      // Decide the new search depth.
+      // Decide the new search depth
       bool dangerous;
       Depth ext = extension(pos, move, true, captureOrPromotion, moveIsCheck, false, false, &dangerous);
       Depth newDepth = sp->depth - OnePly + ext;
@@ -1982,40 +2031,37 @@ namespace {
 
       // Try to reduce non-pv search depth by one ply if move seems not problematic,
       // if the move fails high will be re-searched at full depth.
+      bool doFullDepthSearch = true;
+
       if (   !dangerous
           && !captureOrPromotion
           && !move_is_castle(move)
           && !move_is_killer(move, ss[sp->ply]))
       {
-          double red = 0.5 + ln(moveCount) * ln(sp->depth / 2) / 6.0;
-          if (red >= 1.0)
+          ss[sp->ply].reduction = pv_reduction(sp->depth, moveCount);
+          if (ss[sp->ply].reduction)
           {
-              ss[sp->ply].reduction = Depth(int(floor(red * int(OnePly))));
-              value = -search(pos, ss, -sp->alpha, newDepth-ss[sp->ply].reduction, sp->ply+1, true, threadID);
+              Value localAlpha = sp->alpha;
+              value = -search(pos, ss, -localAlpha, newDepth-ss[sp->ply].reduction, sp->ply+1, true, threadID);
+              doFullDepthSearch = (value > localAlpha);
           }
-          else
-              value = sp->alpha + 1; // Just to trigger next condition
       }
-      else
-          value = sp->alpha + 1; // Just to trigger next condition
 
-      if (value > sp->alpha) // Go with full depth non-pv search
+      if (doFullDepthSearch) // Go with full depth non-pv search
       {
+          Value localAlpha = sp->alpha;
           ss[sp->ply].reduction = Depth(0);
-          value = -search(pos, ss, -sp->alpha, newDepth, sp->ply+1, true, threadID);
+          value = -search(pos, ss, -localAlpha, newDepth, sp->ply+1, true, threadID);
 
-          if (value > sp->alpha && value < sp->beta)
+          if (value > localAlpha && value < sp->beta)
           {
-              // When the search fails high at ply 1 while searching the first
-              // move at the root, set the flag failHighPly1.  This is used for
-              // time managment: We don't want to stop the search early in
-              // such cases, because resolving the fail high at ply 1 could
-              // result in a big drop in score at the root.
-              if (sp->ply == 1 && RootMoveNumber == 1)
-                  Threads[threadID].failHighPly1 = true;
-
-              value = -search_pv(pos, ss, -sp->beta, -sp->alpha, newDepth, sp->ply+1, threadID);
-              Threads[threadID].failHighPly1 = false;
+              // If another thread has failed high then sp->alpha has been increased
+              // to be higher or equal then beta, if so, avoid to start a PV search.
+              localAlpha = sp->alpha;
+              if (localAlpha < sp->beta)
+                  value = -search_pv(pos, ss, -sp->beta, -localAlpha, newDepth, sp->ply+1, threadID);
+              else
+                  assert(thread_should_stop(threadID));
         }
       }
       pos.undo_move(move);
@@ -2023,41 +2069,42 @@ namespace {
       assert(value > -VALUE_INFINITE && value < VALUE_INFINITE);
 
       if (thread_should_stop(threadID))
+      {
+          lock_grab(&(sp->lock));
           break;
+      }
 
       // New best move?
-      lock_grab(&(sp->lock));
-      if (value > sp->bestValue && !thread_should_stop(threadID))
+      if (value > sp->bestValue) // Less then 2% of cases
       {
-          sp->bestValue = value;
-          if (value > sp->alpha)
+          lock_grab(&(sp->lock));
+          if (value > sp->bestValue && !thread_should_stop(threadID))
           {
-              sp->alpha = value;
-              sp_update_pv(sp->parentSstack, ss, sp->ply);
-              if (value == value_mate_in(sp->ply + 1))
-                  ss[sp->ply].mateKiller = move;
-
-              if (value >= sp->beta)
+              sp->bestValue = value;
+              if (value > sp->alpha)
               {
-                  for (int i = 0; i < ActiveThreads; i++)
-                      if (i != threadID && (i == sp->master || sp->slaves[i]))
-                          Threads[i].stop = true;
+                  // Ask threads to stop before to modify sp->alpha
+                  if (value >= sp->beta)
+                  {
+                      for (int i = 0; i < ActiveThreads; i++)
+                          if (i != threadID && (i == sp->master || sp->slaves[i]))
+                              Threads[i].stop = true;
 
-                  sp->finished = true;
+                      sp->finished = true;
+                  }
+
+                  sp->alpha = value;
+
+                  sp_update_pv(sp->parentSstack, ss, sp->ply);
+                  if (value == value_mate_in(sp->ply + 1))
+                      ss[sp->ply].mateKiller = move;
               }
-        }
-        // If we are at ply 1, and we are searching the first root move at
-        // ply 0, set the 'Problem' variable if the score has dropped a lot
-        // (from the computer's point of view) since the previous iteration.
-        if (   sp->ply == 1
-            && Iteration >= 2
-            && -value <= IterationInfo[Iteration-1].value - ProblemMargin)
-            Problem = true;
+          }
+          lock_release(&(sp->lock));
       }
-      lock_release(&(sp->lock));
     }
 
-    lock_grab(&(sp->lock));
+    /* Here we have the lock still grabbed */
 
     // If this is the master thread and we have been asked to stop because of
     // a beta cutoff higher up in the tree, stop all slave threads.
@@ -2105,7 +2152,9 @@ namespace {
 
   RootMoveList::RootMoveList(Position& pos, Move searchMoves[]) : count(0) {
 
+    SearchStack ss[PLY_MAX_PLUS_2];
     MoveStack mlist[MaxRootMoves];
+    StateInfo st;
     bool includeAllMoves = (searchMoves[0] == MOVE_NONE);
 
     // Generate all legal moves
@@ -2123,16 +2172,13 @@ namespace {
             continue;
 
         // Find a quick score for the move
-        StateInfo st;
-        SearchStack ss[PLY_MAX_PLUS_2];
         init_ss_array(ss);
-
+        pos.do_move(cur->move, st);
         moves[count].move = cur->move;
-        pos.do_move(moves[count].move, st);
         moves[count].score = -qsearch(pos, ss, -VALUE_INFINITE, VALUE_INFINITE, Depth(0), 1, 0);
-        pos.undo_move(moves[count].move);
-        moves[count].pv[0] = moves[count].move;
+        moves[count].pv[0] = cur->move;
         moves[count].pv[1] = MOVE_NONE;
+        pos.undo_move(cur->move);
         count++;
     }
     sort();
@@ -2436,9 +2482,8 @@ namespace {
 
     Square mfrom, mto, tfrom, tto;
 
-    // Prune if there isn't any threat move and
-    // is not a castling move (common case).
-    if (threat == MOVE_NONE && !move_is_castle(m))
+    // Prune if there isn't any threat move
+    if (threat == MOVE_NONE)
         return true;
 
     mfrom = move_from(m);
@@ -2446,15 +2491,11 @@ namespace {
     tfrom = move_from(threat);
     tto = move_to(threat);
 
-    // Case 1: Castling moves are never pruned
-    if (move_is_castle(m))
-        return false;
-
-    // Case 2: Don't prune moves which move the threatened piece
+    // Case 1: Don't prune moves which move the threatened piece
     if (mfrom == tto)
         return false;
 
-    // Case 3: If the threatened piece has value less than or equal to the
+    // Case 2: If the threatened piece has value less than or equal to the
     // value of the threatening piece, don't prune move which defend it.
     if (   pos.move_is_capture(threat)
         && (   pos.midgame_value_of_piece_on(tfrom) >= pos.midgame_value_of_piece_on(tto)
@@ -2462,7 +2503,7 @@ namespace {
         && pos.move_attacks_square(m, tto))
         return false;
 
-    // Case 4: If the moving piece in the threatened move is a slider, don't
+    // Case 3: If the moving piece in the threatened move is a slider, don't
     // prune safe moves which block its ray.
     if (   piece_is_slider(pos.piece_on(tfrom))
         && bit_is_set(squares_between(tfrom, tto), mto)
@@ -2506,6 +2547,7 @@ namespace {
       return defaultEval;
   }
 
+
   // update_history() registers a good move that produced a beta-cutoff
   // in history and marks as failures all the other moves of that ply.
 
@@ -2543,17 +2585,18 @@ namespace {
   }
 
 
-  // fail_high_ply_1() checks if some thread is currently resolving a fail
-  // high at ply 1 at the node below the first root node.  This information
-  // is used for time management.
-
-  bool fail_high_ply_1() {
+  // update_gains() updates the gains table of a non-capture move given
+  // the static position evaluation before and after the move.
 
-    for (int i = 0; i < ActiveThreads; i++)
-        if (Threads[i].failHighPly1)
-            return true;
+  void update_gains(const Position& pos, Move m, Value before, Value after) {
 
-    return false;
+    if (   m != MOVE_NULL
+        && before != VALUE_NONE
+        && after != VALUE_NONE
+        && pos.captured_piece() == NO_PIECE_TYPE
+        && !move_is_castle(m)
+        && !move_is_promotion(m))
+        H.set_gain(pos.piece_on(move_to(m)), move_to(m), -(before + after));
   }
 
 
@@ -2643,18 +2686,11 @@ namespace {
         return;
 
     bool stillAtFirstMove =    RootMoveNumber == 1
-                           && !FailLow
+                           && !AspirationFailLow
                            &&  t > MaxSearchTime + ExtraSearchTime;
 
-    bool noProblemFound =   !FailHigh
-                         && !FailLow
-                         && !fail_high_ply_1()
-                         && !Problem
-                         &&  t > 6 * (MaxSearchTime + ExtraSearchTime);
-
     bool noMoreTime =   t > AbsoluteMaxSearchTime
-                     || stillAtFirstMove //FIXME: We are not checking any problem flags, BUG?
-                     || noProblemFound;
+                     || stillAtFirstMove;
 
     if (   (Iteration >= 3 && UseTimeManagement && noMoreTime)
         || (ExactMaxTime && t >= ExactMaxTime)
@@ -2673,18 +2709,11 @@ namespace {
     PonderSearch = false;
 
     bool stillAtFirstMove =    RootMoveNumber == 1
-                           && !FailLow
+                           && !AspirationFailLow
                            &&  t > MaxSearchTime + ExtraSearchTime;
 
-    bool noProblemFound =   !FailHigh
-                         && !FailLow
-                         && !fail_high_ply_1()
-                         && !Problem
-                         &&  t > 6 * (MaxSearchTime + ExtraSearchTime);
-
     bool noMoreTime =   t > AbsoluteMaxSearchTime
-                     || stillAtFirstMove
-                     || noProblemFound;
+                     || stillAtFirstMove;
 
     if (Iteration >= 3 && UseTimeManagement && (noMoreTime || StopOnPonderhit))
         AbortSearch = true;
@@ -2788,6 +2817,8 @@ namespace {
       // If this thread has been assigned work, launch a search
       if (Threads[threadID].workIsWaiting)
       {
+          assert(!Threads[threadID].idle);
+
           Threads[threadID].workIsWaiting = false;
           if (Threads[threadID].splitPoint->pvNode)
               sp_search_pv(Threads[threadID].splitPoint, threadID);
@@ -2874,7 +2905,10 @@ namespace {
     if (!Threads[slave].idle || slave == master)
         return false;
 
-    if (Threads[slave].activeSplitPoints == 0)
+    // Make a local copy to be sure doesn't change under our feet
+    int localActiveSplitPoints = Threads[slave].activeSplitPoints;
+
+    if (localActiveSplitPoints == 0)
         // No active split points means that the thread is available as
         // a slave for any other thread.
         return true;
@@ -2882,8 +2916,10 @@ namespace {
     if (ActiveThreads == 2)
         return true;
 
-    // Apply the "helpful master" concept if possible
-    if (SplitPointStack[slave][Threads[slave].activeSplitPoints - 1].slaves[master])
+    // Apply the "helpful master" concept if possible. Use localActiveSplitPoints
+    // that is known to be > 0, instead of Threads[slave].activeSplitPoints that
+    // could have been set to 0 by another thread leading to an out of bound access.
+    if (SplitPointStack[slave][localActiveSplitPoints - 1].slaves[master])
         return true;
 
     return false;
@@ -2933,7 +2969,6 @@ namespace {
     assert(ActiveThreads > 1);
 
     SplitPoint* splitPoint;
-    int i;
 
     lock_grab(&MPLock);
 
@@ -2950,7 +2985,7 @@ namespace {
     splitPoint = SplitPointStack[master] + Threads[master].activeSplitPoints;
     Threads[master].activeSplitPoints++;
 
-    // Initialize the split point object and copy current position
+    // Initialize the split point object
     splitPoint->parent = Threads[master].splitPoint;
     splitPoint->finished = false;
     splitPoint->ply = ply;
@@ -2964,37 +2999,40 @@ namespace {
     splitPoint->mp = mp;
     splitPoint->moves = *moves;
     splitPoint->cpus = 1;
-    splitPoint->pos.copy(p);
+    splitPoint->pos = &p;
     splitPoint->parentSstack = sstck;
-    for (i = 0; i < ActiveThreads; i++)
+    for (int i = 0; i < ActiveThreads; i++)
         splitPoint->slaves[i] = 0;
 
-    // Copy the current search stack to the master thread
-    memcpy(splitPoint->sstack[master], sstck, (ply+1) * sizeof(SearchStack));
+    Threads[master].idle = false;
+    Threads[master].stop = false;
     Threads[master].splitPoint = splitPoint;
 
-    // Make copies of the current position and search stack for each thread
-    for (i = 0; i < ActiveThreads && splitPoint->cpus < MaxThreadsPerSplitPoint; i++)
+    // Allocate available threads setting idle flag to false
+    for (int i = 0; i < ActiveThreads && splitPoint->cpus < MaxThreadsPerSplitPoint; i++)
         if (thread_is_available(i, master))
         {
-            memcpy(splitPoint->sstack[i], sstck, (ply+1) * sizeof(SearchStack));
+            Threads[i].idle = false;
+            Threads[i].stop = false;
             Threads[i].splitPoint = splitPoint;
             splitPoint->slaves[i] = 1;
             splitPoint->cpus++;
         }
 
+    assert(splitPoint->cpus > 1);
+
+    // We can release the lock because master and slave threads are already booked
+    lock_release(&MPLock);
+
     // Tell the threads that they have work to do. This will make them leave
-    // their idle loop.
-    for (i = 0; i < ActiveThreads; i++)
+    // their idle loop. But before copy search stack tail for each thread.
+    for (int i = 0; i < ActiveThreads; i++)
         if (i == master || splitPoint->slaves[i])
         {
-            Threads[i].workIsWaiting = true;
-            Threads[i].idle = false;
-            Threads[i].stop = false;
+            memcpy(splitPoint->sstack[i] + ply - 1, sstck + ply - 1, 4 * sizeof(SearchStack));
+            Threads[i].workIsWaiting = true; // This makes the slave to exit from idle_loop()
         }
 
-    lock_release(&MPLock);
-
     // Everything is set up. The master thread enters the idle loop, from
     // which it will instantly launch a search, because its workIsWaiting
     // slot is 'true'.  We send the split point as a second parameter to the