]> git.sesse.net Git - stockfish/blobdiff - src/thread.cpp
Introduce and use wait_for_search_finished()
[stockfish] / src / thread.cpp
index e1330396d0007f30815c3ba95d2142c9ad8bb1d7..65d01d9100a874e19db9addea3772bafa735dd69 100644 (file)
@@ -1,7 +1,7 @@
 /*
   Stockfish, a UCI chess playing engine derived from Glaurung 2.1
   Copyright (C) 2004-2008 Tord Romstad (Glaurung author)
-  Copyright (C) 2008-2010 Marco Costalba, Joona Kiiski, Tord Romstad
+  Copyright (C) 2008-2012 Marco Costalba, Joona Kiiski, Tord Romstad
 
   Stockfish is free software: you can redistribute it and/or modify
   it under the terms of the GNU General Public License as published by
   along with this program.  If not, see <http://www.gnu.org/licenses/>.
 */
 
+#include <cassert>
 #include <iostream>
 
+#include "movegen.h"
+#include "search.h"
 #include "thread.h"
 #include "ucioption.h"
 
-ThreadsManager Threads; // Global object definition
+using namespace Search;
+
+ThreadsManager Threads; // Global object
 
 namespace { extern "C" {
 
  // start_routine() is the C function which is called when a new thread
- // is launched. It simply calls idle_loop() with the supplied threadID.
- // There are two versions of this function; one for POSIX threads and
- // one for Windows threads.
+ // is launched. It is a wrapper to member function pointed by start_fn.
+
+ long start_routine(Thread* th) { (th->*(th->start_fn))(); return 0; }
+
+} }
+
+
+// Thread c'tor starts a newly-created thread of execution that will call
+// the idle loop function pointed by start_fn going immediately to sleep.
 
-#if defined(_MSC_VER)
+Thread::Thread(Fn fn) {
 
-  DWORD WINAPI start_routine(LPVOID threadID) {
+  is_searching = do_exit = false;
+  maxPly = splitPointsCnt = 0;
+  curSplitPoint = NULL;
+  start_fn = fn;
+  threadID = Threads.size();
 
-    Threads.idle_loop(*(int*)threadID, NULL);
-    return 0;
+  do_sleep = (fn != &Thread::main_loop); // Avoid a race with start_searching()
+
+  lock_init(sleepLock);
+  cond_init(sleepCond);
+
+  for (int j = 0; j < MAX_SPLITPOINTS_PER_THREAD; j++)
+      lock_init(splitPoints[j].lock);
+
+  if (!thread_create(handle, start_routine, this))
+  {
+      std::cerr << "Failed to create thread number " << threadID << std::endl;
+      ::exit(EXIT_FAILURE);
   }
+}
+
 
-#else
+// Thread d'tor waits for thread termination before to return.
 
-  void* start_routine(void* threadID) {
+Thread::~Thread() {
 
-    Threads.idle_loop(*(int*)threadID, NULL);
-    return NULL;
+  assert(do_sleep);
+
+  do_exit = true; // Search must be already finished
+  wake_up();
+
+  thread_join(handle); // Wait for thread termination
+
+  lock_destroy(sleepLock);
+  cond_destroy(sleepCond);
+
+  for (int j = 0; j < MAX_SPLITPOINTS_PER_THREAD; j++)
+      lock_destroy(splitPoints[j].lock);
+}
+
+
+// Thread::timer_loop() is where the timer thread waits maxPly milliseconds and
+// then calls check_time(). If maxPly is 0 thread sleeps until is woken up.
+extern void check_time();
+
+void Thread::timer_loop() {
+
+  while (!do_exit)
+  {
+      lock_grab(sleepLock);
+      timed_wait(sleepCond, sleepLock, maxPly ? maxPly : INT_MAX);
+      lock_release(sleepLock);
+      check_time();
   }
+}
 
-#endif
 
-} }
+// Thread::main_loop() is where the main thread is parked waiting to be started
+// when there is a new search. Main thread will launch all the slave threads.
+
+void Thread::main_loop() {
+
+  while (true)
+  {
+      lock_grab(sleepLock);
+
+      do_sleep = true; // Always return to sleep after a search
+      is_searching = false;
+
+      while (do_sleep && !do_exit)
+      {
+          cond_signal(Threads.sleepCond); // Wake up UI thread if needed
+          cond_wait(sleepCond, sleepLock);
+      }
+
+      lock_release(sleepLock);
+
+      if (do_exit)
+          return;
+
+      is_searching = true;
+
+      Search::think();
+  }
+}
 
 
-// wake_up() wakes up the thread, normally at the beginning of the search or,
-// if "sleeping threads" is used, when there is some work to do.
+// Thread::wake_up() wakes up the thread, normally at the beginning of the search
+// or, if "sleeping threads" is used at split time.
 
 void Thread::wake_up() {
 
-  lock_grab(&sleepLock);
-  cond_signal(&sleepCond);
-  lock_release(&sleepLock);
+  lock_grab(sleepLock);
+  do_sleep = false;
+  cond_signal(sleepCond);
+  lock_release(sleepLock);
 }
 
 
-// cutoff_occurred() checks whether a beta cutoff has occurred in
-// the thread's currently active split point, or in some ancestor of
-// the current split point.
+// Thread::wait_for_stop_or_ponderhit() is called when the maximum depth is
+// reached while the program is pondering. The point is to work around a wrinkle
+// in the UCI protocol: When pondering, the engine is not allowed to give a
+// "bestmove" before the GUI sends it a "stop" or "ponderhit" command. We simply
+// wait here until one of these commands (that raise StopRequest) is sent and
+// then return, after which the bestmove and pondermove will be printed.
+
+void Thread::wait_for_stop_or_ponderhit() {
+
+  Signals.stopOnPonderhit = true;
+
+  lock_grab(sleepLock);
+  while (!Signals.stop) cond_wait(sleepCond, sleepLock);
+  lock_release(sleepLock);
+}
+
+
+// Thread::cutoff_occurred() checks whether a beta cutoff has occurred in the
+// current active split point, or in some ancestor of the split point.
 
 bool Thread::cutoff_occurred() const {
 
-  for (SplitPoint* sp = splitPoint; sp; sp = sp->parent)
-      if (sp->is_betaCutoff)
+  for (SplitPoint* sp = curSplitPoint; sp; sp = sp->parent)
+      if (sp->cutoff)
           return true;
+
   return false;
 }
 
 
-// is_available_to() checks whether the thread is available to help the thread with
-// threadID "master" at a split point. An obvious requirement is that thread must be
-// idle. With more than two threads, this is not by itself sufficient: If the thread
-// is the master of some active split point, it is only available as a slave to the
-// threads which are busy searching the split point at the top of "slave"'s split
-// point stack (the "helpful master concept" in YBWC terminology).
+// Thread::is_available_to() checks whether the thread is available to help the
+// thread with threadID "master" at a split point. An obvious requirement is that
+// thread must be idle. With more than two threads, this is not sufficient: If
+// the thread is the master of some active split point, it is only available as a
+// slave to the threads which are busy searching the split point at the top of
+// "slave"'s split point stack (the "helpful master concept" in YBWC terminology).
 
 bool Thread::is_available_to(int master) const {
 
-  if (state != AVAILABLE)
+  if (is_searching)
       return false;
 
   // Make a local copy to be sure doesn't become zero under our feet while
   // testing next condition and so leading to an out of bound access.
-  int localActiveSplitPoints = activeSplitPoints;
+  int spCnt = splitPointsCnt;
 
   // No active split points means that the thread is available as a slave for any
   // other thread otherwise apply the "helpful master" concept if possible.
-  if (   !localActiveSplitPoints
-      || splitPoints[localActiveSplitPoints - 1].is_slave[master])
-      return true;
-
-  return false;
+  return !spCnt || (splitPoints[spCnt - 1].slavesMask & (1ULL << master));
 }
 
 
-// read_uci_options() updates number of active threads and other internal
-// parameters according to the UCI options values. It is called before
-// to start a new search.
+// init() is called at startup. Initializes lock and condition variable and
+// launches requested threads sending them immediately to sleep. We cannot use
+// a c'tor becuase Threads is a static object and we need a fully initialized
+// engine at this point due to allocation of endgames in Thread c'tor.
 
-void ThreadsManager::read_uci_options() {
+void ThreadsManager::init() {
 
-  maxThreadsPerSplitPoint = Options["Maximum Number of Threads per Split Point"].value<int>();
-  minimumSplitDepth       = Options["Minimum Split Depth"].value<int>() * ONE_PLY;
-  useSleepingThreads      = Options["Use Sleeping Threads"].value<bool>();
-  activeThreads           = Options["Threads"].value<int>();
+  cond_init(sleepCond);
+  lock_init(splitLock);
+  timer = new Thread(&Thread::timer_loop);
+  threads.push_back(new Thread(&Thread::main_loop));
+  read_uci_options();
 }
 
 
-// init() is called during startup. Initializes locks and condition variables
-// and launches all threads sending them immediately to sleep.
+// d'tor cleanly terminates the threads when the program exits.
 
-void ThreadsManager::init() {
+ThreadsManager::~ThreadsManager() {
+
+  for (int i = 0; i < size(); i++)
+      delete threads[i];
 
-  int threadID[MAX_THREADS];
+  delete timer;
+  lock_destroy(splitLock);
+  cond_destroy(sleepCond);
+}
 
-  // This flag is needed to properly end the threads when program exits
-  allThreadsShouldExit = false;
 
-  // Threads will sent to sleep as soon as created, only main thread is kept alive
-  activeThreads = 1;
-  threads[0].state = Thread::SEARCHING;
+// read_uci_options() updates internal threads parameters from the corresponding
+// UCI options and creates/destroys threads to match the requested number. Thread
+// objects are dynamically allocated to avoid creating in advance all possible
+// threads, with included pawns and material tables, if only few are used.
 
-  // Allocate pawn and material hash tables for main thread
-  init_hash_tables();
+void ThreadsManager::read_uci_options() {
 
-  lock_init(&threadsLock);
+  maxThreadsPerSplitPoint = Options["Max Threads per Split Point"];
+  minimumSplitDepth       = Options["Min Split Depth"] * ONE_PLY;
+  useSleepingThreads      = Options["Use Sleeping Threads"];
+  int requested           = Options["Threads"];
 
-  // Initialize thread and split point locks
-  for (int i = 0; i < MAX_THREADS; i++)
-  {
-      lock_init(&threads[i].sleepLock);
-      cond_init(&threads[i].sleepCond);
+  assert(requested > 0);
 
-      for (int j = 0; j < MAX_ACTIVE_SPLIT_POINTS; j++)
-          lock_init(&(threads[i].splitPoints[j].lock));
-  }
+  while (size() < requested)
+      threads.push_back(new Thread(&Thread::idle_loop));
 
-  // Create and startup all the threads but the main that is already running
-  for (int i = 1; i < MAX_THREADS; i++)
+  while (size() > requested)
   {
-      threads[i].state = Thread::INITIALIZING;
-      threadID[i] = i;
-
-#if defined(_MSC_VER)
-      bool ok = (CreateThread(NULL, 0, start_routine, (LPVOID)&threadID[i], 0, NULL) != NULL);
-#else
-      pthread_t pthreadID;
-      bool ok = (pthread_create(&pthreadID, NULL, start_routine, (void*)&threadID[i]) == 0);
-      pthread_detach(pthreadID);
-#endif
-      if (!ok)
-      {
-          std::cout << "Failed to create thread number " << i << std::endl;
-          ::exit(EXIT_FAILURE);
-      }
-
-      // Wait until the thread has finished launching and is gone to sleep
-      while (threads[i].state == Thread::INITIALIZING) {}
+      delete threads.back();
+      threads.pop_back();
   }
 }
 
 
-// exit() is called to cleanly exit the threads when the program finishes
+// wake_up() is called before a new search to start the threads that are waiting
+// on the sleep condition and to reset maxPly. When useSleepingThreads is set
+// threads will be woken up at split time.
 
-void ThreadsManager::exit() {
+void ThreadsManager::wake_up() const {
 
-  // Force the woken up threads to exit idle_loop() and hence terminate
-  allThreadsShouldExit = true;
-
-  for (int i = 0; i < MAX_THREADS; i++)
+  for (int i = 0; i < size(); i++)
   {
-      // Wake up all the threads and waits for termination
-      if (i != 0)
-      {
-          threads[i].wake_up();
-          while (threads[i].state != Thread::TERMINATED) {}
-      }
+      threads[i]->maxPly = 0;
 
-      // Now we can safely destroy the locks and wait conditions
-      lock_destroy(&threads[i].sleepLock);
-      cond_destroy(&threads[i].sleepCond);
-
-      for (int j = 0; j < MAX_ACTIVE_SPLIT_POINTS; j++)
-          lock_destroy(&(threads[i].splitPoints[j].lock));
+      if (!useSleepingThreads)
+          threads[i]->wake_up();
   }
-
-  lock_destroy(&threadsLock);
 }
 
 
-// init_hash_tables() dynamically allocates pawn and material hash tables
-// according to the number of active threads. This avoids preallocating
-// memory for all possible threads if only few are used as, for instance,
-// on mobile devices where memory is scarce and allocating for MAX_THREADS
-// threads could even result in a crash.
+// sleep() is called after the search finishes to ask all the threads but the
+// main one to go waiting on a sleep condition.
 
-void ThreadsManager::init_hash_tables() {
+void ThreadsManager::sleep() const {
 
-  for (int i = 0; i < activeThreads; i++)
-  {
-      threads[i].pawnTable.init();
-      threads[i].materialTable.init();
-  }
+  for (int i = 1; i < size(); i++) // Main thread will go to sleep by itself
+      threads[i]->do_sleep = true; // to avoid a race with start_searching()
 }
 
 
 // available_slave_exists() tries to find an idle thread which is available as
-// a slave for the thread with threadID "master".
+// a slave for the thread with threadID 'master'.
 
 bool ThreadsManager::available_slave_exists(int master) const {
 
-  assert(master >= 0 && master < activeThreads);
+  assert(master >= 0 && master < size());
 
-  for (int i = 0; i < activeThreads; i++)
-      if (i != master && threads[i].is_available_to(master))
+  for (int i = 0; i < size(); i++)
+      if (threads[i]->is_available_to(master))
           return true;
 
   return false;
@@ -229,119 +290,162 @@ bool ThreadsManager::available_slave_exists(int master) const {
 
 
 // split() does the actual work of distributing the work at a node between
-// several available threads. If it does not succeed in splitting the
-// node (because no idle threads are available, or because we have no unused
-// split point objects), the function immediately returns. If splitting is
-// possible, a SplitPoint object is initialized with all the data that must be
-// copied to the helper threads and we tell our helper threads that they have
-// been assigned work. This will cause them to instantly leave their idle loops and
-// call search().When all threads have returned from search() then split() returns.
+// several available threads. If it does not succeed in splitting the node
+// (because no idle threads are available, or because we have no unused split
+// point objects), the function immediately returns. If splitting is possible, a
+// SplitPoint object is initialized with all the data that must be copied to the
+// helper threads and then helper threads are told that they have been assigned
+// work. This will cause them to instantly leave their idle loops and call
+// search(). When all threads have returned from search() then split() returns.
 
 template <bool Fake>
-Value ThreadsManager::split(Position& pos, SearchStack* ss, Value alpha, Value beta,
-                            Value bestValue, Depth depth, Move threatMove,
-                            int moveCount, MovePicker* mp, int nodeType) {
-  assert(pos.is_ok());
-  assert(bestValue >= -VALUE_INFINITE);
+Value ThreadsManager::split(Position& pos, Stack* ss, Value alpha, Value beta,
+                            Value bestValue, Move* bestMove, Depth depth,
+                            Move threatMove, int moveCount, MovePicker* mp, int nodeType) {
+  assert(pos.pos_is_ok());
+  assert(bestValue > -VALUE_INFINITE);
   assert(bestValue <= alpha);
   assert(alpha < beta);
   assert(beta <= VALUE_INFINITE);
   assert(depth > DEPTH_ZERO);
-  assert(pos.thread() >= 0 && pos.thread() < activeThreads);
-  assert(activeThreads > 1);
 
-  int i, master = pos.thread();
-  Thread& masterThread = threads[master];
+  int master = pos.thread();
+  Thread& masterThread = *threads[master];
 
-  // If we already have too many active split points, don't split
-  if (masterThread.activeSplitPoints >= MAX_ACTIVE_SPLIT_POINTS)
+  if (masterThread.splitPointsCnt >= MAX_SPLITPOINTS_PER_THREAD)
       return bestValue;
 
-  // Pick the next available split point object from the split point stack
-  SplitPoint& splitPoint = masterThread.splitPoints[masterThread.activeSplitPoints];
-
-  // Initialize the split point object
-  splitPoint.parent = masterThread.splitPoint;
-  splitPoint.master = master;
-  splitPoint.is_betaCutoff = false;
-  splitPoint.depth = depth;
-  splitPoint.threatMove = threatMove;
-  splitPoint.alpha = alpha;
-  splitPoint.beta = beta;
-  splitPoint.nodeType = nodeType;
-  splitPoint.bestValue = bestValue;
-  splitPoint.mp = mp;
-  splitPoint.moveCount = moveCount;
-  splitPoint.pos = &pos;
-  splitPoint.nodes = 0;
-  splitPoint.ss = ss;
-  for (i = 0; i < activeThreads; i++)
-      splitPoint.is_slave[i] = false;
-
-  // If we are here it means we are not available
-  assert(masterThread.state == Thread::SEARCHING);
-
-  int booked = 0;
-
-  // Try to allocate available threads setting state to Thread::BOOKED, this
-  // must be done under lock protection to avoid concurrent allocation of
-  // the same slave by another master.
-  lock_grab(&threadsLock);
-
-  for (i = 0; !Fake && i < activeThreads && booked < maxThreadsPerSplitPoint; i++)
-      if (i != master && threads[i].is_available_to(master))
+  // Pick the next available split point from the split point stack
+  SplitPoint* sp = &masterThread.splitPoints[masterThread.splitPointsCnt++];
+
+  sp->parent = masterThread.curSplitPoint;
+  sp->master = master;
+  sp->cutoff = false;
+  sp->slavesMask = 1ULL << master;
+  sp->depth = depth;
+  sp->bestMove = *bestMove;
+  sp->threatMove = threatMove;
+  sp->alpha = alpha;
+  sp->beta = beta;
+  sp->nodeType = nodeType;
+  sp->bestValue = bestValue;
+  sp->mp = mp;
+  sp->moveCount = moveCount;
+  sp->pos = &pos;
+  sp->nodes = 0;
+  sp->ss = ss;
+
+  assert(masterThread.is_searching);
+
+  masterThread.curSplitPoint = sp;
+  int slavesCnt = 0;
+
+  // Try to allocate available threads and ask them to start searching setting
+  // is_searching flag. This must be done under lock protection to avoid concurrent
+  // allocation of the same slave by another master.
+  lock_grab(sp->lock);
+  lock_grab(splitLock);
+
+  for (int i = 0; i < size() && !Fake; ++i)
+      if (threads[i]->is_available_to(master))
       {
-          threads[i].state = Thread::BOOKED;
-          threads[i].splitPoint = &splitPoint;
-          splitPoint.is_slave[i] = true;
-          booked++;
+          sp->slavesMask |= 1ULL << i;
+          threads[i]->curSplitPoint = sp;
+          threads[i]->is_searching = true; // Slave leaves idle_loop()
+
+          if (useSleepingThreads)
+              threads[i]->wake_up();
+
+          if (++slavesCnt + 1 >= maxThreadsPerSplitPoint) // Master is always included
+              break;
       }
 
-  lock_release(&threadsLock);
+  lock_release(splitLock);
+  lock_release(sp->lock);
 
-  // We failed to allocate even one slave, return
-  if (!Fake && !booked)
-      return bestValue;
+  // Everything is set up. The master thread enters the idle loop, from which
+  // it will instantly launch a search, because its is_searching flag is set.
+  // We pass the split point as a parameter to the idle loop, which means that
+  // the thread will return from the idle loop when all slaves have finished
+  // their work at this split point.
+  if (slavesCnt || Fake)
+  {
+      masterThread.idle_loop(sp);
 
-  masterThread.activeSplitPoints++;
-  masterThread.splitPoint = &splitPoint;
+      // In helpful master concept a master can help only a sub-tree of its split
+      // point, and because here is all finished is not possible master is booked.
+      assert(!masterThread.is_searching);
+  }
 
-  // Tell the threads that they have some work to do. This will make them leave
-  // their idle loop.
-  for (i = 0; i < activeThreads; i++)
-      if (i == master || splitPoint.is_slave[i])
-      {
-          assert(i == master || threads[i].state == Thread::BOOKED);
+  // We have returned from the idle loop, which means that all threads are
+  // finished. Note that setting is_searching and decreasing splitPointsCnt is
+  // done under lock protection to avoid a race with Thread::is_available_to().
+  lock_grab(sp->lock); // To protect sp->nodes
+  lock_grab(splitLock);
 
-          // This makes the slave to exit from idle_loop()
-          threads[i].state = Thread::WORKISWAITING;
+  masterThread.is_searching = true;
+  masterThread.splitPointsCnt--;
+  masterThread.curSplitPoint = sp->parent;
+  pos.set_nodes_searched(pos.nodes_searched() + sp->nodes);
+  *bestMove = sp->bestMove;
 
-          if (useSleepingThreads && i != master)
-              threads[i].wake_up();
-      }
+  lock_release(splitLock);
+  lock_release(sp->lock);
 
-  // Everything is set up. The master thread enters the idle loop, from
-  // which it will instantly launch a search, because its state is
-  // THREAD_WORKISWAITING.  We send the split point as a second parameter to the
-  // idle loop, which means that the main thread will return from the idle
-  // loop when all threads have finished their work at this split point.
-  idle_loop(master, &splitPoint);
+  return sp->bestValue;
+}
+
+// Explicit template instantiations
+template Value ThreadsManager::split<false>(Position&, Stack*, Value, Value, Value, Move*, Depth, Move, int, MovePicker*, int);
+template Value ThreadsManager::split<true>(Position&, Stack*, Value, Value, Value, Move*, Depth, Move, int, MovePicker*, int);
 
-  // We have returned from the idle loop, which means that all threads are
-  // finished. Note that changing state and decreasing activeSplitPoints is done
-  // under lock protection to avoid a race with Thread::is_available_to().
-  lock_grab(&threadsLock);
 
-  masterThread.state = Thread::SEARCHING;
-  masterThread.activeSplitPoints--;
-  masterThread.splitPoint = splitPoint.parent;
+// ThreadsManager::set_timer() is used to set the timer to trigger after msec
+// milliseconds. If msec is 0 then timer is stopped.
 
-  lock_release(&threadsLock);
+void ThreadsManager::set_timer(int msec) {
 
-  pos.set_nodes_searched(pos.nodes_searched() + splitPoint.nodes);
-  return splitPoint.bestValue;
+  lock_grab(timer->sleepLock);
+  timer->maxPly = msec;
+  cond_signal(timer->sleepCond); // Wake up and restart the timer
+  lock_release(timer->sleepLock);
 }
 
-// Explicit template instantiations
-template Value ThreadsManager::split<false>(Position&, SearchStack*, Value, Value, Value, Depth, Move, int, MovePicker*, int);
-template Value ThreadsManager::split<true>(Position&, SearchStack*, Value, Value, Value, Depth, Move, int, MovePicker*, int);
+
+// ThreadsManager::wait_for_search_finished() waits for main thread to go to
+// sleep, this means search is finished. Then returns.
+
+void ThreadsManager::wait_for_search_finished() {
+
+  Thread* main = threads[0];
+  lock_grab(main->sleepLock);
+  while (!main->do_sleep) cond_wait(sleepCond, main->sleepLock);
+  lock_release(main->sleepLock);
+}
+
+
+// ThreadsManager::start_searching() is used by UI thread to wake up the main
+// thread parked in main_loop() and starting a new search. If async is true
+// then function returns immediately, otherwise caller is blocked waiting for
+// the search to finish.
+
+void ThreadsManager::start_searching(const Position& pos, const LimitsType& limits,
+                                     const std::set<Move>& searchMoves, bool async) {
+  wait_for_search_finished();
+
+  Signals.stopOnPonderhit = Signals.firstRootMove = false;
+  Signals.stop = Signals.failedLowAtRoot = false;
+
+  RootPosition.copy(pos, 0);
+  Limits = limits;
+  RootMoves.clear();
+
+  for (MoveList<MV_LEGAL> ml(pos); !ml.end(); ++ml)
+      if (searchMoves.empty() || searchMoves.count(ml.move()))
+          RootMoves.push_back(RootMove(ml.move()));
+
+  threads[0]->wake_up(); // Start main thread
+
+  if (!async)
+      wait_for_search_finished();
+}