]> git.sesse.net Git - stockfish/blobdiff - src/tt.cpp
Better code for hash table generation
[stockfish] / src / tt.cpp
index 8c5f3e347a5353756868e8a2c0877774015647f6..cb5af5c85905620a1537d06a7339ce6bca17176f 100644 (file)
@@ -1,7 +1,6 @@
 /*
   Stockfish, a UCI chess playing engine derived from Glaurung 2.1
-  Copyright (C) 2004-2008 Tord Romstad (Glaurung author)
-  Copyright (C) 2008 Marco Costalba
+  Copyright (C) 2004-2021 The Stockfish developers (see AUTHORS file)
 
   Stockfish is free software: you can redistribute it and/or modify
   it under the terms of the GNU General Public License as published by
   along with this program.  If not, see <http://www.gnu.org/licenses/>.
 */
 
+#include <cstring>   // For std::memset
+#include <iostream>
+#include <thread>
 
-////
-//// Includes
-////
-
-#include <cassert>
-#include <cmath>
-#include <cstring>
-
+#include "bitboard.h"
+#include "misc.h"
+#include "thread.h"
 #include "tt.h"
+#include "uci.h"
 
+TranspositionTable TT; // Our global transposition table
 
-////
-//// Functions
-////
+/// TTEntry::save() populates the TTEntry with a new node's data, possibly
+/// overwriting an old position. Update is not atomic and can be racy.
 
-/// Constructor
+void TTEntry::save(Key k, Value v, bool pv, Bound b, Depth d, Move m, Value ev) {
 
-TranspositionTable::TranspositionTable(unsigned mbSize) {
+  // Preserve any existing move for the same position
+  if (m || (uint16_t)k != key16)
+      move16 = (uint16_t)m;
 
-  size = 0;
-  generation = 0;
-  writes = 0;
-  entries = 0;
-  set_size(mbSize);
+  // Overwrite less valuable entries (cheapest checks first)
+  if (b == BOUND_EXACT
+      || (uint16_t)k != key16
+      || d - DEPTH_OFFSET > depth8 - 4)
+  {
+      assert(d > DEPTH_OFFSET);
+      assert(d < 256 + DEPTH_OFFSET);
+
+      key16     = (uint16_t)k;
+      depth8    = (uint8_t)(d - DEPTH_OFFSET);
+      genBound8 = (uint8_t)(TT.generation8 | uint8_t(pv) << 2 | b);
+      value16   = (int16_t)v;
+      eval16    = (int16_t)ev;
+  }
 }
 
 
-/// Destructor
-
-TranspositionTable::~TranspositionTable() {
-
-  delete [] entries;
-}
-
+/// TranspositionTable::resize() sets the size of the transposition table,
+/// measured in megabytes. Transposition table consists of a power of 2 number
+/// of clusters and each cluster consists of ClusterSize number of TTEntry.
 
-/// TranspositionTable::set_size sets the size of the transposition table,
-/// measured in megabytes.
+void TranspositionTable::resize(size_t mbSize) {
 
-void TranspositionTable::set_size(unsigned mbSize) {
+  Threads.main()->wait_for_search_finished();
 
-  assert(mbSize >= 4 && mbSize <= 1024);
+  aligned_large_pages_free(table);
 
-  unsigned newSize = 1024;
+  clusterCount = mbSize * 1024 * 1024 / sizeof(Cluster);
 
-  // We store a cluster of 4 TTEntry for each position and newSize is
-  // the maximum number of storable positions
-  for ( ; newSize * 4 * (sizeof(TTEntry)) <= (mbSize << 20); newSize *= 2);
-  newSize /= 2;
-  if (newSize != size)
+  table = static_cast<Cluster*>(aligned_large_pages_alloc(clusterCount * sizeof(Cluster)));
+  if (!table)
   {
-    size = newSize;
-    delete [] entries;
-    entries = new TTEntry[size * 4];
-    if (!entries)
-    {
       std::cerr << "Failed to allocate " << mbSize
-                << " MB for transposition table."
-                << std::endl;
+                << "MB for transposition table." << std::endl;
       exit(EXIT_FAILURE);
-    }
-    clear();
   }
+
+  clear();
 }
 
 
-/// TranspositionTable::clear overwrites the entire transposition table
-/// with zeroes.  It is called whenever the table is resized, or when the
-/// user asks the program to clear the table (from the UCI interface).
-/// Perhaps we should also clear it when the "ucinewgame" command is recieved?
+/// TranspositionTable::clear() initializes the entire transposition table to zero,
+//  in a multi-threaded way.
 
 void TranspositionTable::clear() {
 
-  memset(entries, 0, size * 4 * sizeof(TTEntry));
-}
-
-
-/// TranspositionTable::store writes a new entry containing a position,
-/// a value, a value type, a search depth, and a best move to the
-/// transposition table.  The transposition table is organized in clusters
-/// of four TTEntry objects, and when a new entry is written, it replaces
-/// the least valuable of the four entries in a cluster.  A TTEntry t1 is
-/// considered to be more valuable than a TTEntry t2 if t1 is from the
-/// current search and t2 is from a previous search, or if the depth of t1
-/// is bigger than the depth of t2. A TTEntry of type VALUE_TYPE_EVAL
-/// never replaces another entry for the same position.
+  std::vector<std::thread> threads;
 
-void TranspositionTable::store(const Position &pos, Value v, Depth d,
-                               Move m, ValueType type) {
-  TTEntry *tte, *replace;
-
-  tte = replace = first_entry(pos);
-  for (int i = 0; i < 4; i++, tte++)
+  for (size_t idx = 0; idx < Options["Threads"]; ++idx)
   {
-    if (!tte->key() || tte->key() == pos.get_key()) // empty or overwrite old
-    {
-        // Do not overwrite position entry when VALUE_TYPE_EVAL
-        if (   tte->key()
-            && type == VALUE_TYPE_EVAL)
-            return;
-
-        if (m == MOVE_NONE)
-            m = tte->move();
-
-        *tte = TTEntry(pos.get_key(), v, type, d, m, generation);
-        return;
-    }
-    else if (i == 0)  // replace would be a no-op in this common case
-        continue;
-
-    int c1 = (replace->generation() == generation ?  2 : 0);
-    int c2 = (tte->generation() == generation ? -2 : 0);
-    int c3 = (tte->depth() < replace->depth() ?  1 : 0);
-
-    if (c1 + c2 + c3 > 0)
-        replace = tte;
-  }
-  *replace = TTEntry(pos.get_key(), v, type, d, m, generation);
-  writes++;
-}
+      threads.emplace_back([this, idx]() {
 
+          // Thread binding gives faster search on systems with a first-touch policy
+          if (Options["Threads"] > 8)
+              WinProcGroup::bindThisThread(idx);
 
-/// TranspositionTable::retrieve looks up the current position in the
-/// transposition table. Returns a pointer to the TTEntry or NULL
-/// if position is not found.
+          // Each thread will zero its part of the hash table
+          const size_t stride = size_t(clusterCount / Options["Threads"]),
+                       start  = size_t(stride * idx),
+                       len    = idx != Options["Threads"] - 1 ?
+                                stride : clusterCount - start;
 
-TTEntry* TranspositionTable::retrieve(const Position &pos) const {
-
-  TTEntry *tte = first_entry(pos);
-
-  for (int i = 0; i < 4; i++, tte++)
-  {
-      if (tte->key() == pos.get_key())
-          return tte;
+          std::memset(&table[start], 0, len * sizeof(Cluster));
+      });
   }
-  return NULL;
-}
-
-
-/// TranspositionTable::first_entry returns a pointer to the first
-/// entry of a cluster given a position.
-
-inline TTEntry* TranspositionTable::first_entry(const Position &pos) const {
 
-  return entries + (int(pos.get_key() & (size - 1)) << 2);
+  for (std::thread& th : threads)
+      th.join();
 }
 
-/// TranspositionTable::new_search() is called at the beginning of every new
-/// search.  It increments the "generation" variable, which is used to
-/// distinguish transposition table entries from previous searches from
-/// entries from the current search.
 
-void TranspositionTable::new_search() {
+/// TranspositionTable::probe() looks up the current position in the transposition
+/// table. It returns true and a pointer to the TTEntry if the position is found.
+/// Otherwise, it returns false and a pointer to an empty or least valuable TTEntry
+/// to be replaced later. The replace value of an entry is calculated as its depth
+/// minus 8 times its relative age. TTEntry t1 is considered more valuable than
+/// TTEntry t2 if its replace value is greater than that of t2.
 
-  generation++;
-  writes = 0;
-}
+TTEntry* TranspositionTable::probe(const Key key, bool& found) const {
 
+  TTEntry* const tte = first_entry(key);
+  const uint16_t key16 = (uint16_t)key;  // Use the low 16 bits as key inside the cluster
 
-/// TranspositionTable::insert_pv() is called at the end of a search
-/// iteration, and inserts the PV back into the PV.  This makes sure the
-/// old PV moves are searched first, even if the old TT entries have been
-/// overwritten.
+  for (int i = 0; i < ClusterSize; ++i)
+      if (tte[i].key16 == key16 || !tte[i].depth8)
+      {
+          tte[i].genBound8 = uint8_t(generation8 | (tte[i].genBound8 & (GENERATION_DELTA - 1))); // Refresh
 
-void TranspositionTable::insert_pv(const Position &pos, Move pv[]) {
+          return found = (bool)tte[i].depth8, &tte[i];
+      }
 
-  StateInfo st;
-  Position p(pos);
+  // Find an entry to be replaced according to the replacement strategy
+  TTEntry* replace = tte;
+  for (int i = 1; i < ClusterSize; ++i)
+      // Due to our packed storage format for generation and its cyclic
+      // nature we add GENERATION_CYCLE (256 is the modulus, plus what
+      // is needed to keep the unrelated lowest n bits from affecting
+      // the result) to calculate the entry age correctly even after
+      // generation8 overflows into the next cycle.
+      if (  replace->depth8 - ((GENERATION_CYCLE + generation8 - replace->genBound8) & GENERATION_MASK)
+          >   tte[i].depth8 - ((GENERATION_CYCLE + generation8 -   tte[i].genBound8) & GENERATION_MASK))
+          replace = &tte[i];
 
-  for (int i = 0; pv[i] != MOVE_NONE; i++)
-  {
-    store(p, VALUE_NONE, Depth(-127*OnePly), pv[i], VALUE_TYPE_NONE);
-    p.do_move(pv[i], st);
-  }
+  return found = false, replace;
 }
 
 
-/// TranspositionTable::full() returns the permill of all transposition table
-/// entries which have received at least one write during the current search.
-/// It is used to display the "info hashfull ..." information in UCI.
+/// TranspositionTable::hashfull() returns an approximation of the hashtable
+/// occupation during a search. The hash is x permill full, as per UCI protocol.
 
-int TranspositionTable::full() {
+int TranspositionTable::hashfull() const {
 
-  double N = double(size) * 4.0;
-  return int(1000 * (1 - exp(writes * log(1.0 - 1.0/N))));
-}
+  int cnt = 0;
+  for (int i = 0; i < 1000; ++i)
+      for (int j = 0; j < ClusterSize; ++j)
+          cnt += table[i].entry[j].depth8 && (table[i].entry[j].genBound8 & GENERATION_MASK) == generation8;
 
-
-/// Constructors
-
-TTEntry::TTEntry() {
+  return cnt / ClusterSize;
 }
-
-TTEntry::TTEntry(Key k, Value v, ValueType t, Depth d, Move m,
-                 int generation) :
-  key_ (k), data((m & 0x1FFFF) | (t << 20) | (generation << 23)),
-  value_(int16_t(v)), depth_(int16_t(d)) {}