]> git.sesse.net Git - stockfish/blobdiff - src/benchmark.cpp
Correctly handle handover of setup states
[stockfish] / src / benchmark.cpp
index e2f7c5a296dbf50dd306e6c501e01ebd03e3137f..9dc103ed1992681b0fdef8252d3cc36cd73cb140 100644 (file)
@@ -1,7 +1,7 @@
 /*
   Stockfish, a UCI chess playing engine derived from Glaurung 2.1
   Copyright (C) 2004-2008 Tord Romstad (Glaurung author)
-  Copyright (C) 2008-2010 Marco Costalba, Joona Kiiski, Tord Romstad
+  Copyright (C) 2008-2012 Marco Costalba, Joona Kiiski, Tord Romstad
 
   Stockfish is free software: you can redistribute it and/or modify
   it under the terms of the GNU General Public License as published by
   along with this program.  If not, see <http://www.gnu.org/licenses/>.
 */
 
-
-////
-//// Includes
-////
 #include <fstream>
-#include <sstream>
+#include <iostream>
+#include <istream>
 #include <vector>
 
+#include "misc.h"
+#include "position.h"
 #include "search.h"
 #include "thread.h"
+#include "tt.h"
 #include "ucioption.h"
 
 using namespace std;
 
-////
-//// Variables
-////
-
-const string BenchmarkPositions[] = {
+static const char* Defaults[] = {
   "rnbqkbnr/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR w KQkq - 0 1",
-  "r3k2r/p1ppqpb1/bn2pnp1/3PN3/1p2P3/2N2Q1p/PPPBBPPP/R3K2R w KQkq -",
-  "8/2p5/3p4/KP5r/1R3p1k/8/4P1P1/8 w - -",
+  "r3k2r/p1ppqpb1/bn2pnp1/3PN3/1p2P3/2N2Q1p/PPPBBPPP/R3K2R w KQkq - 0 10",
+  "8/2p5/3p4/KP5r/1R3p1k/8/4P1P1/8 w - - 0 11",
   "4rrk1/pp1n3p/3q2pQ/2p1pb2/2PP4/2P3N1/P2B2PP/4RRK1 b - - 7 19",
   "rq3rk1/ppp2ppp/1bnpb3/3N2B1/3NP3/7P/PPPQ1PP1/2KR3R w - - 7 14",
   "r1bq1r1k/1pp1n1pp/1p1p4/4p2Q/4Pp2/1BNP4/PPP2PPP/3R1RK1 w - - 2 14",
@@ -55,131 +51,92 @@ const string BenchmarkPositions[] = {
 };
 
 
-////
-//// Functions
-////
-
 /// benchmark() runs a simple benchmark by letting Stockfish analyze a set
-/// of positions for a given time each.  There are four parameters; the
+/// of positions for a given limit each. There are five parameters; the
 /// transposition table size, the number of search threads that should
-/// be used, the time in seconds spent for each position (optional, default
-/// is 60) and an optional file name where to look for positions in fen
-/// format (default are the BenchmarkPositions defined above).
-/// The analysis is written to a file named bench.txt.
+/// be used, the limit value spent for each position (optional, default is
+/// depth 12), an optional file name where to look for positions in fen
+/// format (defaults are the positions defined above) and the type of the
+/// limit value: depth (default), time in secs or number of nodes.
 
-void benchmark(const string& commandLine) {
+void benchmark(const Position& current, istream& is) {
 
-  istringstream csVal(commandLine);
-  istringstream csStr(commandLine);
-  string ttSize, threads, fileName, limitType, timFile;
-  int val, secsPerPos, maxDepth, maxNodes;
+  string token;
+  Search::LimitsType limits;
+  vector<string> fens;
 
-  csStr >> ttSize;
-  csVal >> val;
-  if (val < 4 || val > 1024)
-  {
-      cerr << "The hash table size must be between 4 and 1024" << endl;
-      Application::exit_with_failure();
-  }
-  csStr >> threads;
-  csVal >> val;
-  if (val < 1 || val > MAX_THREADS)
-  {
-      cerr << "The number of threads must be between 1 and " << MAX_THREADS << endl;
-      Application::exit_with_failure();
-  }
-  Options["Hash"].set_value(ttSize);
-  Options["Threads"].set_value(threads);
-  Options["OwnBook"].set_value("false");
-  Options["Use Search Log"].set_value("true");
-  Options["Search Log Filename"].set_value("bench.txt");
+  // Assign default values to missing arguments
+  string ttSize    = (is >> token) ? token : "128";
+  string threads   = (is >> token) ? token : "1";
+  string limit     = (is >> token) ? token : "12";
+  string fenFile   = (is >> token) ? token : "default";
+  string limitType = (is >> token) ? token : "depth";
 
-  csVal >> val;
-  csVal >> fileName;
-  csVal >> limitType;
-  csVal >> timFile;
-
-  secsPerPos = maxDepth = maxNodes = 0;
+  Options["Hash"]    = ttSize;
+  Options["Threads"] = threads;
+  TT.clear();
 
   if (limitType == "time")
-      secsPerPos = val * 1000;
-  else if (limitType == "depth" || limitType == "perft")
-      maxDepth = val;
+      limits.movetime = 1000 * atoi(limit.c_str()); // movetime is in ms
+
+  else if (limitType == "nodes")
+      limits.nodes = atoi(limit.c_str());
+
   else
-      maxNodes = val;
+      limits.depth = atoi(limit.c_str());
 
-  vector<string> positions;
+  if (fenFile == "default")
+      fens.assign(Defaults, Defaults + 16);
 
-  if (fileName != "default")
-  {
-      ifstream fenFile(fileName.c_str());
-      if (!fenFile.is_open())
-      {
-          cerr << "Unable to open positions file " << fileName << endl;
-          Application::exit_with_failure();
-      }
-      string pos;
-      while (fenFile.good())
-      {
-          getline(fenFile, pos);
-          if (!pos.empty())
-              positions.push_back(pos);
-      }
-      fenFile.close();
-  } else
-      for (int i = 0; i < 16; i++)
-          positions.push_back(string(BenchmarkPositions[i]));
+  else if (fenFile == "current")
+      fens.push_back(current.to_fen());
 
-  ofstream timingFile;
-  if (!timFile.empty())
+  else
   {
-      timingFile.open(timFile.c_str(), ios::out | ios::app);
-      if (!timingFile.is_open())
+      string fen;
+      ifstream file(fenFile.c_str());
+
+      if (!file.is_open())
       {
-          cerr << "Unable to open timing file " << timFile << endl;
-          Application::exit_with_failure();
+          cerr << "Unable to open file " << fenFile << endl;
+          exit(EXIT_FAILURE);
       }
+
+      while (getline(file, fen))
+          if (!fen.empty())
+              fens.push_back(fen);
+
+      file.close();
   }
 
-  vector<string>::iterator it;
-  int cnt = 1;
-  int64_t totalNodes = 0;
-  int startTime = get_system_time();
+  int64_t nodes = 0;
+  Search::StateStackPtr st;
+  Time time = Time::current_time();
 
-  for (it = positions.begin(); it != positions.end(); ++it, ++cnt)
+  for (size_t i = 0; i < fens.size(); i++)
   {
-      Move moves[1] = {MOVE_NONE};
-      int dummy[2] = {0, 0};
-      Position pos(*it, 0);
-      cerr << "\nBench position: " << cnt << '/' << positions.size() << endl << endl;
+      Position pos(fens[i], Options["UCI_Chess960"], Threads.main_thread());
+
+      cerr << "\nPosition: " << i + 1 << '/' << fens.size() << endl;
+
       if (limitType == "perft")
       {
-          int64_t perftCnt = perft(pos, maxDepth * ONE_PLY);
-          cerr << "\nPerft " << maxDepth << " result (nodes searched): " << perftCnt << endl << endl;
-          totalNodes += perftCnt;
-      } else {
-          if (!think(pos, false, false, dummy, dummy, 0, maxDepth, maxNodes, secsPerPos, moves))
-              break;
-          totalNodes += pos.nodes_searched();
+          size_t cnt = Search::perft(pos, limits.depth * ONE_PLY);
+          cerr << "\nPerft " << limits.depth  << " leaf nodes: " << cnt << endl;
+          nodes += cnt;
+      }
+      else
+      {
+          Threads.start_searching(pos, limits, vector<Move>(), st);
+          Threads.wait_for_search_finished();
+          nodes += Search::RootPosition.nodes_searched();
       }
   }
 
-  cnt = get_system_time() - startTime;
-  cerr << "==============================="
-       << "\nTotal time (ms) : " << cnt
-       << "\nNodes searched  : " << totalNodes
-       << "\nNodes/second    : " << (int)(totalNodes/(cnt/1000.0)) << endl << endl;
-
-  if (!timFile.empty())
-  {
-      timingFile << cnt << endl << endl;
-      timingFile.close();
-  }
+  int e = time.elapsed() + 1; // Assure positive to avoid a 'divide by zero'
 
-  // Under MS Visual C++ debug window always unconditionally closes
-  // when program exits, this is bad because we want to read results before.
-  #if (defined(WINDOWS) || defined(WIN32) || defined(WIN64))
-  cerr << "Press any key to exit" << endl;
-  cin >> fileName;
-  #endif
+  cerr << "\n==========================="
+       << "\nTotal time (ms) : " << e
+       << "\nNodes searched  : " << nodes
+       << "\nNodes/second    : " << 1000 * nodes / e << endl;
 }