git.sesse.net Git - stockfish/blob - src/nnue/nnue_architecture.h

   1 /*
   2   Stockfish, a UCI chess playing engine derived from Glaurung 2.1
   3   Copyright (C) 2004-2021 The Stockfish developers (see AUTHORS file)
   4
   5   Stockfish is free software: you can redistribute it and/or modify
   6   it under the terms of the GNU General Public License as published by
   7   the Free Software Foundation, either version 3 of the License, or
   8   (at your option) any later version.
   9
  10   Stockfish is distributed in the hope that it will be useful,
  11   but WITHOUT ANY WARRANTY; without even the implied warranty of
  12   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13   GNU General Public License for more details.
  14
  15   You should have received a copy of the GNU General Public License
  16   along with this program.  If not, see <http://www.gnu.org/licenses/>.
  17 */
  18
  19 // Input features and network structure used in NNUE evaluation function
  20
  21 #ifndef NNUE_ARCHITECTURE_H_INCLUDED
  22 #define NNUE_ARCHITECTURE_H_INCLUDED
  23
  24 #include "nnue_common.h"
  25
  26 #include "features/half_ka_v2.h"
  27
  28 #include "layers/input_slice.h"
  29 #include "layers/affine_transform.h"
  30 #include "layers/clipped_relu.h"
  31
  32 namespace Stockfish::Eval::NNUE {
  33
  34   // Input features used in evaluation function
  35   using FeatureSet = Features::HalfKAv2;
  36
  37   // Number of input feature dimensions after conversion
  38   constexpr IndexType TransformedFeatureDimensions = 512;
  39   constexpr IndexType PSQTBuckets = 8;
  40   constexpr IndexType LayerStacks = 8;
  41
  42   namespace Layers {
  43
  44     // Define network structure
  45     using InputLayer = InputSlice<TransformedFeatureDimensions * 2>;
  46     using HiddenLayer1 = ClippedReLU<AffineTransform<InputLayer, 16>>;
  47     using HiddenLayer2 = ClippedReLU<AffineTransform<HiddenLayer1, 32>>;
  48     using OutputLayer = AffineTransform<HiddenLayer2, 1>;
  49
  50   }  // namespace Layers
  51
  52   using Network = Layers::OutputLayer;
  53
  54   static_assert(TransformedFeatureDimensions % MaxSimdWidth == 0, "");
  55   static_assert(Network::OutputDimensions == 1, "");
  56   static_assert(std::is_same<Network::OutputType, std::int32_t>::value, "");
  57
  58 }  // namespace Stockfish::Eval::NNUE
  59
  60 #endif // #ifndef NNUE_ARCHITECTURE_H_INCLUDED