git.sesse.net Git - ffmpeg/blob - libavfilter/dnn_interface.h

   1 /*
   2  * Copyright (c) 2018 Sergey Lavrushkin
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 /**
  22  * @file
  23  * DNN inference engine interface.
  24  */
  25
  26 #ifndef AVFILTER_DNN_INTERFACE_H
  27 #define AVFILTER_DNN_INTERFACE_H
  28
  29 #include <stdint.h>
  30
  31 typedef enum {DNN_SUCCESS, DNN_ERROR} DNNReturnType;
  32
  33 typedef enum {DNN_NATIVE, DNN_TF} DNNBackendType;
  34
  35 typedef enum {DNN_FLOAT = 1, DNN_UINT8 = 4} DNNDataType;
  36
  37 typedef struct DNNData{
  38     void *data;
  39     DNNDataType dt;
  40     int width, height, channels;
  41 } DNNData;
  42
  43 typedef struct DNNModel{
  44     // Stores model that can be different for different backends.
  45     void *model;
  46     // Sets model input and output.
  47     // Should be called at least once before model execution.
  48     DNNReturnType (*set_input_output)(void *model, DNNData *input, const char *input_name, const char **output_names, uint32_t nb_output);
  49 } DNNModel;
  50
  51 // Stores pointers to functions for loading, executing, freeing DNN models for one of the backends.
  52 typedef struct DNNModule{
  53     // Loads model and parameters from given file. Returns NULL if it is not possible.
  54     DNNModel *(*load_model)(const char *model_filename);
  55     // Executes model with specified input and output. Returns DNN_ERROR otherwise.
  56     DNNReturnType (*execute_model)(const DNNModel *model, DNNData *outputs, uint32_t nb_output);
  57     // Frees memory allocated for model.
  58     void (*free_model)(DNNModel **model);
  59 } DNNModule;
  60
  61 // Initializes DNNModule depending on chosen backend.
  62 DNNModule *ff_get_dnn_module(DNNBackendType backend_type);
  63
  64 #endif