git.sesse.net Git - ffmpeg/blob - libavutil/mem.c

   1 /*
   2  * default memory allocator for libavutil
   3  * Copyright (c) 2002 Fabrice Bellard
   4  *
   5  * This file is part of FFmpeg.
   6  *
   7  * FFmpeg is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * FFmpeg is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with FFmpeg; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 /**
  23  * @file
  24  * default memory allocator for libavutil
  25  */
  26
  27 #define _XOPEN_SOURCE 600
  28
  29 #include "config.h"
  30
  31 #include <limits.h>
  32 #include <stdint.h>
  33 #include <stdlib.h>
  34 #include <string.h>
  35 #if HAVE_MALLOC_H
  36 #include <malloc.h>
  37 #endif
  38
  39 #include "avassert.h"
  40 #include "avutil.h"
  41 #include "common.h"
  42 #include "dynarray.h"
  43 #include "intreadwrite.h"
  44 #include "mem.h"
  45
  46 #ifdef MALLOC_PREFIX
  47
  48 #define malloc         AV_JOIN(MALLOC_PREFIX, malloc)
  49 #define memalign       AV_JOIN(MALLOC_PREFIX, memalign)
  50 #define posix_memalign AV_JOIN(MALLOC_PREFIX, posix_memalign)
  51 #define realloc        AV_JOIN(MALLOC_PREFIX, realloc)
  52 #define free           AV_JOIN(MALLOC_PREFIX, free)
  53
  54 void *malloc(size_t size);
  55 void *memalign(size_t align, size_t size);
  56 int   posix_memalign(void **ptr, size_t align, size_t size);
  57 void *realloc(void *ptr, size_t size);
  58 void  free(void *ptr);
  59
  60 #endif /* MALLOC_PREFIX */
  61
  62 #include "mem_internal.h"
  63
  64 #define ALIGN (HAVE_AVX512 ? 64 : (HAVE_AVX ? 32 : 16))
  65
  66 /* NOTE: if you want to override these functions with your own
  67  * implementations (not recommended) you have to link libav* as
  68  * dynamic libraries and remove -Wl,-Bsymbolic from the linker flags.
  69  * Note that this will cost performance. */
  70
  71 static size_t max_alloc_size= INT_MAX;
  72
  73 void av_max_alloc(size_t max){
  74     max_alloc_size = max;
  75 }
  76
  77 void *av_malloc(size_t size)
  78 {
  79     void *ptr = NULL;
  80
  81     if (size > max_alloc_size)
  82         return NULL;
  83
  84 #if HAVE_POSIX_MEMALIGN
  85     if (size) //OS X on SDK 10.6 has a broken posix_memalign implementation
  86     if (posix_memalign(&ptr, ALIGN, size))
  87         ptr = NULL;
  88 #elif HAVE_ALIGNED_MALLOC
  89     ptr = _aligned_malloc(size, ALIGN);
  90 #elif HAVE_MEMALIGN
  91 #ifndef __DJGPP__
  92     ptr = memalign(ALIGN, size);
  93 #else
  94     ptr = memalign(size, ALIGN);
  95 #endif
  96     /* Why 64?
  97      * Indeed, we should align it:
  98      *   on  4 for 386
  99      *   on 16 for 486
 100      *   on 32 for 586, PPro - K6-III
 101      *   on 64 for K7 (maybe for P3 too).
 102      * Because L1 and L2 caches are aligned on those values.
 103      * But I don't want to code such logic here!
 104      */
 105     /* Why 32?
 106      * For AVX ASM. SSE / NEON needs only 16.
 107      * Why not larger? Because I did not see a difference in benchmarks ...
 108      */
 109     /* benchmarks with P3
 110      * memalign(64) + 1          3071, 3051, 3032
 111      * memalign(64) + 2          3051, 3032, 3041
 112      * memalign(64) + 4          2911, 2896, 2915
 113      * memalign(64) + 8          2545, 2554, 2550
 114      * memalign(64) + 16         2543, 2572, 2563
 115      * memalign(64) + 32         2546, 2545, 2571
 116      * memalign(64) + 64         2570, 2533, 2558
 117      *
 118      * BTW, malloc seems to do 8-byte alignment by default here.
 119      */
 120 #else
 121     ptr = malloc(size);
 122 #endif
 123     if(!ptr && !size) {
 124         size = 1;
 125         ptr= av_malloc(1);
 126     }
 127 #if CONFIG_MEMORY_POISONING
 128     if (ptr)
 129         memset(ptr, FF_MEMORY_POISON, size);
 130 #endif
 131     return ptr;
 132 }
 133
 134 void *av_realloc(void *ptr, size_t size)
 135 {
 136     void *ret;
 137     if (size > max_alloc_size)
 138         return NULL;
 139
 140 #if HAVE_ALIGNED_MALLOC
 141     ret = _aligned_realloc(ptr, size + !size, ALIGN);
 142 #else
 143     ret = realloc(ptr, size + !size);
 144 #endif
 145 #if CONFIG_MEMORY_POISONING
 146     if (ret && !ptr)
 147         memset(ret, FF_MEMORY_POISON, size);
 148 #endif
 149     return ret;
 150 }
 151
 152 void *av_realloc_f(void *ptr, size_t nelem, size_t elsize)
 153 {
 154     size_t size;
 155     void *r;
 156
 157     if (av_size_mult(elsize, nelem, &size)) {
 158         av_free(ptr);
 159         return NULL;
 160     }
 161     r = av_realloc(ptr, size);
 162     if (!r)
 163         av_free(ptr);
 164     return r;
 165 }
 166
 167 int av_reallocp(void *ptr, size_t size)
 168 {
 169     void *val;
 170
 171     if (!size) {
 172         av_freep(ptr);
 173         return 0;
 174     }
 175
 176     memcpy(&val, ptr, sizeof(val));
 177     val = av_realloc(val, size);
 178
 179     if (!val) {
 180         av_freep(ptr);
 181         return AVERROR(ENOMEM);
 182     }
 183
 184     memcpy(ptr, &val, sizeof(val));
 185     return 0;
 186 }
 187
 188 void *av_malloc_array(size_t nmemb, size_t size)
 189 {
 190     size_t result;
 191     if (av_size_mult(nmemb, size, &result) < 0)
 192         return NULL;
 193     return av_malloc(result);
 194 }
 195
 196 void *av_mallocz_array(size_t nmemb, size_t size)
 197 {
 198     size_t result;
 199     if (av_size_mult(nmemb, size, &result) < 0)
 200         return NULL;
 201     return av_mallocz(result);
 202 }
 203
 204 void *av_realloc_array(void *ptr, size_t nmemb, size_t size)
 205 {
 206     size_t result;
 207     if (av_size_mult(nmemb, size, &result) < 0)
 208         return NULL;
 209     return av_realloc(ptr, result);
 210 }
 211
 212 int av_reallocp_array(void *ptr, size_t nmemb, size_t size)
 213 {
 214     void *val;
 215
 216     memcpy(&val, ptr, sizeof(val));
 217     val = av_realloc_f(val, nmemb, size);
 218     memcpy(ptr, &val, sizeof(val));
 219     if (!val && nmemb && size)
 220         return AVERROR(ENOMEM);
 221
 222     return 0;
 223 }
 224
 225 void av_free(void *ptr)
 226 {
 227 #if HAVE_ALIGNED_MALLOC
 228     _aligned_free(ptr);
 229 #else
 230     free(ptr);
 231 #endif
 232 }
 233
 234 void av_freep(void *arg)
 235 {
 236     void *val;
 237
 238     memcpy(&val, arg, sizeof(val));
 239     memcpy(arg, &(void *){ NULL }, sizeof(val));
 240     av_free(val);
 241 }
 242
 243 void *av_mallocz(size_t size)
 244 {
 245     void *ptr = av_malloc(size);
 246     if (ptr)
 247         memset(ptr, 0, size);
 248     return ptr;
 249 }
 250
 251 void *av_calloc(size_t nmemb, size_t size)
 252 {
 253     size_t result;
 254     if (av_size_mult(nmemb, size, &result) < 0)
 255         return NULL;
 256     return av_mallocz(result);
 257 }
 258
 259 char *av_strdup(const char *s)
 260 {
 261     char *ptr = NULL;
 262     if (s) {
 263         size_t len = strlen(s) + 1;
 264         ptr = av_realloc(NULL, len);
 265         if (ptr)
 266             memcpy(ptr, s, len);
 267     }
 268     return ptr;
 269 }
 270
 271 char *av_strndup(const char *s, size_t len)
 272 {
 273     char *ret = NULL, *end;
 274
 275     if (!s)
 276         return NULL;
 277
 278     end = memchr(s, 0, len);
 279     if (end)
 280         len = end - s;
 281
 282     ret = av_realloc(NULL, len + 1);
 283     if (!ret)
 284         return NULL;
 285
 286     memcpy(ret, s, len);
 287     ret[len] = 0;
 288     return ret;
 289 }
 290
 291 void *av_memdup(const void *p, size_t size)
 292 {
 293     void *ptr = NULL;
 294     if (p) {
 295         ptr = av_malloc(size);
 296         if (ptr)
 297             memcpy(ptr, p, size);
 298     }
 299     return ptr;
 300 }
 301
 302 int av_dynarray_add_nofree(void *tab_ptr, int *nb_ptr, void *elem)
 303 {
 304     void **tab;
 305     memcpy(&tab, tab_ptr, sizeof(tab));
 306
 307     FF_DYNARRAY_ADD(INT_MAX, sizeof(*tab), tab, *nb_ptr, {
 308         tab[*nb_ptr] = elem;
 309         memcpy(tab_ptr, &tab, sizeof(tab));
 310     }, {
 311         return AVERROR(ENOMEM);
 312     });
 313     return 0;
 314 }
 315
 316 void av_dynarray_add(void *tab_ptr, int *nb_ptr, void *elem)
 317 {
 318     void **tab;
 319     memcpy(&tab, tab_ptr, sizeof(tab));
 320
 321     FF_DYNARRAY_ADD(INT_MAX, sizeof(*tab), tab, *nb_ptr, {
 322         tab[*nb_ptr] = elem;
 323         memcpy(tab_ptr, &tab, sizeof(tab));
 324     }, {
 325         *nb_ptr = 0;
 326         av_freep(tab_ptr);
 327     });
 328 }
 329
 330 void *av_dynarray2_add(void **tab_ptr, int *nb_ptr, size_t elem_size,
 331                        const uint8_t *elem_data)
 332 {
 333     uint8_t *tab_elem_data = NULL;
 334
 335     FF_DYNARRAY_ADD(INT_MAX, elem_size, *tab_ptr, *nb_ptr, {
 336         tab_elem_data = (uint8_t *)*tab_ptr + (*nb_ptr) * elem_size;
 337         if (elem_data)
 338             memcpy(tab_elem_data, elem_data, elem_size);
 339         else if (CONFIG_MEMORY_POISONING)
 340             memset(tab_elem_data, FF_MEMORY_POISON, elem_size);
 341     }, {
 342         av_freep(tab_ptr);
 343         *nb_ptr = 0;
 344     });
 345     return tab_elem_data;
 346 }
 347
 348 static void fill16(uint8_t *dst, int len)
 349 {
 350     uint32_t v = AV_RN16(dst - 2);
 351
 352     v |= v << 16;
 353
 354     while (len >= 4) {
 355         AV_WN32(dst, v);
 356         dst += 4;
 357         len -= 4;
 358     }
 359
 360     while (len--) {
 361         *dst = dst[-2];
 362         dst++;
 363     }
 364 }
 365
 366 static void fill24(uint8_t *dst, int len)
 367 {
 368 #if HAVE_BIGENDIAN
 369     uint32_t v = AV_RB24(dst - 3);
 370     uint32_t a = v << 8  | v >> 16;
 371     uint32_t b = v << 16 | v >> 8;
 372     uint32_t c = v << 24 | v;
 373 #else
 374     uint32_t v = AV_RL24(dst - 3);
 375     uint32_t a = v       | v << 24;
 376     uint32_t b = v >> 8  | v << 16;
 377     uint32_t c = v >> 16 | v << 8;
 378 #endif
 379
 380     while (len >= 12) {
 381         AV_WN32(dst,     a);
 382         AV_WN32(dst + 4, b);
 383         AV_WN32(dst + 8, c);
 384         dst += 12;
 385         len -= 12;
 386     }
 387
 388     if (len >= 4) {
 389         AV_WN32(dst, a);
 390         dst += 4;
 391         len -= 4;
 392     }
 393
 394     if (len >= 4) {
 395         AV_WN32(dst, b);
 396         dst += 4;
 397         len -= 4;
 398     }
 399
 400     while (len--) {
 401         *dst = dst[-3];
 402         dst++;
 403     }
 404 }
 405
 406 static void fill32(uint8_t *dst, int len)
 407 {
 408     uint32_t v = AV_RN32(dst - 4);
 409
 410 #if HAVE_FAST_64BIT
 411     uint64_t v2= v + ((uint64_t)v<<32);
 412     while (len >= 32) {
 413         AV_WN64(dst   , v2);
 414         AV_WN64(dst+ 8, v2);
 415         AV_WN64(dst+16, v2);
 416         AV_WN64(dst+24, v2);
 417         dst += 32;
 418         len -= 32;
 419     }
 420 #endif
 421
 422     while (len >= 4) {
 423         AV_WN32(dst, v);
 424         dst += 4;
 425         len -= 4;
 426     }
 427
 428     while (len--) {
 429         *dst = dst[-4];
 430         dst++;
 431     }
 432 }
 433
 434 void av_memcpy_backptr(uint8_t *dst, int back, int cnt)
 435 {
 436     const uint8_t *src = &dst[-back];
 437     if (!back)
 438         return;
 439
 440     if (back == 1) {
 441         memset(dst, *src, cnt);
 442     } else if (back == 2) {
 443         fill16(dst, cnt);
 444     } else if (back == 3) {
 445         fill24(dst, cnt);
 446     } else if (back == 4) {
 447         fill32(dst, cnt);
 448     } else {
 449         if (cnt >= 16) {
 450             int blocklen = back;
 451             while (cnt > blocklen) {
 452                 memcpy(dst, src, blocklen);
 453                 dst       += blocklen;
 454                 cnt       -= blocklen;
 455                 blocklen <<= 1;
 456             }
 457             memcpy(dst, src, cnt);
 458             return;
 459         }
 460         if (cnt >= 8) {
 461             AV_COPY32U(dst,     src);
 462             AV_COPY32U(dst + 4, src + 4);
 463             src += 8;
 464             dst += 8;
 465             cnt -= 8;
 466         }
 467         if (cnt >= 4) {
 468             AV_COPY32U(dst, src);
 469             src += 4;
 470             dst += 4;
 471             cnt -= 4;
 472         }
 473         if (cnt >= 2) {
 474             AV_COPY16U(dst, src);
 475             src += 2;
 476             dst += 2;
 477             cnt -= 2;
 478         }
 479         if (cnt)
 480             *dst = *src;
 481     }
 482 }
 483
 484 void *av_fast_realloc(void *ptr, unsigned int *size, size_t min_size)
 485 {
 486     if (min_size <= *size)
 487         return ptr;
 488
 489     if (min_size > max_alloc_size) {
 490         *size = 0;
 491         return NULL;
 492     }
 493
 494     min_size = FFMIN(max_alloc_size, FFMAX(min_size + min_size / 16 + 32, min_size));
 495
 496     ptr = av_realloc(ptr, min_size);
 497     /* we could set this to the unmodified min_size but this is safer
 498      * if the user lost the ptr and uses NULL now
 499      */
 500     if (!ptr)
 501         min_size = 0;
 502
 503     *size = min_size;
 504
 505     return ptr;
 506 }
 507
 508 void av_fast_malloc(void *ptr, unsigned int *size, size_t min_size)
 509 {
 510     ff_fast_malloc(ptr, size, min_size, 0);
 511 }
 512
 513 void av_fast_mallocz(void *ptr, unsigned int *size, size_t min_size)
 514 {
 515     ff_fast_malloc(ptr, size, min_size, 1);
 516 }