]> git.sesse.net Git - x264/blob - common/osdep.h
x86inc: Fix AVX emulation of scalar float instructions
[x264] / common / osdep.h
1 /*****************************************************************************
2  * osdep.h: platform-specific code
3  *****************************************************************************
4  * Copyright (C) 2007-2016 x264 project
5  *
6  * Authors: Loren Merritt <lorenm@u.washington.edu>
7  *          Laurent Aimar <fenrir@via.ecp.fr>
8  *          Henrik Gramner <henrik@gramner.com>
9  *
10  * This program is free software; you can redistribute it and/or modify
11  * it under the terms of the GNU General Public License as published by
12  * the Free Software Foundation; either version 2 of the License, or
13  * (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
23  *
24  * This program is also available under a commercial proprietary license.
25  * For more information, contact us at licensing@x264.com.
26  *****************************************************************************/
27
28 #ifndef X264_OSDEP_H
29 #define X264_OSDEP_H
30
31 #define _LARGEFILE_SOURCE 1
32 #define _FILE_OFFSET_BITS 64
33 #include <stdio.h>
34 #include <sys/stat.h>
35 #include <inttypes.h>
36 #include <stdarg.h>
37
38 #include "config.h"
39
40 #ifdef __INTEL_COMPILER
41 #include <mathimf.h>
42 #else
43 #include <math.h>
44 #endif
45
46 #if !HAVE_LOG2F
47 #define log2f(x) (logf(x)/0.693147180559945f)
48 #define log2(x) (log(x)/0.693147180559945)
49 #endif
50
51 #ifdef _MSC_VER
52 #define inline __inline
53 #define strcasecmp _stricmp
54 #define strncasecmp _strnicmp
55 #define strtok_r strtok_s
56 #define S_ISREG(x) (((x) & S_IFMT) == S_IFREG)
57 #if _MSC_VER < 1900
58 int x264_snprintf( char *s, size_t n, const char *fmt, ... );
59 int x264_vsnprintf( char *s, size_t n, const char *fmt, va_list arg );
60 #define snprintf  x264_snprintf
61 #define vsnprintf x264_vsnprintf
62 #endif
63 #endif
64
65 #if !defined(va_copy) && defined(__INTEL_COMPILER)
66 #define va_copy(dst, src) ((dst) = (src))
67 #endif
68
69 #if !defined(isfinite) && (SYS_OPENBSD || SYS_SunOS)
70 #define isfinite finite
71 #endif
72
73 #ifdef _WIN32
74 #ifndef strtok_r
75 #define strtok_r(str,delim,save) strtok(str,delim)
76 #endif
77
78 #define utf8_to_utf16( utf8, utf16 )\
79     MultiByteToWideChar( CP_UTF8, MB_ERR_INVALID_CHARS, utf8, -1, utf16, sizeof(utf16)/sizeof(wchar_t) )
80 FILE *x264_fopen( const char *filename, const char *mode );
81 int x264_rename( const char *oldname, const char *newname );
82 #define x264_struct_stat struct _stati64
83 #define x264_fstat _fstati64
84 int x264_stat( const char *path, x264_struct_stat *buf );
85 #else
86 #define x264_fopen       fopen
87 #define x264_rename      rename
88 #define x264_struct_stat struct stat
89 #define x264_fstat       fstat
90 #define x264_stat        stat
91 #endif
92
93 #if defined(_WIN32) && !HAVE_WINRT
94 int x264_vfprintf( FILE *stream, const char *format, va_list arg );
95 int x264_is_pipe( const char *path );
96 #else
97 #define x264_vfprintf vfprintf
98 #define x264_is_pipe(x) 0
99 #endif
100
101 #ifdef _MSC_VER
102 #define DECLARE_ALIGNED( var, n ) __declspec(align(n)) var
103 #else
104 #define DECLARE_ALIGNED( var, n ) var __attribute__((aligned(n)))
105 #endif
106 #define ALIGNED_32( var ) DECLARE_ALIGNED( var, 32 )
107 #define ALIGNED_16( var ) DECLARE_ALIGNED( var, 16 )
108 #define ALIGNED_8( var )  DECLARE_ALIGNED( var, 8 )
109 #define ALIGNED_4( var )  DECLARE_ALIGNED( var, 4 )
110
111 // ARM compiliers don't reliably align stack variables
112 // - EABI requires only 8 byte stack alignment to be maintained
113 // - gcc can't align stack variables to more even if the stack were to be correctly aligned outside the function
114 // - armcc can't either, but is nice enough to actually tell you so
115 // - Apple gcc only maintains 4 byte alignment
116 // - llvm can align the stack, but only in svn and (unrelated) it exposes bugs in all released GNU binutils...
117
118 #define ALIGNED_ARRAY_EMU( mask, type, name, sub1, ... )\
119     uint8_t name##_u [sizeof(type sub1 __VA_ARGS__) + mask]; \
120     type (*name) __VA_ARGS__ = (void*)((intptr_t)(name##_u+mask) & ~mask)
121
122 #if ARCH_ARM && SYS_MACOSX
123 #define ALIGNED_ARRAY_8( ... ) ALIGNED_ARRAY_EMU( 7, __VA_ARGS__ )
124 #else
125 #define ALIGNED_ARRAY_8( type, name, sub1, ... )\
126     ALIGNED_8( type name sub1 __VA_ARGS__ )
127 #endif
128
129 #if ARCH_ARM
130 #define ALIGNED_ARRAY_16( ... ) ALIGNED_ARRAY_EMU( 15, __VA_ARGS__ )
131 #else
132 #define ALIGNED_ARRAY_16( type, name, sub1, ... )\
133     ALIGNED_16( type name sub1 __VA_ARGS__ )
134 #endif
135
136 #define EXPAND(x) x
137
138 #if STACK_ALIGNMENT >= 32
139 #define ALIGNED_ARRAY_32( type, name, sub1, ... )\
140     ALIGNED_32( type name sub1 __VA_ARGS__ )
141 #else
142 #define ALIGNED_ARRAY_32( ... ) EXPAND( ALIGNED_ARRAY_EMU( 31, __VA_ARGS__ ) )
143 #endif
144
145 #define ALIGNED_ARRAY_64( ... ) EXPAND( ALIGNED_ARRAY_EMU( 63, __VA_ARGS__ ) )
146
147 /* For AVX2 */
148 #if ARCH_X86 || ARCH_X86_64
149 #define NATIVE_ALIGN 32
150 #define ALIGNED_N ALIGNED_32
151 #define ALIGNED_ARRAY_N ALIGNED_ARRAY_32
152 #else
153 #define NATIVE_ALIGN 16
154 #define ALIGNED_N ALIGNED_16
155 #define ALIGNED_ARRAY_N ALIGNED_ARRAY_16
156 #endif
157
158 #if defined(__GNUC__) && (__GNUC__ > 3 || __GNUC__ == 3 && __GNUC_MINOR__ > 0)
159 #define UNUSED __attribute__((unused))
160 #define ALWAYS_INLINE __attribute__((always_inline)) inline
161 #define NOINLINE __attribute__((noinline))
162 #define MAY_ALIAS __attribute__((may_alias))
163 #define x264_constant_p(x) __builtin_constant_p(x)
164 #define x264_nonconstant_p(x) (!__builtin_constant_p(x))
165 #else
166 #ifdef _MSC_VER
167 #define ALWAYS_INLINE __forceinline
168 #define NOINLINE __declspec(noinline)
169 #else
170 #define ALWAYS_INLINE inline
171 #define NOINLINE
172 #endif
173 #define UNUSED
174 #define MAY_ALIAS
175 #define x264_constant_p(x) 0
176 #define x264_nonconstant_p(x) 0
177 #endif
178
179 /* threads */
180 #if HAVE_BEOSTHREAD
181 #include <kernel/OS.h>
182 #define x264_pthread_t               thread_id
183 static inline int x264_pthread_create( x264_pthread_t *t, void *a, void *(*f)(void *), void *d )
184 {
185      *t = spawn_thread( f, "", 10, d );
186      if( *t < B_NO_ERROR )
187          return -1;
188      resume_thread( *t );
189      return 0;
190 }
191 #define x264_pthread_join(t,s)       { long tmp; \
192                                        wait_for_thread(t,(s)?(long*)(s):&tmp); }
193
194 #elif HAVE_POSIXTHREAD
195 #include <pthread.h>
196 #define x264_pthread_t               pthread_t
197 #define x264_pthread_create          pthread_create
198 #define x264_pthread_join            pthread_join
199 #define x264_pthread_mutex_t         pthread_mutex_t
200 #define x264_pthread_mutex_init      pthread_mutex_init
201 #define x264_pthread_mutex_destroy   pthread_mutex_destroy
202 #define x264_pthread_mutex_lock      pthread_mutex_lock
203 #define x264_pthread_mutex_unlock    pthread_mutex_unlock
204 #define x264_pthread_cond_t          pthread_cond_t
205 #define x264_pthread_cond_init       pthread_cond_init
206 #define x264_pthread_cond_destroy    pthread_cond_destroy
207 #define x264_pthread_cond_broadcast  pthread_cond_broadcast
208 #define x264_pthread_cond_wait       pthread_cond_wait
209 #define x264_pthread_attr_t          pthread_attr_t
210 #define x264_pthread_attr_init       pthread_attr_init
211 #define x264_pthread_attr_destroy    pthread_attr_destroy
212 #define x264_pthread_num_processors_np pthread_num_processors_np
213 #define X264_PTHREAD_MUTEX_INITIALIZER PTHREAD_MUTEX_INITIALIZER
214
215 #elif HAVE_WIN32THREAD
216 #include "win32thread.h"
217
218 #else
219 #define x264_pthread_t               int
220 #define x264_pthread_create(t,u,f,d) 0
221 #define x264_pthread_join(t,s)
222 #endif //HAVE_*THREAD
223
224 #if !HAVE_POSIXTHREAD && !HAVE_WIN32THREAD
225 #define x264_pthread_mutex_t         int
226 #define x264_pthread_mutex_init(m,f) 0
227 #define x264_pthread_mutex_destroy(m)
228 #define x264_pthread_mutex_lock(m)
229 #define x264_pthread_mutex_unlock(m)
230 #define x264_pthread_cond_t          int
231 #define x264_pthread_cond_init(c,f)  0
232 #define x264_pthread_cond_destroy(c)
233 #define x264_pthread_cond_broadcast(c)
234 #define x264_pthread_cond_wait(c,m)
235 #define x264_pthread_attr_t          int
236 #define x264_pthread_attr_init(a)    0
237 #define x264_pthread_attr_destroy(a)
238 #define X264_PTHREAD_MUTEX_INITIALIZER 0
239 #endif
240
241 #if HAVE_WIN32THREAD || PTW32_STATIC_LIB
242 int x264_threading_init( void );
243 #else
244 #define x264_threading_init() 0
245 #endif
246
247 static ALWAYS_INLINE int x264_pthread_fetch_and_add( int *val, int add, x264_pthread_mutex_t *mutex )
248 {
249 #if HAVE_THREAD
250 #if defined(__GNUC__) && (__GNUC__ > 4 || __GNUC__ == 4 && __GNUC_MINOR__ > 0) && ARCH_X86
251     return __sync_fetch_and_add( val, add );
252 #else
253     x264_pthread_mutex_lock( mutex );
254     int res = *val;
255     *val += add;
256     x264_pthread_mutex_unlock( mutex );
257     return res;
258 #endif
259 #else
260     int res = *val;
261     *val += add;
262     return res;
263 #endif
264 }
265
266 #define WORD_SIZE sizeof(void*)
267
268 #define asm __asm__
269
270 #if WORDS_BIGENDIAN
271 #define endian_fix(x) (x)
272 #define endian_fix64(x) (x)
273 #define endian_fix32(x) (x)
274 #define endian_fix16(x) (x)
275 #else
276 #if HAVE_X86_INLINE_ASM && HAVE_MMX
277 static ALWAYS_INLINE uint32_t endian_fix32( uint32_t x )
278 {
279     asm("bswap %0":"+r"(x));
280     return x;
281 }
282 #elif defined(__GNUC__) && HAVE_ARMV6
283 static ALWAYS_INLINE uint32_t endian_fix32( uint32_t x )
284 {
285     asm("rev %0, %0":"+r"(x));
286     return x;
287 }
288 #else
289 static ALWAYS_INLINE uint32_t endian_fix32( uint32_t x )
290 {
291     return (x<<24) + ((x<<8)&0xff0000) + ((x>>8)&0xff00) + (x>>24);
292 }
293 #endif
294 #if HAVE_X86_INLINE_ASM && ARCH_X86_64
295 static ALWAYS_INLINE uint64_t endian_fix64( uint64_t x )
296 {
297     asm("bswap %0":"+r"(x));
298     return x;
299 }
300 #else
301 static ALWAYS_INLINE uint64_t endian_fix64( uint64_t x )
302 {
303     return endian_fix32(x>>32) + ((uint64_t)endian_fix32(x)<<32);
304 }
305 #endif
306 static ALWAYS_INLINE intptr_t endian_fix( intptr_t x )
307 {
308     return WORD_SIZE == 8 ? endian_fix64(x) : endian_fix32(x);
309 }
310 static ALWAYS_INLINE uint16_t endian_fix16( uint16_t x )
311 {
312     return (x<<8)|(x>>8);
313 }
314 #endif
315
316 /* For values with 4 bits or less. */
317 static int ALWAYS_INLINE x264_ctz_4bit( uint32_t x )
318 {
319     static uint8_t lut[16] = {4,0,1,0,2,0,1,0,3,0,1,0,2,0,1,0};
320     return lut[x];
321 }
322
323 #if defined(__GNUC__) && (__GNUC__ > 3 || __GNUC__ == 3 && __GNUC_MINOR__ > 3)
324 #define x264_clz(x) __builtin_clz(x)
325 #define x264_ctz(x) __builtin_ctz(x)
326 #else
327 static int ALWAYS_INLINE x264_clz( uint32_t x )
328 {
329     static uint8_t lut[16] = {4,3,2,2,1,1,1,1,0,0,0,0,0,0,0,0};
330     int y, z = (((x >> 16) - 1) >> 27) & 16;
331     x >>= z^16;
332     z += y = ((x - 0x100) >> 28) & 8;
333     x >>= y^8;
334     z += y = ((x - 0x10) >> 29) & 4;
335     x >>= y^4;
336     return z + lut[x];
337 }
338
339 static int ALWAYS_INLINE x264_ctz( uint32_t x )
340 {
341     static uint8_t lut[16] = {4,0,1,0,2,0,1,0,3,0,1,0,2,0,1,0};
342     int y, z = (((x & 0xffff) - 1) >> 27) & 16;
343     x >>= z;
344     z += y = (((x & 0xff) - 1) >> 28) & 8;
345     x >>= y;
346     z += y = (((x & 0xf) - 1) >> 29) & 4;
347     x >>= y;
348     return z + lut[x&0xf];
349 }
350 #endif
351
352 #if HAVE_X86_INLINE_ASM && HAVE_MMX
353 /* Don't use __builtin_prefetch; even as recent as 4.3.4, GCC seems incapable of
354  * using complex address modes properly unless we use inline asm. */
355 static ALWAYS_INLINE void x264_prefetch( void *p )
356 {
357     asm volatile( "prefetcht0 %0"::"m"(*(uint8_t*)p) );
358 }
359 /* We require that prefetch not fault on invalid reads, so we only enable it on
360  * known architectures. */
361 #elif defined(__GNUC__) && (__GNUC__ > 3 || __GNUC__ == 3 && __GNUC_MINOR__ > 1) &&\
362       (ARCH_X86 || ARCH_X86_64 || ARCH_ARM || ARCH_PPC)
363 #define x264_prefetch(x) __builtin_prefetch(x)
364 #else
365 #define x264_prefetch(x)
366 #endif
367
368 #if HAVE_POSIXTHREAD
369 #if SYS_WINDOWS
370 #define x264_lower_thread_priority(p)\
371 {\
372     x264_pthread_t handle = pthread_self();\
373     struct sched_param sp;\
374     int policy = SCHED_OTHER;\
375     pthread_getschedparam( handle, &policy, &sp );\
376     sp.sched_priority -= p;\
377     pthread_setschedparam( handle, policy, &sp );\
378 }
379 #elif SYS_HAIKU
380 #include <OS.h>
381 #define x264_lower_thread_priority(p)\
382     { UNUSED status_t nice_ret = set_thread_priority( find_thread( NULL ), B_LOW_PRIORITY ); }
383 #else
384 #include <unistd.h>
385 #define x264_lower_thread_priority(p) { UNUSED int nice_ret = nice(p); }
386 #endif /* SYS_WINDOWS */
387 #elif HAVE_WIN32THREAD
388 #define x264_lower_thread_priority(p) SetThreadPriority( GetCurrentThread(), X264_MAX( -2, -p ) )
389 #else
390 #define x264_lower_thread_priority(p)
391 #endif
392
393 static inline int x264_is_regular_file( FILE *filehandle )
394 {
395     x264_struct_stat file_stat;
396     if( x264_fstat( fileno( filehandle ), &file_stat ) )
397         return 1;
398     return S_ISREG( file_stat.st_mode );
399 }
400
401 static inline int x264_is_regular_file_path( const char *filename )
402 {
403     x264_struct_stat file_stat;
404     if( x264_stat( filename, &file_stat ) )
405         return !x264_is_pipe( filename );
406     return S_ISREG( file_stat.st_mode );
407 }
408
409 #endif /* X264_OSDEP_H */