git.sesse.net Git - bcachefs-tools-debian/blob - include/linux/bio.h

   1 /*
   2  * 2.5 block I/O model
   3  *
   4  * Copyright (C) 2001 Jens Axboe <axboe@suse.de>
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 as
   8  * published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  *
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public Licens
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-
  19  */
  20 #ifndef __LINUX_BIO_H
  21 #define __LINUX_BIO_H
  22
  23 #include <linux/mempool.h>
  24 #include <linux/bug.h>
  25 #include <linux/err.h>
  26
  27 #include <linux/blkdev.h>
  28 #include <linux/blk_types.h>
  29 #include <linux/workqueue.h>
  30
  31 #define bio_prio(bio)                   (bio)->bi_ioprio
  32 #define bio_set_prio(bio, prio)         ((bio)->bi_ioprio = prio)
  33
  34 #define bio_iter_iovec(bio, iter)                               \
  35         bvec_iter_bvec((bio)->bi_io_vec, (iter))
  36
  37 #define bio_iter_page(bio, iter)                                \
  38         bvec_iter_page((bio)->bi_io_vec, (iter))
  39 #define bio_iter_len(bio, iter)                                 \
  40         bvec_iter_len((bio)->bi_io_vec, (iter))
  41 #define bio_iter_offset(bio, iter)                              \
  42         bvec_iter_offset((bio)->bi_io_vec, (iter))
  43
  44 #define bio_page(bio)           bio_iter_page((bio), (bio)->bi_iter)
  45 #define bio_offset(bio)         bio_iter_offset((bio), (bio)->bi_iter)
  46 #define bio_iovec(bio)          bio_iter_iovec((bio), (bio)->bi_iter)
  47
  48 #define bio_multiple_segments(bio)                              \
  49         ((bio)->bi_iter.bi_size != bio_iovec(bio).bv_len)
  50
  51 #define bvec_iter_sectors(iter) ((iter).bi_size >> 9)
  52 #define bvec_iter_end_sector(iter) ((iter).bi_sector + bvec_iter_sectors((iter)))
  53
  54 #define bio_sectors(bio)        bvec_iter_sectors((bio)->bi_iter)
  55 #define bio_end_sector(bio)     bvec_iter_end_sector((bio)->bi_iter)
  56
  57 static inline bool bio_has_data(struct bio *bio)
  58 {
  59         if (bio &&
  60             bio->bi_iter.bi_size &&
  61             bio_op(bio) != REQ_OP_DISCARD &&
  62             bio_op(bio) != REQ_OP_SECURE_ERASE)
  63                 return true;
  64
  65         return false;
  66 }
  67
  68 static inline bool bio_no_advance_iter(struct bio *bio)
  69 {
  70         return bio_op(bio) == REQ_OP_DISCARD ||
  71                bio_op(bio) == REQ_OP_SECURE_ERASE ||
  72                bio_op(bio) == REQ_OP_WRITE_SAME;
  73 }
  74
  75 static inline bool bio_is_rw(struct bio *bio)
  76 {
  77         if (!bio_has_data(bio))
  78                 return false;
  79
  80         if (bio_no_advance_iter(bio))
  81                 return false;
  82
  83         return true;
  84 }
  85
  86 static inline bool bio_mergeable(struct bio *bio)
  87 {
  88         if (bio->bi_opf & REQ_NOMERGE_FLAGS)
  89                 return false;
  90
  91         return true;
  92 }
  93
  94 static inline unsigned int bio_cur_bytes(struct bio *bio)
  95 {
  96         if (bio_has_data(bio))
  97                 return bio_iovec(bio).bv_len;
  98         else /* dataless requests such as discard */
  99                 return bio->bi_iter.bi_size;
 100 }
 101
 102 static inline void *bio_data(struct bio *bio)
 103 {
 104         if (bio_has_data(bio))
 105                 return page_address(bio_page(bio)) + bio_offset(bio);
 106
 107         return NULL;
 108 }
 109
 110 #define __bio_kmap_atomic(bio, iter)                            \
 111         (kmap_atomic(bio_iter_iovec((bio), (iter)).bv_page) +   \
 112                 bio_iter_iovec((bio), (iter)).bv_offset)
 113
 114 #define __bio_kunmap_atomic(addr)       kunmap_atomic(addr)
 115
 116 #define bio_for_each_segment_all(bvl, bio, i)                           \
 117         for (i = 0, bvl = (bio)->bi_io_vec; i < (bio)->bi_vcnt; i++, bvl++)
 118
 119 static inline void bio_advance_iter(struct bio *bio, struct bvec_iter *iter,
 120                                     unsigned bytes)
 121 {
 122         iter->bi_sector += bytes >> 9;
 123
 124         if (bio_no_advance_iter(bio))
 125                 iter->bi_size -= bytes;
 126         else
 127                 bvec_iter_advance(bio->bi_io_vec, iter, bytes);
 128 }
 129
 130 #define __bio_for_each_segment(bvl, bio, iter, start)                   \
 131         for (iter = (start);                                            \
 132              (iter).bi_size &&                                          \
 133                 ((bvl = bio_iter_iovec((bio), (iter))), 1);             \
 134              bio_advance_iter((bio), &(iter), (bvl).bv_len))
 135
 136 #define bio_for_each_segment(bvl, bio, iter)                            \
 137         __bio_for_each_segment(bvl, bio, iter, (bio)->bi_iter)
 138
 139 #define bio_iter_last(bvec, iter) ((iter).bi_size == (bvec).bv_len)
 140
 141 static inline unsigned bio_segments(struct bio *bio)
 142 {
 143         unsigned segs = 0;
 144         struct bio_vec bv;
 145         struct bvec_iter iter;
 146
 147         /*
 148          * We special case discard/write same, because they interpret bi_size
 149          * differently:
 150          */
 151
 152         if (bio_op(bio) == REQ_OP_DISCARD)
 153                 return 1;
 154
 155         if (bio_op(bio) == REQ_OP_SECURE_ERASE)
 156                 return 1;
 157
 158         if (bio_op(bio) == REQ_OP_WRITE_SAME)
 159                 return 1;
 160
 161         bio_for_each_segment(bv, bio, iter)
 162                 segs++;
 163
 164         return segs;
 165 }
 166
 167 static inline void bio_get(struct bio *bio)
 168 {
 169         bio->bi_flags |= (1 << BIO_REFFED);
 170         smp_mb__before_atomic();
 171         atomic_inc(&bio->__bi_cnt);
 172 }
 173
 174 static inline bool bio_flagged(struct bio *bio, unsigned int bit)
 175 {
 176         return (bio->bi_flags & (1U << bit)) != 0;
 177 }
 178
 179 static inline void bio_set_flag(struct bio *bio, unsigned int bit)
 180 {
 181         bio->bi_flags |= (1U << bit);
 182 }
 183
 184 static inline void bio_clear_flag(struct bio *bio, unsigned int bit)
 185 {
 186         bio->bi_flags &= ~(1U << bit);
 187 }
 188
 189 extern struct bio *bio_split(struct bio *bio, int sectors,
 190                              gfp_t gfp, struct bio_set *bs);
 191
 192 static inline struct bio *bio_next_split(struct bio *bio, int sectors,
 193                                          gfp_t gfp, struct bio_set *bs)
 194 {
 195         if (sectors >= bio_sectors(bio))
 196                 return bio;
 197
 198         return bio_split(bio, sectors, gfp, bs);
 199 }
 200
 201 struct bio_set {
 202         unsigned int front_pad;
 203 };
 204
 205 static inline void bioset_exit(struct bio_set *bs) {}
 206
 207 static inline void bioset_free(struct bio_set *bs)
 208 {
 209         kfree(bs);
 210 }
 211
 212 static inline int bioset_init(struct bio_set *bs,
 213                               unsigned pool_size,
 214                               unsigned front_pad,
 215                               int flags)
 216 {
 217         bs->front_pad = front_pad;
 218         return 0;
 219 }
 220
 221 extern struct bio_set *bioset_create(unsigned int, unsigned int);
 222 extern struct bio_set *bioset_create_nobvec(unsigned int, unsigned int);
 223 enum {
 224         BIOSET_NEED_BVECS       = 1 << 0,
 225         BIOSET_NEED_RESCUER     = 1 << 1,
 226 };
 227
 228 extern struct bio *bio_alloc_bioset(gfp_t, int, struct bio_set *);
 229 extern void bio_put(struct bio *);
 230
 231 extern void __bio_clone_fast(struct bio *, struct bio *);
 232 extern struct bio *bio_clone_fast(struct bio *, gfp_t, struct bio_set *);
 233 extern struct bio *bio_clone_bioset(struct bio *, gfp_t, struct bio_set *bs);
 234
 235 static inline struct bio *bio_kmalloc(gfp_t gfp_mask, unsigned int nr_iovecs)
 236 {
 237         return bio_alloc_bioset(gfp_mask, nr_iovecs, NULL);
 238 }
 239
 240 static inline struct bio *bio_clone_kmalloc(struct bio *bio, gfp_t gfp_mask)
 241 {
 242         return bio_clone_bioset(bio, gfp_mask, NULL);
 243
 244 }
 245
 246 extern void bio_endio(struct bio *);
 247
 248 extern void bio_advance(struct bio *, unsigned);
 249
 250 extern void bio_reset(struct bio *);
 251 void bio_chain(struct bio *, struct bio *);
 252
 253 extern void bio_copy_data_iter(struct bio *dst, struct bvec_iter *dst_iter,
 254                                struct bio *src, struct bvec_iter *src_iter);
 255 extern void bio_copy_data(struct bio *dst, struct bio *src);
 256
 257 void bio_free_pages(struct bio *bio);
 258
 259 void zero_fill_bio_iter(struct bio *bio, struct bvec_iter iter);
 260
 261 static inline void zero_fill_bio(struct bio *bio)
 262 {
 263         zero_fill_bio_iter(bio, bio->bi_iter);
 264 }
 265
 266 #define bio_set_dev(bio, bdev)                  \
 267 do {                                            \
 268         (bio)->bi_bdev = (bdev);                \
 269 } while (0)
 270
 271 #define bio_copy_dev(dst, src)                  \
 272 do {                                            \
 273         (dst)->bi_bdev = (src)->bi_bdev;        \
 274 } while (0)
 275
 276 static inline char *bvec_kmap_irq(struct bio_vec *bvec, unsigned long *flags)
 277 {
 278         return page_address(bvec->bv_page) + bvec->bv_offset;
 279 }
 280
 281 static inline void bvec_kunmap_irq(char *buffer, unsigned long *flags)
 282 {
 283         *flags = 0;
 284 }
 285
 286 static inline char *__bio_kmap_irq(struct bio *bio, struct bvec_iter iter,
 287                                    unsigned long *flags)
 288 {
 289         return bvec_kmap_irq(&bio_iter_iovec(bio, iter), flags);
 290 }
 291 #define __bio_kunmap_irq(buf, flags)    bvec_kunmap_irq(buf, flags)
 292
 293 #define bio_kmap_irq(bio, flags) \
 294         __bio_kmap_irq((bio), (bio)->bi_iter, (flags))
 295 #define bio_kunmap_irq(buf,flags)       __bio_kunmap_irq(buf, flags)
 296
 297 struct bio_list {
 298         struct bio *head;
 299         struct bio *tail;
 300 };
 301
 302 static inline int bio_list_empty(const struct bio_list *bl)
 303 {
 304         return bl->head == NULL;
 305 }
 306
 307 static inline void bio_list_init(struct bio_list *bl)
 308 {
 309         bl->head = bl->tail = NULL;
 310 }
 311
 312 #define BIO_EMPTY_LIST  { NULL, NULL }
 313
 314 #define bio_list_for_each(bio, bl) \
 315         for (bio = (bl)->head; bio; bio = bio->bi_next)
 316
 317 static inline unsigned bio_list_size(const struct bio_list *bl)
 318 {
 319         unsigned sz = 0;
 320         struct bio *bio;
 321
 322         bio_list_for_each(bio, bl)
 323                 sz++;
 324
 325         return sz;
 326 }
 327
 328 static inline void bio_list_add(struct bio_list *bl, struct bio *bio)
 329 {
 330         bio->bi_next = NULL;
 331
 332         if (bl->tail)
 333                 bl->tail->bi_next = bio;
 334         else
 335                 bl->head = bio;
 336
 337         bl->tail = bio;
 338 }
 339
 340 static inline void bio_list_add_head(struct bio_list *bl, struct bio *bio)
 341 {
 342         bio->bi_next = bl->head;
 343
 344         bl->head = bio;
 345
 346         if (!bl->tail)
 347                 bl->tail = bio;
 348 }
 349
 350 static inline void bio_list_merge(struct bio_list *bl, struct bio_list *bl2)
 351 {
 352         if (!bl2->head)
 353                 return;
 354
 355         if (bl->tail)
 356                 bl->tail->bi_next = bl2->head;
 357         else
 358                 bl->head = bl2->head;
 359
 360         bl->tail = bl2->tail;
 361 }
 362
 363 static inline void bio_list_merge_head(struct bio_list *bl,
 364                                        struct bio_list *bl2)
 365 {
 366         if (!bl2->head)
 367                 return;
 368
 369         if (bl->head)
 370                 bl2->tail->bi_next = bl->head;
 371         else
 372                 bl->tail = bl2->tail;
 373
 374         bl->head = bl2->head;
 375 }
 376
 377 static inline struct bio *bio_list_peek(struct bio_list *bl)
 378 {
 379         return bl->head;
 380 }
 381
 382 static inline struct bio *bio_list_pop(struct bio_list *bl)
 383 {
 384         struct bio *bio = bl->head;
 385
 386         if (bio) {
 387                 bl->head = bl->head->bi_next;
 388                 if (!bl->head)
 389                         bl->tail = NULL;
 390
 391                 bio->bi_next = NULL;
 392         }
 393
 394         return bio;
 395 }
 396
 397 static inline struct bio *bio_list_get(struct bio_list *bl)
 398 {
 399         struct bio *bio = bl->head;
 400
 401         bl->head = bl->tail = NULL;
 402
 403         return bio;
 404 }
 405
 406 /*
 407  * Increment chain count for the bio. Make sure the CHAIN flag update
 408  * is visible before the raised count.
 409  */
 410 static inline void bio_inc_remaining(struct bio *bio)
 411 {
 412         bio_set_flag(bio, BIO_CHAIN);
 413         smp_mb__before_atomic();
 414         atomic_inc(&bio->__bi_remaining);
 415 }
 416
 417 static inline struct bio *bio_alloc(gfp_t gfp_mask, unsigned int nr_iovecs)
 418 {
 419         return bio_alloc_bioset(gfp_mask, nr_iovecs, NULL);
 420 }
 421
 422 static inline struct bio *bio_clone(struct bio *bio, gfp_t gfp_mask)
 423 {
 424         return bio_clone_bioset(bio, gfp_mask, NULL);
 425 }
 426
 427 static inline void bio_init(struct bio *bio, struct bio_vec *table,
 428               unsigned short max_vecs)
 429 {
 430         memset(bio, 0, sizeof(*bio));
 431         atomic_set(&bio->__bi_remaining, 1);
 432         atomic_set(&bio->__bi_cnt, 1);
 433
 434         bio->bi_io_vec = table;
 435         bio->bi_max_vecs = max_vecs;
 436 }
 437
 438 #endif /* __LINUX_BIO_H */