git.sesse.net Git - bcachefs-tools-debian/blob - include/linux/bio.h

   1 /*
   2  * 2.5 block I/O model
   3  *
   4  * Copyright (C) 2001 Jens Axboe <axboe@suse.de>
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 as
   8  * published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  *
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public Licens
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-
  19  */
  20 #ifndef __LINUX_BIO_H
  21 #define __LINUX_BIO_H
  22
  23 #include <linux/mempool.h>
  24 #include <linux/bug.h>
  25 #include <linux/err.h>
  26
  27 #include <linux/blkdev.h>
  28 #include <linux/blk_types.h>
  29 #include <linux/workqueue.h>
  30
  31 #define bio_prio(bio)                   (bio)->bi_ioprio
  32 #define bio_set_prio(bio, prio)         ((bio)->bi_ioprio = prio)
  33
  34 #define bio_iter_iovec(bio, iter)                               \
  35         bvec_iter_bvec((bio)->bi_io_vec, (iter))
  36
  37 #define bio_iter_page(bio, iter)                                \
  38         bvec_iter_page((bio)->bi_io_vec, (iter))
  39 #define bio_iter_len(bio, iter)                                 \
  40         bvec_iter_len((bio)->bi_io_vec, (iter))
  41 #define bio_iter_offset(bio, iter)                              \
  42         bvec_iter_offset((bio)->bi_io_vec, (iter))
  43
  44 #define bio_page(bio)           bio_iter_page((bio), (bio)->bi_iter)
  45 #define bio_offset(bio)         bio_iter_offset((bio), (bio)->bi_iter)
  46 #define bio_iovec(bio)          bio_iter_iovec((bio), (bio)->bi_iter)
  47
  48 #define bio_multiple_segments(bio)                              \
  49         ((bio)->bi_iter.bi_size != bio_iovec(bio).bv_len)
  50
  51 #define bvec_iter_sectors(iter) ((iter).bi_size >> 9)
  52 #define bvec_iter_end_sector(iter) ((iter).bi_sector + bvec_iter_sectors((iter)))
  53
  54 #define bio_sectors(bio)        bvec_iter_sectors((bio)->bi_iter)
  55 #define bio_end_sector(bio)     bvec_iter_end_sector((bio)->bi_iter)
  56
  57 static inline bool bio_has_data(struct bio *bio)
  58 {
  59         if (bio &&
  60             bio->bi_iter.bi_size &&
  61             bio_op(bio) != REQ_OP_DISCARD &&
  62             bio_op(bio) != REQ_OP_SECURE_ERASE)
  63                 return true;
  64
  65         return false;
  66 }
  67
  68 static inline bool bio_no_advance_iter(struct bio *bio)
  69 {
  70         return bio_op(bio) == REQ_OP_DISCARD ||
  71                bio_op(bio) == REQ_OP_SECURE_ERASE ||
  72                bio_op(bio) == REQ_OP_WRITE_SAME;
  73 }
  74
  75 static inline bool bio_is_rw(struct bio *bio)
  76 {
  77         if (!bio_has_data(bio))
  78                 return false;
  79
  80         if (bio_no_advance_iter(bio))
  81                 return false;
  82
  83         return true;
  84 }
  85
  86 static inline bool bio_mergeable(struct bio *bio)
  87 {
  88         if (bio->bi_opf & REQ_NOMERGE_FLAGS)
  89                 return false;
  90
  91         return true;
  92 }
  93
  94 static inline unsigned int bio_cur_bytes(struct bio *bio)
  95 {
  96         if (bio_has_data(bio))
  97                 return bio_iovec(bio).bv_len;
  98         else /* dataless requests such as discard */
  99                 return bio->bi_iter.bi_size;
 100 }
 101
 102 static inline void *bio_data(struct bio *bio)
 103 {
 104         if (bio_has_data(bio))
 105                 return page_address(bio_page(bio)) + bio_offset(bio);
 106
 107         return NULL;
 108 }
 109
 110 #define __bio_kmap_atomic(bio, iter)                            \
 111         (kmap_atomic(bio_iter_iovec((bio), (iter)).bv_page) +   \
 112                 bio_iter_iovec((bio), (iter)).bv_offset)
 113
 114 #define __bio_kunmap_atomic(addr)       kunmap_atomic(addr)
 115
 116 static inline struct bio_vec bio_iter_all_peek(const struct bio *bio,
 117                                                struct bvec_iter_all *iter)
 118 {
 119         if (WARN_ON(iter->idx >= bio->bi_vcnt))
 120                 return (struct bio_vec) { NULL };
 121
 122         return bvec_iter_all_peek(bio->bi_io_vec, iter);
 123 }
 124
 125 static inline void bio_iter_all_advance(const struct bio *bio,
 126                                         struct bvec_iter_all *iter,
 127                                         unsigned bytes)
 128 {
 129         bvec_iter_all_advance(bio->bi_io_vec, iter, bytes);
 130
 131         WARN_ON(iter->idx > bio->bi_vcnt ||
 132                 (iter->idx == bio->bi_vcnt && iter->done));
 133 }
 134
 135 #define bio_for_each_segment_all_continue(bvl, bio, iter)               \
 136         for (;                                                          \
 137              iter.idx < bio->bi_vcnt &&                                 \
 138                 ((bvl = bio_iter_all_peek(bio, &iter)), true);          \
 139              bio_iter_all_advance((bio), &iter, bvl.bv_len))
 140
 141 /*
 142  * drivers should _never_ use the all version - the bio may have been split
 143  * before it got to the driver and the driver won't own all of it
 144  */
 145 #define bio_for_each_segment_all(bvl, bio, iter)                        \
 146         for (bvec_iter_all_init(&iter);                                 \
 147              iter.idx < (bio)->bi_vcnt &&                               \
 148                 ((bvl = bio_iter_all_peek((bio), &iter)), true);                \
 149              bio_iter_all_advance((bio), &iter, bvl.bv_len))
 150
 151 static inline void bio_advance_iter(struct bio *bio, struct bvec_iter *iter,
 152                                     unsigned bytes)
 153 {
 154         iter->bi_sector += bytes >> 9;
 155
 156         if (bio_no_advance_iter(bio))
 157                 iter->bi_size -= bytes;
 158         else
 159                 bvec_iter_advance(bio->bi_io_vec, iter, bytes);
 160 }
 161
 162 #define __bio_for_each_segment(bvl, bio, iter, start)                   \
 163         for (iter = (start);                                            \
 164              (iter).bi_size &&                                          \
 165                 ((bvl = bio_iter_iovec((bio), (iter))), 1);             \
 166              bio_advance_iter((bio), &(iter), (bvl).bv_len))
 167
 168 #define bio_for_each_segment(bvl, bio, iter)                            \
 169         __bio_for_each_segment(bvl, bio, iter, (bio)->bi_iter)
 170
 171 #define __bio_for_each_bvec(bvl, bio, iter, start)                      \
 172         __bio_for_each_segment(bvl, bio, iter, start)
 173
 174 #define bio_iter_last(bvec, iter) ((iter).bi_size == (bvec).bv_len)
 175
 176 static inline unsigned bio_segments(struct bio *bio)
 177 {
 178         unsigned segs = 0;
 179         struct bio_vec bv;
 180         struct bvec_iter iter;
 181
 182         /*
 183          * We special case discard/write same, because they interpret bi_size
 184          * differently:
 185          */
 186
 187         if (bio_op(bio) == REQ_OP_DISCARD)
 188                 return 1;
 189
 190         if (bio_op(bio) == REQ_OP_SECURE_ERASE)
 191                 return 1;
 192
 193         if (bio_op(bio) == REQ_OP_WRITE_SAME)
 194                 return 1;
 195
 196         bio_for_each_segment(bv, bio, iter)
 197                 segs++;
 198
 199         return segs;
 200 }
 201
 202 static inline void bio_get(struct bio *bio)
 203 {
 204         bio->bi_flags |= (1 << BIO_REFFED);
 205         smp_mb__before_atomic();
 206         atomic_inc(&bio->__bi_cnt);
 207 }
 208
 209 static inline bool bio_flagged(struct bio *bio, unsigned int bit)
 210 {
 211         return (bio->bi_flags & (1U << bit)) != 0;
 212 }
 213
 214 static inline void bio_set_flag(struct bio *bio, unsigned int bit)
 215 {
 216         bio->bi_flags |= (1U << bit);
 217 }
 218
 219 static inline void bio_clear_flag(struct bio *bio, unsigned int bit)
 220 {
 221         bio->bi_flags &= ~(1U << bit);
 222 }
 223
 224 extern struct bio *bio_split(struct bio *bio, int sectors,
 225                              gfp_t gfp, struct bio_set *bs);
 226
 227 static inline struct bio *bio_next_split(struct bio *bio, int sectors,
 228                                          gfp_t gfp, struct bio_set *bs)
 229 {
 230         if (sectors >= bio_sectors(bio))
 231                 return bio;
 232
 233         return bio_split(bio, sectors, gfp, bs);
 234 }
 235
 236 struct bio_set {
 237         unsigned int front_pad;
 238         unsigned int back_pad;
 239         mempool_t bio_pool;
 240         mempool_t bvec_pool;
 241 };
 242
 243
 244 static inline void bioset_free(struct bio_set *bs)
 245 {
 246         kfree(bs);
 247 }
 248
 249 void bioset_exit(struct bio_set *);
 250 int bioset_init(struct bio_set *, unsigned, unsigned, int);
 251
 252 extern struct bio_set *bioset_create(unsigned int, unsigned int);
 253 extern struct bio_set *bioset_create_nobvec(unsigned int, unsigned int);
 254 enum {
 255         BIOSET_NEED_BVECS       = 1 << 0,
 256         BIOSET_NEED_RESCUER     = 1 << 1,
 257 };
 258
 259 struct bio *bio_alloc_bioset(struct block_device *, unsigned,
 260                              unsigned, gfp_t, struct bio_set *);
 261 extern void bio_put(struct bio *);
 262
 263 int bio_add_page(struct bio *, struct page *, unsigned, unsigned);
 264
 265 struct bio *bio_alloc_clone(struct block_device *, struct bio *,
 266                             gfp_t, struct bio_set *);
 267
 268 struct bio *bio_kmalloc(unsigned int, gfp_t);
 269
 270 extern void bio_endio(struct bio *);
 271
 272 extern void bio_advance(struct bio *, unsigned);
 273
 274 extern void bio_reset(struct bio *, struct block_device *, unsigned);
 275 void bio_chain(struct bio *, struct bio *);
 276
 277 extern void bio_copy_data_iter(struct bio *dst, struct bvec_iter *dst_iter,
 278                                struct bio *src, struct bvec_iter *src_iter);
 279 extern void bio_copy_data(struct bio *dst, struct bio *src);
 280
 281 void bio_free_pages(struct bio *bio);
 282
 283 void zero_fill_bio_iter(struct bio *bio, struct bvec_iter iter);
 284
 285 static inline void zero_fill_bio(struct bio *bio)
 286 {
 287         zero_fill_bio_iter(bio, bio->bi_iter);
 288 }
 289
 290 #define bio_set_dev(bio, bdev)                  \
 291 do {                                            \
 292         (bio)->bi_bdev = (bdev);                \
 293 } while (0)
 294
 295 #define bio_copy_dev(dst, src)                  \
 296 do {                                            \
 297         (dst)->bi_bdev = (src)->bi_bdev;        \
 298 } while (0)
 299
 300 static inline char *bvec_kmap_irq(struct bio_vec *bvec, unsigned long *flags)
 301 {
 302         return page_address(bvec->bv_page) + bvec->bv_offset;
 303 }
 304
 305 static inline void bvec_kunmap_irq(char *buffer, unsigned long *flags)
 306 {
 307         *flags = 0;
 308 }
 309
 310 static inline char *__bio_kmap_irq(struct bio *bio, struct bvec_iter iter,
 311                                    unsigned long *flags)
 312 {
 313         return bvec_kmap_irq(&bio_iter_iovec(bio, iter), flags);
 314 }
 315 #define __bio_kunmap_irq(buf, flags)    bvec_kunmap_irq(buf, flags)
 316
 317 #define bio_kmap_irq(bio, flags) \
 318         __bio_kmap_irq((bio), (bio)->bi_iter, (flags))
 319 #define bio_kunmap_irq(buf,flags)       __bio_kunmap_irq(buf, flags)
 320
 321 struct bio_list {
 322         struct bio *head;
 323         struct bio *tail;
 324 };
 325
 326 static inline int bio_list_empty(const struct bio_list *bl)
 327 {
 328         return bl->head == NULL;
 329 }
 330
 331 static inline void bio_list_init(struct bio_list *bl)
 332 {
 333         bl->head = bl->tail = NULL;
 334 }
 335
 336 #define BIO_EMPTY_LIST  { NULL, NULL }
 337
 338 #define bio_list_for_each(bio, bl) \
 339         for (bio = (bl)->head; bio; bio = bio->bi_next)
 340
 341 static inline unsigned bio_list_size(const struct bio_list *bl)
 342 {
 343         unsigned sz = 0;
 344         struct bio *bio;
 345
 346         bio_list_for_each(bio, bl)
 347                 sz++;
 348
 349         return sz;
 350 }
 351
 352 static inline void bio_list_add(struct bio_list *bl, struct bio *bio)
 353 {
 354         bio->bi_next = NULL;
 355
 356         if (bl->tail)
 357                 bl->tail->bi_next = bio;
 358         else
 359                 bl->head = bio;
 360
 361         bl->tail = bio;
 362 }
 363
 364 static inline void bio_list_add_head(struct bio_list *bl, struct bio *bio)
 365 {
 366         bio->bi_next = bl->head;
 367
 368         bl->head = bio;
 369
 370         if (!bl->tail)
 371                 bl->tail = bio;
 372 }
 373
 374 static inline void bio_list_merge(struct bio_list *bl, struct bio_list *bl2)
 375 {
 376         if (!bl2->head)
 377                 return;
 378
 379         if (bl->tail)
 380                 bl->tail->bi_next = bl2->head;
 381         else
 382                 bl->head = bl2->head;
 383
 384         bl->tail = bl2->tail;
 385 }
 386
 387 static inline void bio_list_merge_head(struct bio_list *bl,
 388                                        struct bio_list *bl2)
 389 {
 390         if (!bl2->head)
 391                 return;
 392
 393         if (bl->head)
 394                 bl2->tail->bi_next = bl->head;
 395         else
 396                 bl->tail = bl2->tail;
 397
 398         bl->head = bl2->head;
 399 }
 400
 401 static inline struct bio *bio_list_peek(struct bio_list *bl)
 402 {
 403         return bl->head;
 404 }
 405
 406 static inline struct bio *bio_list_pop(struct bio_list *bl)
 407 {
 408         struct bio *bio = bl->head;
 409
 410         if (bio) {
 411                 bl->head = bl->head->bi_next;
 412                 if (!bl->head)
 413                         bl->tail = NULL;
 414
 415                 bio->bi_next = NULL;
 416         }
 417
 418         return bio;
 419 }
 420
 421 static inline struct bio *bio_list_get(struct bio_list *bl)
 422 {
 423         struct bio *bio = bl->head;
 424
 425         bl->head = bl->tail = NULL;
 426
 427         return bio;
 428 }
 429
 430 /*
 431  * Increment chain count for the bio. Make sure the CHAIN flag update
 432  * is visible before the raised count.
 433  */
 434 static inline void bio_inc_remaining(struct bio *bio)
 435 {
 436         bio_set_flag(bio, BIO_CHAIN);
 437         smp_mb__before_atomic();
 438         atomic_inc(&bio->__bi_remaining);
 439 }
 440
 441 static inline void bio_init(struct bio *bio,
 442                             struct block_device *bdev,
 443                             struct bio_vec *table,
 444                             unsigned short max_vecs,
 445                             unsigned int opf)
 446 {
 447         memset(bio, 0, sizeof(*bio));
 448         bio->bi_bdev = bdev;
 449         bio->bi_opf = opf;
 450         atomic_set(&bio->__bi_remaining, 1);
 451         atomic_set(&bio->__bi_cnt, 1);
 452
 453         bio->bi_io_vec = table;
 454         bio->bi_max_vecs = max_vecs;
 455 }
 456
 457 #endif /* __LINUX_BIO_H */