git.sesse.net Git - bcachefs-tools-debian/blob - include/linux/bio.h

   1 /*
   2  * 2.5 block I/O model
   3  *
   4  * Copyright (C) 2001 Jens Axboe <axboe@suse.de>
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 as
   8  * published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  *
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public Licens
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-
  19  */
  20 #ifndef __LINUX_BIO_H
  21 #define __LINUX_BIO_H
  22
  23 #include <linux/mempool.h>
  24 #include <linux/bug.h>
  25 #include <linux/err.h>
  26
  27 #include <linux/blkdev.h>
  28 #include <linux/blk_types.h>
  29 #include <linux/workqueue.h>
  30
  31 #define bio_prio(bio)                   (bio)->bi_ioprio
  32 #define bio_set_prio(bio, prio)         ((bio)->bi_ioprio = prio)
  33
  34 #define bio_iter_iovec(bio, iter)                               \
  35         bvec_iter_bvec((bio)->bi_io_vec, (iter))
  36
  37 #define bio_iter_page(bio, iter)                                \
  38         bvec_iter_page((bio)->bi_io_vec, (iter))
  39 #define bio_iter_len(bio, iter)                                 \
  40         bvec_iter_len((bio)->bi_io_vec, (iter))
  41 #define bio_iter_offset(bio, iter)                              \
  42         bvec_iter_offset((bio)->bi_io_vec, (iter))
  43
  44 #define bio_page(bio)           bio_iter_page((bio), (bio)->bi_iter)
  45 #define bio_offset(bio)         bio_iter_offset((bio), (bio)->bi_iter)
  46 #define bio_iovec(bio)          bio_iter_iovec((bio), (bio)->bi_iter)
  47
  48 #define bio_multiple_segments(bio)                              \
  49         ((bio)->bi_iter.bi_size != bio_iovec(bio).bv_len)
  50
  51 #define bvec_iter_sectors(iter) ((iter).bi_size >> 9)
  52 #define bvec_iter_end_sector(iter) ((iter).bi_sector + bvec_iter_sectors((iter)))
  53
  54 #define bio_sectors(bio)        bvec_iter_sectors((bio)->bi_iter)
  55 #define bio_end_sector(bio)     bvec_iter_end_sector((bio)->bi_iter)
  56
  57 static inline bool bio_has_data(struct bio *bio)
  58 {
  59         if (bio &&
  60             bio->bi_iter.bi_size &&
  61             bio_op(bio) != REQ_OP_DISCARD &&
  62             bio_op(bio) != REQ_OP_SECURE_ERASE)
  63                 return true;
  64
  65         return false;
  66 }
  67
  68 static inline bool bio_no_advance_iter(struct bio *bio)
  69 {
  70         return bio_op(bio) == REQ_OP_DISCARD ||
  71                bio_op(bio) == REQ_OP_SECURE_ERASE ||
  72                bio_op(bio) == REQ_OP_WRITE_SAME;
  73 }
  74
  75 static inline bool bio_is_rw(struct bio *bio)
  76 {
  77         if (!bio_has_data(bio))
  78                 return false;
  79
  80         if (bio_no_advance_iter(bio))
  81                 return false;
  82
  83         return true;
  84 }
  85
  86 static inline bool bio_mergeable(struct bio *bio)
  87 {
  88         if (bio->bi_opf & REQ_NOMERGE_FLAGS)
  89                 return false;
  90
  91         return true;
  92 }
  93
  94 static inline unsigned int bio_cur_bytes(struct bio *bio)
  95 {
  96         if (bio_has_data(bio))
  97                 return bio_iovec(bio).bv_len;
  98         else /* dataless requests such as discard */
  99                 return bio->bi_iter.bi_size;
 100 }
 101
 102 static inline void *bio_data(struct bio *bio)
 103 {
 104         if (bio_has_data(bio))
 105                 return page_address(bio_page(bio)) + bio_offset(bio);
 106
 107         return NULL;
 108 }
 109
 110 #define __bio_kmap_atomic(bio, iter)                            \
 111         (kmap_atomic(bio_iter_iovec((bio), (iter)).bv_page) +   \
 112                 bio_iter_iovec((bio), (iter)).bv_offset)
 113
 114 #define __bio_kunmap_atomic(addr)       kunmap_atomic(addr)
 115
 116 static inline struct bio_vec *bio_next_segment(const struct bio *bio,
 117                                                struct bvec_iter_all *iter)
 118 {
 119         if (iter->idx >= bio->bi_vcnt)
 120                 return NULL;
 121
 122         return &bio->bi_io_vec[iter->idx];
 123 }
 124
 125 #define bio_for_each_segment_all(bvl, bio, iter) \
 126         for ((iter).idx = 0; (bvl = bio_next_segment((bio), &(iter))); (iter).idx++)
 127
 128 static inline void bio_advance_iter(struct bio *bio, struct bvec_iter *iter,
 129                                     unsigned bytes)
 130 {
 131         iter->bi_sector += bytes >> 9;
 132
 133         if (bio_no_advance_iter(bio))
 134                 iter->bi_size -= bytes;
 135         else
 136                 bvec_iter_advance(bio->bi_io_vec, iter, bytes);
 137 }
 138
 139 #define __bio_for_each_segment(bvl, bio, iter, start)                   \
 140         for (iter = (start);                                            \
 141              (iter).bi_size &&                                          \
 142                 ((bvl = bio_iter_iovec((bio), (iter))), 1);             \
 143              bio_advance_iter((bio), &(iter), (bvl).bv_len))
 144
 145 #define bio_for_each_segment(bvl, bio, iter)                            \
 146         __bio_for_each_segment(bvl, bio, iter, (bio)->bi_iter)
 147
 148 #define __bio_for_each_bvec(bvl, bio, iter, start)                      \
 149         __bio_for_each_segment(bvl, bio, iter, start)
 150
 151 #define bio_iter_last(bvec, iter) ((iter).bi_size == (bvec).bv_len)
 152
 153 static inline unsigned bio_segments(struct bio *bio)
 154 {
 155         unsigned segs = 0;
 156         struct bio_vec bv;
 157         struct bvec_iter iter;
 158
 159         /*
 160          * We special case discard/write same, because they interpret bi_size
 161          * differently:
 162          */
 163
 164         if (bio_op(bio) == REQ_OP_DISCARD)
 165                 return 1;
 166
 167         if (bio_op(bio) == REQ_OP_SECURE_ERASE)
 168                 return 1;
 169
 170         if (bio_op(bio) == REQ_OP_WRITE_SAME)
 171                 return 1;
 172
 173         bio_for_each_segment(bv, bio, iter)
 174                 segs++;
 175
 176         return segs;
 177 }
 178
 179 static inline void bio_get(struct bio *bio)
 180 {
 181         bio->bi_flags |= (1 << BIO_REFFED);
 182         smp_mb__before_atomic();
 183         atomic_inc(&bio->__bi_cnt);
 184 }
 185
 186 static inline bool bio_flagged(struct bio *bio, unsigned int bit)
 187 {
 188         return (bio->bi_flags & (1U << bit)) != 0;
 189 }
 190
 191 static inline void bio_set_flag(struct bio *bio, unsigned int bit)
 192 {
 193         bio->bi_flags |= (1U << bit);
 194 }
 195
 196 static inline void bio_clear_flag(struct bio *bio, unsigned int bit)
 197 {
 198         bio->bi_flags &= ~(1U << bit);
 199 }
 200
 201 extern struct bio *bio_split(struct bio *bio, int sectors,
 202                              gfp_t gfp, struct bio_set *bs);
 203
 204 static inline struct bio *bio_next_split(struct bio *bio, int sectors,
 205                                          gfp_t gfp, struct bio_set *bs)
 206 {
 207         if (sectors >= bio_sectors(bio))
 208                 return bio;
 209
 210         return bio_split(bio, sectors, gfp, bs);
 211 }
 212
 213 struct bio_set {
 214         unsigned int front_pad;
 215         unsigned int back_pad;
 216         mempool_t bio_pool;
 217         mempool_t bvec_pool;
 218 };
 219
 220
 221 static inline void bioset_free(struct bio_set *bs)
 222 {
 223         kfree(bs);
 224 }
 225
 226 void bioset_exit(struct bio_set *);
 227 int bioset_init(struct bio_set *, unsigned, unsigned, int);
 228
 229 extern struct bio_set *bioset_create(unsigned int, unsigned int);
 230 extern struct bio_set *bioset_create_nobvec(unsigned int, unsigned int);
 231 enum {
 232         BIOSET_NEED_BVECS       = 1 << 0,
 233         BIOSET_NEED_RESCUER     = 1 << 1,
 234 };
 235
 236 struct bio *bio_alloc_bioset(struct block_device *, unsigned,
 237                              blk_opf_t, gfp_t, struct bio_set *);
 238 extern void bio_put(struct bio *);
 239
 240 int bio_add_page(struct bio *, struct page *, unsigned, unsigned);
 241
 242 struct bio *bio_alloc_clone(struct block_device *, struct bio *,
 243                             gfp_t, struct bio_set *);
 244
 245 struct bio *bio_kmalloc(unsigned int, gfp_t);
 246
 247 extern void bio_endio(struct bio *);
 248
 249 extern void bio_advance(struct bio *, unsigned);
 250
 251 extern void bio_reset(struct bio *, struct block_device *, unsigned);
 252 void bio_chain(struct bio *, struct bio *);
 253
 254 extern void bio_copy_data_iter(struct bio *dst, struct bvec_iter *dst_iter,
 255                                struct bio *src, struct bvec_iter *src_iter);
 256 extern void bio_copy_data(struct bio *dst, struct bio *src);
 257
 258 void bio_free_pages(struct bio *bio);
 259
 260 void zero_fill_bio_iter(struct bio *bio, struct bvec_iter iter);
 261
 262 static inline void zero_fill_bio(struct bio *bio)
 263 {
 264         zero_fill_bio_iter(bio, bio->bi_iter);
 265 }
 266
 267 #define bio_set_dev(bio, bdev)                  \
 268 do {                                            \
 269         (bio)->bi_bdev = (bdev);                \
 270 } while (0)
 271
 272 #define bio_copy_dev(dst, src)                  \
 273 do {                                            \
 274         (dst)->bi_bdev = (src)->bi_bdev;        \
 275 } while (0)
 276
 277 static inline char *bvec_kmap_irq(struct bio_vec *bvec, unsigned long *flags)
 278 {
 279         return page_address(bvec->bv_page) + bvec->bv_offset;
 280 }
 281
 282 static inline void bvec_kunmap_irq(char *buffer, unsigned long *flags)
 283 {
 284         *flags = 0;
 285 }
 286
 287 static inline char *__bio_kmap_irq(struct bio *bio, struct bvec_iter iter,
 288                                    unsigned long *flags)
 289 {
 290         return bvec_kmap_irq(&bio_iter_iovec(bio, iter), flags);
 291 }
 292 #define __bio_kunmap_irq(buf, flags)    bvec_kunmap_irq(buf, flags)
 293
 294 #define bio_kmap_irq(bio, flags) \
 295         __bio_kmap_irq((bio), (bio)->bi_iter, (flags))
 296 #define bio_kunmap_irq(buf,flags)       __bio_kunmap_irq(buf, flags)
 297
 298 struct bio_list {
 299         struct bio *head;
 300         struct bio *tail;
 301 };
 302
 303 static inline int bio_list_empty(const struct bio_list *bl)
 304 {
 305         return bl->head == NULL;
 306 }
 307
 308 static inline void bio_list_init(struct bio_list *bl)
 309 {
 310         bl->head = bl->tail = NULL;
 311 }
 312
 313 #define BIO_EMPTY_LIST  { NULL, NULL }
 314
 315 #define bio_list_for_each(bio, bl) \
 316         for (bio = (bl)->head; bio; bio = bio->bi_next)
 317
 318 static inline unsigned bio_list_size(const struct bio_list *bl)
 319 {
 320         unsigned sz = 0;
 321         struct bio *bio;
 322
 323         bio_list_for_each(bio, bl)
 324                 sz++;
 325
 326         return sz;
 327 }
 328
 329 static inline void bio_list_add(struct bio_list *bl, struct bio *bio)
 330 {
 331         bio->bi_next = NULL;
 332
 333         if (bl->tail)
 334                 bl->tail->bi_next = bio;
 335         else
 336                 bl->head = bio;
 337
 338         bl->tail = bio;
 339 }
 340
 341 static inline void bio_list_add_head(struct bio_list *bl, struct bio *bio)
 342 {
 343         bio->bi_next = bl->head;
 344
 345         bl->head = bio;
 346
 347         if (!bl->tail)
 348                 bl->tail = bio;
 349 }
 350
 351 static inline void bio_list_merge(struct bio_list *bl, struct bio_list *bl2)
 352 {
 353         if (!bl2->head)
 354                 return;
 355
 356         if (bl->tail)
 357                 bl->tail->bi_next = bl2->head;
 358         else
 359                 bl->head = bl2->head;
 360
 361         bl->tail = bl2->tail;
 362 }
 363
 364 static inline void bio_list_merge_head(struct bio_list *bl,
 365                                        struct bio_list *bl2)
 366 {
 367         if (!bl2->head)
 368                 return;
 369
 370         if (bl->head)
 371                 bl2->tail->bi_next = bl->head;
 372         else
 373                 bl->tail = bl2->tail;
 374
 375         bl->head = bl2->head;
 376 }
 377
 378 static inline struct bio *bio_list_peek(struct bio_list *bl)
 379 {
 380         return bl->head;
 381 }
 382
 383 static inline struct bio *bio_list_pop(struct bio_list *bl)
 384 {
 385         struct bio *bio = bl->head;
 386
 387         if (bio) {
 388                 bl->head = bl->head->bi_next;
 389                 if (!bl->head)
 390                         bl->tail = NULL;
 391
 392                 bio->bi_next = NULL;
 393         }
 394
 395         return bio;
 396 }
 397
 398 static inline struct bio *bio_list_get(struct bio_list *bl)
 399 {
 400         struct bio *bio = bl->head;
 401
 402         bl->head = bl->tail = NULL;
 403
 404         return bio;
 405 }
 406
 407 /*
 408  * Increment chain count for the bio. Make sure the CHAIN flag update
 409  * is visible before the raised count.
 410  */
 411 static inline void bio_inc_remaining(struct bio *bio)
 412 {
 413         bio_set_flag(bio, BIO_CHAIN);
 414         smp_mb__before_atomic();
 415         atomic_inc(&bio->__bi_remaining);
 416 }
 417
 418 static inline void bio_init(struct bio *bio,
 419                             struct block_device *bdev,
 420                             struct bio_vec *table,
 421                             unsigned short max_vecs,
 422                             unsigned int opf)
 423 {
 424         memset(bio, 0, sizeof(*bio));
 425         bio->bi_bdev = bdev;
 426         bio->bi_opf = opf;
 427         atomic_set(&bio->__bi_remaining, 1);
 428         atomic_set(&bio->__bi_cnt, 1);
 429
 430         bio->bi_io_vec = table;
 431         bio->bi_max_vecs = max_vecs;
 432 }
 433
 434 #endif /* __LINUX_BIO_H */