git.sesse.net Git - bcachefs-tools-debian/blob - include/linux/bio.h

   1 /*
   2  * 2.5 block I/O model
   3  *
   4  * Copyright (C) 2001 Jens Axboe <axboe@suse.de>
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 as
   8  * published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  *
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public Licens
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-
  19  */
  20 #ifndef __LINUX_BIO_H
  21 #define __LINUX_BIO_H
  22
  23 #include <linux/mempool.h>
  24 #include <linux/bug.h>
  25 #include <linux/err.h>
  26
  27 #include <linux/blkdev.h>
  28 #include <linux/blk_types.h>
  29 #include <linux/workqueue.h>
  30
  31 #define bio_prio(bio)                   (bio)->bi_ioprio
  32 #define bio_set_prio(bio, prio)         ((bio)->bi_ioprio = prio)
  33
  34 #define bio_iter_iovec(bio, iter)                               \
  35         bvec_iter_bvec((bio)->bi_io_vec, (iter))
  36
  37 #define bio_iter_page(bio, iter)                                \
  38         bvec_iter_page((bio)->bi_io_vec, (iter))
  39 #define bio_iter_len(bio, iter)                                 \
  40         bvec_iter_len((bio)->bi_io_vec, (iter))
  41 #define bio_iter_offset(bio, iter)                              \
  42         bvec_iter_offset((bio)->bi_io_vec, (iter))
  43
  44 #define bio_page(bio)           bio_iter_page((bio), (bio)->bi_iter)
  45 #define bio_offset(bio)         bio_iter_offset((bio), (bio)->bi_iter)
  46 #define bio_iovec(bio)          bio_iter_iovec((bio), (bio)->bi_iter)
  47
  48 #define bio_multiple_segments(bio)                              \
  49         ((bio)->bi_iter.bi_size != bio_iovec(bio).bv_len)
  50
  51 #define bvec_iter_sectors(iter) ((iter).bi_size >> 9)
  52 #define bvec_iter_end_sector(iter) ((iter).bi_sector + bvec_iter_sectors((iter)))
  53
  54 #define bio_sectors(bio)        bvec_iter_sectors((bio)->bi_iter)
  55 #define bio_end_sector(bio)     bvec_iter_end_sector((bio)->bi_iter)
  56
  57 static inline bool bio_has_data(struct bio *bio)
  58 {
  59         if (bio &&
  60             bio->bi_iter.bi_size &&
  61             bio_op(bio) != REQ_OP_DISCARD &&
  62             bio_op(bio) != REQ_OP_SECURE_ERASE)
  63                 return true;
  64
  65         return false;
  66 }
  67
  68 static inline bool bio_no_advance_iter(struct bio *bio)
  69 {
  70         return bio_op(bio) == REQ_OP_DISCARD ||
  71                bio_op(bio) == REQ_OP_SECURE_ERASE ||
  72                bio_op(bio) == REQ_OP_WRITE_SAME;
  73 }
  74
  75 static inline bool bio_is_rw(struct bio *bio)
  76 {
  77         if (!bio_has_data(bio))
  78                 return false;
  79
  80         if (bio_no_advance_iter(bio))
  81                 return false;
  82
  83         return true;
  84 }
  85
  86 static inline bool bio_mergeable(struct bio *bio)
  87 {
  88         if (bio->bi_opf & REQ_NOMERGE_FLAGS)
  89                 return false;
  90
  91         return true;
  92 }
  93
  94 static inline unsigned int bio_cur_bytes(struct bio *bio)
  95 {
  96         if (bio_has_data(bio))
  97                 return bio_iovec(bio).bv_len;
  98         else /* dataless requests such as discard */
  99                 return bio->bi_iter.bi_size;
 100 }
 101
 102 static inline void *bio_data(struct bio *bio)
 103 {
 104         if (bio_has_data(bio))
 105                 return page_address(bio_page(bio)) + bio_offset(bio);
 106
 107         return NULL;
 108 }
 109
 110 #define __bio_kmap_atomic(bio, iter)                            \
 111         (kmap_atomic(bio_iter_iovec((bio), (iter)).bv_page) +   \
 112                 bio_iter_iovec((bio), (iter)).bv_offset)
 113
 114 #define __bio_kunmap_atomic(addr)       kunmap_atomic(addr)
 115
 116 static inline struct bio_vec *bio_next_segment(const struct bio *bio,
 117                                                struct bvec_iter_all *iter)
 118 {
 119         if (iter->idx >= bio->bi_vcnt)
 120                 return NULL;
 121
 122         return &bio->bi_io_vec[iter->idx];
 123 }
 124
 125 #define bio_for_each_segment_all(bvl, bio, iter) \
 126         for ((iter).idx = 0; (bvl = bio_next_segment((bio), &(iter))); (iter).idx++)
 127
 128 static inline void bio_advance_iter(struct bio *bio, struct bvec_iter *iter,
 129                                     unsigned bytes)
 130 {
 131         iter->bi_sector += bytes >> 9;
 132
 133         if (bio_no_advance_iter(bio))
 134                 iter->bi_size -= bytes;
 135         else
 136                 bvec_iter_advance(bio->bi_io_vec, iter, bytes);
 137 }
 138
 139 #define __bio_for_each_segment(bvl, bio, iter, start)                   \
 140         for (iter = (start);                                            \
 141              (iter).bi_size &&                                          \
 142                 ((bvl = bio_iter_iovec((bio), (iter))), 1);             \
 143              bio_advance_iter((bio), &(iter), (bvl).bv_len))
 144
 145 #define bio_for_each_segment(bvl, bio, iter)                            \
 146         __bio_for_each_segment(bvl, bio, iter, (bio)->bi_iter)
 147
 148 #define __bio_for_each_bvec(bvl, bio, iter, start)                      \
 149         __bio_for_each_segment(bvl, bio, iter, start)
 150
 151 #define bio_iter_last(bvec, iter) ((iter).bi_size == (bvec).bv_len)
 152
 153 static inline unsigned bio_segments(struct bio *bio)
 154 {
 155         unsigned segs = 0;
 156         struct bio_vec bv;
 157         struct bvec_iter iter;
 158
 159         /*
 160          * We special case discard/write same, because they interpret bi_size
 161          * differently:
 162          */
 163
 164         if (bio_op(bio) == REQ_OP_DISCARD)
 165                 return 1;
 166
 167         if (bio_op(bio) == REQ_OP_SECURE_ERASE)
 168                 return 1;
 169
 170         if (bio_op(bio) == REQ_OP_WRITE_SAME)
 171                 return 1;
 172
 173         bio_for_each_segment(bv, bio, iter)
 174                 segs++;
 175
 176         return segs;
 177 }
 178
 179 static inline void bio_get(struct bio *bio)
 180 {
 181         bio->bi_flags |= (1 << BIO_REFFED);
 182         smp_mb__before_atomic();
 183         atomic_inc(&bio->__bi_cnt);
 184 }
 185
 186 static inline bool bio_flagged(struct bio *bio, unsigned int bit)
 187 {
 188         return (bio->bi_flags & (1U << bit)) != 0;
 189 }
 190
 191 static inline void bio_set_flag(struct bio *bio, unsigned int bit)
 192 {
 193         bio->bi_flags |= (1U << bit);
 194 }
 195
 196 static inline void bio_clear_flag(struct bio *bio, unsigned int bit)
 197 {
 198         bio->bi_flags &= ~(1U << bit);
 199 }
 200
 201 extern struct bio *bio_split(struct bio *bio, int sectors,
 202                              gfp_t gfp, struct bio_set *bs);
 203
 204 static inline struct bio *bio_next_split(struct bio *bio, int sectors,
 205                                          gfp_t gfp, struct bio_set *bs)
 206 {
 207         if (sectors >= bio_sectors(bio))
 208                 return bio;
 209
 210         return bio_split(bio, sectors, gfp, bs);
 211 }
 212
 213 struct bio_set {
 214         unsigned int front_pad;
 215 };
 216
 217 static inline void bioset_exit(struct bio_set *bs) {}
 218
 219 static inline void bioset_free(struct bio_set *bs)
 220 {
 221         kfree(bs);
 222 }
 223
 224 static inline int bioset_init(struct bio_set *bs,
 225                               unsigned pool_size,
 226                               unsigned front_pad,
 227                               int flags)
 228 {
 229         bs->front_pad = front_pad;
 230         return 0;
 231 }
 232
 233 extern struct bio_set *bioset_create(unsigned int, unsigned int);
 234 extern struct bio_set *bioset_create_nobvec(unsigned int, unsigned int);
 235 enum {
 236         BIOSET_NEED_BVECS       = 1 << 0,
 237         BIOSET_NEED_RESCUER     = 1 << 1,
 238 };
 239
 240 extern struct bio *bio_alloc_bioset(gfp_t, int, struct bio_set *);
 241 extern void bio_put(struct bio *);
 242
 243 int bio_add_page(struct bio *, struct page *, unsigned, unsigned);
 244
 245 extern void __bio_clone_fast(struct bio *, struct bio *);
 246 extern struct bio *bio_clone_fast(struct bio *, gfp_t, struct bio_set *);
 247 extern struct bio *bio_clone_bioset(struct bio *, gfp_t, struct bio_set *bs);
 248
 249 static inline struct bio *bio_kmalloc(gfp_t gfp_mask, unsigned int nr_iovecs)
 250 {
 251         return bio_alloc_bioset(gfp_mask, nr_iovecs, NULL);
 252 }
 253
 254 static inline struct bio *bio_clone_kmalloc(struct bio *bio, gfp_t gfp_mask)
 255 {
 256         return bio_clone_bioset(bio, gfp_mask, NULL);
 257
 258 }
 259
 260 extern void bio_endio(struct bio *);
 261
 262 extern void bio_advance(struct bio *, unsigned);
 263
 264 extern void bio_reset(struct bio *);
 265 void bio_chain(struct bio *, struct bio *);
 266
 267 extern void bio_copy_data_iter(struct bio *dst, struct bvec_iter *dst_iter,
 268                                struct bio *src, struct bvec_iter *src_iter);
 269 extern void bio_copy_data(struct bio *dst, struct bio *src);
 270
 271 void bio_free_pages(struct bio *bio);
 272
 273 void zero_fill_bio_iter(struct bio *bio, struct bvec_iter iter);
 274
 275 static inline void zero_fill_bio(struct bio *bio)
 276 {
 277         zero_fill_bio_iter(bio, bio->bi_iter);
 278 }
 279
 280 #define bio_set_dev(bio, bdev)                  \
 281 do {                                            \
 282         (bio)->bi_bdev = (bdev);                \
 283 } while (0)
 284
 285 #define bio_copy_dev(dst, src)                  \
 286 do {                                            \
 287         (dst)->bi_bdev = (src)->bi_bdev;        \
 288 } while (0)
 289
 290 static inline char *bvec_kmap_irq(struct bio_vec *bvec, unsigned long *flags)
 291 {
 292         return page_address(bvec->bv_page) + bvec->bv_offset;
 293 }
 294
 295 static inline void bvec_kunmap_irq(char *buffer, unsigned long *flags)
 296 {
 297         *flags = 0;
 298 }
 299
 300 static inline char *__bio_kmap_irq(struct bio *bio, struct bvec_iter iter,
 301                                    unsigned long *flags)
 302 {
 303         return bvec_kmap_irq(&bio_iter_iovec(bio, iter), flags);
 304 }
 305 #define __bio_kunmap_irq(buf, flags)    bvec_kunmap_irq(buf, flags)
 306
 307 #define bio_kmap_irq(bio, flags) \
 308         __bio_kmap_irq((bio), (bio)->bi_iter, (flags))
 309 #define bio_kunmap_irq(buf,flags)       __bio_kunmap_irq(buf, flags)
 310
 311 struct bio_list {
 312         struct bio *head;
 313         struct bio *tail;
 314 };
 315
 316 static inline int bio_list_empty(const struct bio_list *bl)
 317 {
 318         return bl->head == NULL;
 319 }
 320
 321 static inline void bio_list_init(struct bio_list *bl)
 322 {
 323         bl->head = bl->tail = NULL;
 324 }
 325
 326 #define BIO_EMPTY_LIST  { NULL, NULL }
 327
 328 #define bio_list_for_each(bio, bl) \
 329         for (bio = (bl)->head; bio; bio = bio->bi_next)
 330
 331 static inline unsigned bio_list_size(const struct bio_list *bl)
 332 {
 333         unsigned sz = 0;
 334         struct bio *bio;
 335
 336         bio_list_for_each(bio, bl)
 337                 sz++;
 338
 339         return sz;
 340 }
 341
 342 static inline void bio_list_add(struct bio_list *bl, struct bio *bio)
 343 {
 344         bio->bi_next = NULL;
 345
 346         if (bl->tail)
 347                 bl->tail->bi_next = bio;
 348         else
 349                 bl->head = bio;
 350
 351         bl->tail = bio;
 352 }
 353
 354 static inline void bio_list_add_head(struct bio_list *bl, struct bio *bio)
 355 {
 356         bio->bi_next = bl->head;
 357
 358         bl->head = bio;
 359
 360         if (!bl->tail)
 361                 bl->tail = bio;
 362 }
 363
 364 static inline void bio_list_merge(struct bio_list *bl, struct bio_list *bl2)
 365 {
 366         if (!bl2->head)
 367                 return;
 368
 369         if (bl->tail)
 370                 bl->tail->bi_next = bl2->head;
 371         else
 372                 bl->head = bl2->head;
 373
 374         bl->tail = bl2->tail;
 375 }
 376
 377 static inline void bio_list_merge_head(struct bio_list *bl,
 378                                        struct bio_list *bl2)
 379 {
 380         if (!bl2->head)
 381                 return;
 382
 383         if (bl->head)
 384                 bl2->tail->bi_next = bl->head;
 385         else
 386                 bl->tail = bl2->tail;
 387
 388         bl->head = bl2->head;
 389 }
 390
 391 static inline struct bio *bio_list_peek(struct bio_list *bl)
 392 {
 393         return bl->head;
 394 }
 395
 396 static inline struct bio *bio_list_pop(struct bio_list *bl)
 397 {
 398         struct bio *bio = bl->head;
 399
 400         if (bio) {
 401                 bl->head = bl->head->bi_next;
 402                 if (!bl->head)
 403                         bl->tail = NULL;
 404
 405                 bio->bi_next = NULL;
 406         }
 407
 408         return bio;
 409 }
 410
 411 static inline struct bio *bio_list_get(struct bio_list *bl)
 412 {
 413         struct bio *bio = bl->head;
 414
 415         bl->head = bl->tail = NULL;
 416
 417         return bio;
 418 }
 419
 420 /*
 421  * Increment chain count for the bio. Make sure the CHAIN flag update
 422  * is visible before the raised count.
 423  */
 424 static inline void bio_inc_remaining(struct bio *bio)
 425 {
 426         bio_set_flag(bio, BIO_CHAIN);
 427         smp_mb__before_atomic();
 428         atomic_inc(&bio->__bi_remaining);
 429 }
 430
 431 static inline struct bio *bio_alloc(gfp_t gfp_mask, unsigned int nr_iovecs)
 432 {
 433         return bio_alloc_bioset(gfp_mask, nr_iovecs, NULL);
 434 }
 435
 436 static inline struct bio *bio_clone(struct bio *bio, gfp_t gfp_mask)
 437 {
 438         return bio_clone_bioset(bio, gfp_mask, NULL);
 439 }
 440
 441 static inline void bio_init(struct bio *bio, struct bio_vec *table,
 442               unsigned short max_vecs)
 443 {
 444         memset(bio, 0, sizeof(*bio));
 445         atomic_set(&bio->__bi_remaining, 1);
 446         atomic_set(&bio->__bi_cnt, 1);
 447
 448         bio->bi_io_vec = table;
 449         bio->bi_max_vecs = max_vecs;
 450 }
 451
 452 #endif /* __LINUX_BIO_H */