Update bcachefs sources to a5da815430 bcachefs: Convert constants to consts

Rust: Start of cmd_list rewrite

This is a _very_ preliminary rewrite of the cmd_list tool in rust, which
is intended to be a testing ground for a safe interface in Rust to the
core btree interface. This adds rust wrappers for:

bch_fs: provides bch2_fs_open(), bch2_fs_stop
btree_trans: provides bch2_trans_init(), bch2_trans_exit()
btree_iter: provides peek, peek_and_restart, advance
bch_errcode: implements Display (wraps bch2_err_str())
bpos: implements Ord (wraps bpos_cmp())
bkey_s_c: implements Display (wraps bch2_bkey_val_to_text())

and other assorted types.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to ca97ee3577 bcachefs: bch2_btree_iter_peek_and_restart_outlined()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

nix fix up! Rust now integrated into bcachefs binary

Heavily simplified to just call make with the required rust dependencies.

Signed-off-by: Daniel Hill <daniel@gluo.nz>

Made the -k option for mount.bcachefs default to ask, without messing up formatting

Signed-off-by: Westly Ward <sonicrules1234@gmail.com>

cmd_list_journal: Highlight entries matching transaction filter

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust-src: Clean up read_super bindings

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

More rust improvements

 - passing of arguments from c -> rust code now works correctly
 - 'bcachefs mount' now handles being passed a device or devices

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

fixup! Rust now integrated into bcachefs binary

Rust now integrated into bcachefs binary

Rust is now required for building the bcachefs tool, and rust code is
now fully integrated with the C codebase - meaning it is possible to
call back and forth.

The mount helper is now a subcommand, 'mount.bcachefs' is now a small
shell wrapper that invokes 'bcachefs mount'.

This will make it easier to start rewriting other subcommands in rust,
and eventually the whole command line interface.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 8e1519ccb6 bcachefs: Add tracepoint & counter for btree split race

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 1b14994029 bcachefs: Fragmentation LRU

Fix cpu_relax()

cpu_relax() is supposed to be a compiler barrier - this fixes a bug with
btree_write_buffer_flush() getting stuck.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 8dbfede1d9 fixup! bcachefs: More info on check_bucket_ref() error

cmd_list_journal: Add filter options

Instead of having to use grep, this adds the ability to print out only
transactions that update a particular key, or to filter out entirely
keys except those updating certain btrees.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 3e0c5b0722 fixup! bcachefs: Btree write buffer

mount: support remount

remount is handled by libc, not the kernel mount procedure, this fixes
remounts. Also sorted the list of flags.

Signed-off-by: Daniel Hill <daniel@gluo.nz>

Update bcachefs sources to dab31ca168 bcachefs: Add some logging for btree node rewrites due to errors

Update bcachefs sources to ea93c26e98 fixup! bcachefs: We can handle missing btree roots for all alloc btrees

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

nix: fix compilation issues

Update Cargo.lock files to match new dependancies
Bump nixpkgs pin

Makefile: build with -Wno-deprecated-declarations

This fixes a ZSTD warning.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

cmd_fsck: Add --ratelimit_errors option

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

fixup! nix: overhaul build system.

Signed-off-by: Daniel Hill <daniel@gluo.nz>

rust: replace tracing with logger

tracing framework is a overengineered for simple mount helper. Add a
few very barebone logging macros to allow configurable verbosity and
colorized output with a small footprint.

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

rust: use rustfmt defaults

follow the kernel style guide, i.e idiomatic rust style.

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

rust: suppress errors on fs probing

suppress errors for any non-bchfs blockdevs found during probing

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

rust: support fstab style mount

- add support for fstab format, UUID=<uuid>

- structopt is no longer actively maintained, replace with clap v4
  which support everything structopt can and more.

- update dependencies

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

make: remove libbcachefs.so when cleaning.

Signed-off-by: Daniel Hill <daniel@gluo.nz>

nix: overhaul build system.

Removed outdated overlay.
Simply build tooling using bingenHook and propagated*Inputs

Signed-off-by: Daniel Hill <daniel@gluo.nz>

rust: update bindgen to 0.63

Signed-off-by: Daniel Hill <daniel@gluo.nz>

Merge https://github.com/fougner/bcachefs-tools

doc: fix formatting

fix misnomer and some formatting

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

Get current metadata version from sysfs

This changes the default version for the format command to be the
currently supported version, via
/sys/modules/bcachefs/parameters/version.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 0939e1c732 fixup! bcachefs: Rework lru btree

Update bcachefs sources to 2e8463c770 bcachefs: Rework lru btree

Update bcachefs sources to c801fa69f0 bcachefs: Fix bch_alloc_to_text()

Use bch2_err_str() instead of strerror()

This correctly prints out our private error codes.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Change memory reclaim

 - Spin up a background thread to call the shrinkers every 1 second
 - Memory allocations will only call reclaim after a failed allocation,
   not every single time

This will be a major performance boost on allocation intensive
workloads.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 7958ebe324 bcachefs: Fix alloc_v4_backpointers()

Update bcachefs sources to 84505cfd37 bcachefs: Go RW before check_alloc_info()

Update bcachefs sources to ed2a5f4260 bcachefs: Add a missing bch2_btree_path_traverse() call

Update bcachefs sources to de3b30303e bcachefs: bucket_gens btree

Update bcachefs sources to be2d60d948 bcachefs: New magic number

Update bcachefs sources to f1c9030ccb bcachefs: Don't error out when just reading the journal

Update bcachefs sources to eabde7cb37 fixup! bcachefs: Optimize bch2_alloc_to_v4()

Update bcachefs sources to 8a65cc4951 bcachefs: Improve bch2_dev_freespace_init()

Update bcachefs sources to 5963d1b1a4 bcacehfs: Fix bch2_get_alloc_in_memory_pos()

Fix build against musl libc.

The musl C library does not define __attribute_const__. Add it to
include/linux/compiler.h with a guard to fix build against musl libc.

Signed-off-by: Stijn Tintel <stijn@linux-ipv6.be>

Update bcachefs sources to ea47add37d bcachefs: More errcode cleanup

Update bcachefs sources to ed88ebf18c bcachefs: Handle last journal write being torn

Update bcachefs sources to 586e7c5498 bcachefs: Improve journal_read() logging

rust-src: cargo update

Update locked dependencies

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

linux/blkdev.c: Fall back to buffered IO when O_DIRECT fails

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 4366ca365f fixup! bcachefs: Btree split improvement

Update bcachefs sources to 6406e05835 bcachefs: Nocow support

cmd_migrate: Fix for write completion change

bch_write no longer delivers completions via op->cl - this patch changes
to use BCH_WRITE_SYNC.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

bcachefs-tools: add tarball make target

This makes it easy to generate a tarball, which should eventually
facilitate packaging:  "make tarball"

Note that it's currently using the $(VERSION) from git describe
which may not be ideal once point releases are happening, but that
holds true for everywhere $(VERSION) is used.

All tar.xz files are removed via "make clean"

Signed-off-by: Eric Sandeen <sandeen@sandeen.net>

bcachefs-tools: Prettify make output

Make the default "make" output look more like kbuild; this makes
errors and warnings much easier to spot. "Make V=1" will revert to
showing the full command lines.

This is done by redefining some implicit rules to add the echo and
the quiet variable.  These changes are similar to those in xfsprogs.
and btrfs-progs

This patch also silences things if pytest-3 is not found.

Signed-off-by: Eric Sandeen <sandeen@sandeen.net>

cmd_kill_btree_node.c

This factors out cmd_kill_btree_node into its own file - it was in
cmd_list_journal.c, which wsa rather silly.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 8d3fc97ca3 bcachefs: Fixes for building in userspace

Update bcachefs sources to 61ebcb532a bcachefs: Fix for allocating before backpointers have been checked

Update bcachefs sources to 70fa0c1ff4 fixup! bcachefs: Btree key cache improvements

Update bcachefs sources to cd779e0cc5 bcachefs: Skip inode unpack/pack in bch2_extent_update()

Update bcachefs sources to 44be8c1da2 fixup! bcachefs: Btree key cache improvements

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 3e93567c51 bcachefs: Switch to local_clock() for fastpath time source

Update bcachefs sources to 6ee8a33cee bcachefs: Call bch2_btree_update_add_new_node() before dropping write lock

Update bcachefs sources to 83edfdeb29 bcachefs: Run check_extents_to_backpointers() in multiple passes

Update bcachefs sources to 6dc2a699c6 bcachefs: bch2_path_put_nokeep()

fixup! Don't run shrinkers without GFP_KERNEL

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 55f0b5944b fixup! bcachefs: Run bch2_check_backpointers_to_extents() in multiple passes if necessary

Don't run shrinkers without GFP_KERNEL

This would correspond to GFP_RECLAIM in the kernel - but we don't
distinguish between different types of reclaim here.

This solves a deadlock in the btree node memory allocation path - we
allocate with the btree node cache lock held but without GFP_KERNEL set.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 47ffed9fad bcachefs: bch2_btree_delete_range_trans() now uses peek_upto()

Update bcachefs sources to cbccc6d869 bcachefs: Ratelimit ec error message

Update bcachefs sources to 24c6361e20 bcachefs: Fix a trans path overflow in bch2_btree_delete_range_trans()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 2620221039 bcachefs: Re-enable hash_redo_key()

Update bcachefs sources to 176718966e bcachefs: Re-enable hash_redo_key()

Update bcachefs sources to a7694865a3 bcachefs: fsck: Another transaction restart handling fix

Update bcachefs sources to 3421116a6c bcachefs: bch2_btree_delete_range_trans() now returns -BCH_ERR_transaction_restart_nested

Update bcachefs sources to dfaf9a6ee2 lib/printbuf: Clean up headers

Update bcachefs sources to 49c34dadca bcachefs: Switch bch2_btree_delete_range() to bch2_trans_run()

Update bcachefs sources to 90a9c61e2b bcachefs: Switch bch2_btree_delete_range() to bch2_trans_run()

cmd_list: Fix -m nodes_ondisk

We were using malloc() for a buffer to be used for an O_DIRECT read -
oops, that doesn't work.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to 1bda24d7cc fixup! bcachefs: for_each_btree_key2()

Update bcachefs sources to d82da7126f fixup! bcachefs: for_each_btree_key2()

Update bcachefs sources to 2f11bb05b0 bcachefs: for_each_btree_key2()

Update bcachefs sources to 17a344f265 bcachefs: Improve fsck for subvols/snapshots

Update bcachefs sources to a03225a783 bcachefs: Put some repair messages behind opts->verbose

Update bcachefs sources to a059319fee bcachefs: Put some repair messages behind opts->verbose

cmd_device_set_state: use buffered IO for writing superblock

The layout may be unaligned on 4k sector devices - but there's no reason
we need to use direct IO here.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

cmd_list: Fix indenting in -m nodes_ondisk

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to 95ff72a6c1 fixup! mm: Centralize & improve oom reporting in show_mem.c

hweight32()

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Fixup from darray change

This fixes cmd_migrate

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Fix bdev_logical_block_size()

We were returning sectors instead of bytes.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Fix printk_ratelimited()

printk_ratelimited was behind an #ifdef CONFIG_PRINTK, which we don't
define, so it was a complete noop - oops.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

cmd_dump: Make sure output filename ends in .qcow2

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

cmd_dump: Use buffered IO for reading device metadata

We're reading device metadat in mostly sequential order - buffered IO
will be faster than O_DIRECT.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Break up cmd_debug.c into multiple files

In the future, let's have one cmd_foo.c file per subcommand.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to 2f4e24d856 bcachefs: Split out dev_buckets_free()

Update bcachefs sources to c76f7e91e8 bcachefs: Fix btree node read retries