Update bcachefs sources to 504729f99c bcachefs: Allow answering y or n to all fsck errors of given type

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 8fd009dd76 bcachefs: Rip out code for storing backpointers in alloc keys

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Fix build dependencies

Incremental builds are fast again

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Add packaging workflow

Package and publish deb+rpm for easy testing

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

Update bcachefs sources to 0342eebf85 bcachefs: Improve the backpointer to missing extent message

Update bcachefs sources to 72405e7ff8 bcachefs: Fix bch2_check_extents_to_backpointers()

Add manpage for mount command

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

Remove cmd_assemble docs

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

linux shim: Fix dropped O_DIRECT flag

A recent libbcachefs update accidentally committed a change that dropped
the O_DIRECT flag - we definitely didn't want to do that.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

add rpm make target and fix up spec file

Add a new make target to build an rpm. This uses rpmbuild --build-in-place,
so no SRPM is created.

Also clean up the specfile to remove manually-added Requires: that will
be auto-generated, add a couple new BuildRequires: and use macros for
file locations.

Signed-off-by: Eric Sandeen <sandeen@sandeen.net>

Update docs

- add some project info for the main readme
- migrate readmes to markdown for improved formatting
- The main binary now requires the Rust toolchain, so make note of it
  in the build instructions.

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

cmd_list.rs: Finish list modes, delete cmd_list.c

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 3856459b1b bcachefs: bch2_btree_iter_peek_node_and_restart()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Add rust toolchain to debian build-deps

Fixes building the .deb

- also add missing libudev to debian build deps

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

rust: Implement BtreeNodeIter

This implements BtreeNodeIter, and adds it to cmd_list.rs - the next
step in having a full replacement for cmd_list.c

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 171da96d76 bcachefs: Drop some anonymous structs, unions

rust: Fix ptr casting in Fs::open()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 2272c5f5b7 bcachefs: Mark stripe buckets with correct data type

linux shim: hlist_unhashed()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BkeySC now has correct lifetime on BtreeIter

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: Filesystem options now supported

This implements opt_set!(), which works exactly the same as the C
version and allows filesystem options to be specified in Rust code.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BtreeTrans lifetime now marked w.r.t. Fs

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BkeyValC

Now we have a rust-style enum for key types

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BkeySC

Implement a rust equivalent to bkey_s_c, which uses references with the
correct lifetimes: now cmd_list.rs doesn't need unsafe.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

bcachefs: Annotate BtreeIter with BtreeTrans lifetime

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: Simplify bpos FromStr

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BtreeIterFlags

This adds a new wrapper type for btree iterator flags.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to a5da815430 bcachefs: Convert constants to consts

Rust: Start of cmd_list rewrite

This is a _very_ preliminary rewrite of the cmd_list tool in rust, which
is intended to be a testing ground for a safe interface in Rust to the
core btree interface. This adds rust wrappers for:

bch_fs: provides bch2_fs_open(), bch2_fs_stop
btree_trans: provides bch2_trans_init(), bch2_trans_exit()
btree_iter: provides peek, peek_and_restart, advance
bch_errcode: implements Display (wraps bch2_err_str())
bpos: implements Ord (wraps bpos_cmp())
bkey_s_c: implements Display (wraps bch2_bkey_val_to_text())

and other assorted types.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to ca97ee3577 bcachefs: bch2_btree_iter_peek_and_restart_outlined()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

nix fix up! Rust now integrated into bcachefs binary

Heavily simplified to just call make with the required rust dependencies.

Signed-off-by: Daniel Hill <daniel@gluo.nz>

Made the -k option for mount.bcachefs default to ask, without messing up formatting

Signed-off-by: Westly Ward <sonicrules1234@gmail.com>

cmd_list_journal: Highlight entries matching transaction filter

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust-src: Clean up read_super bindings

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

More rust improvements

 - passing of arguments from c -> rust code now works correctly
 - 'bcachefs mount' now handles being passed a device or devices

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

fixup! Rust now integrated into bcachefs binary

Rust now integrated into bcachefs binary

Rust is now required for building the bcachefs tool, and rust code is
now fully integrated with the C codebase - meaning it is possible to
call back and forth.

The mount helper is now a subcommand, 'mount.bcachefs' is now a small
shell wrapper that invokes 'bcachefs mount'.

This will make it easier to start rewriting other subcommands in rust,
and eventually the whole command line interface.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 8e1519ccb6 bcachefs: Add tracepoint & counter for btree split race

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 1b14994029 bcachefs: Fragmentation LRU

Fix cpu_relax()

cpu_relax() is supposed to be a compiler barrier - this fixes a bug with
btree_write_buffer_flush() getting stuck.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 8dbfede1d9 fixup! bcachefs: More info on check_bucket_ref() error

cmd_list_journal: Add filter options

Instead of having to use grep, this adds the ability to print out only
transactions that update a particular key, or to filter out entirely
keys except those updating certain btrees.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 3e0c5b0722 fixup! bcachefs: Btree write buffer

mount: support remount

remount is handled by libc, not the kernel mount procedure, this fixes
remounts. Also sorted the list of flags.

Signed-off-by: Daniel Hill <daniel@gluo.nz>

Update bcachefs sources to dab31ca168 bcachefs: Add some logging for btree node rewrites due to errors

Update bcachefs sources to ea93c26e98 fixup! bcachefs: We can handle missing btree roots for all alloc btrees

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

nix: fix compilation issues

Update Cargo.lock files to match new dependancies
Bump nixpkgs pin

Makefile: build with -Wno-deprecated-declarations

This fixes a ZSTD warning.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

cmd_fsck: Add --ratelimit_errors option

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

fixup! nix: overhaul build system.

Signed-off-by: Daniel Hill <daniel@gluo.nz>

rust: replace tracing with logger

tracing framework is a overengineered for simple mount helper. Add a
few very barebone logging macros to allow configurable verbosity and
colorized output with a small footprint.

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

rust: use rustfmt defaults

follow the kernel style guide, i.e idiomatic rust style.

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

rust: suppress errors on fs probing

suppress errors for any non-bchfs blockdevs found during probing

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

rust: support fstab style mount

- add support for fstab format, UUID=<uuid>

- structopt is no longer actively maintained, replace with clap v4
  which support everything structopt can and more.

- update dependencies

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

make: remove libbcachefs.so when cleaning.

Signed-off-by: Daniel Hill <daniel@gluo.nz>

nix: overhaul build system.

Removed outdated overlay.
Simply build tooling using bingenHook and propagated*Inputs

Signed-off-by: Daniel Hill <daniel@gluo.nz>

rust: update bindgen to 0.63

Signed-off-by: Daniel Hill <daniel@gluo.nz>

Merge https://github.com/fougner/bcachefs-tools

doc: fix formatting

fix misnomer and some formatting

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

Get current metadata version from sysfs

This changes the default version for the format command to be the
currently supported version, via
/sys/modules/bcachefs/parameters/version.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 0939e1c732 fixup! bcachefs: Rework lru btree

Update bcachefs sources to 2e8463c770 bcachefs: Rework lru btree

Update bcachefs sources to c801fa69f0 bcachefs: Fix bch_alloc_to_text()

Use bch2_err_str() instead of strerror()

This correctly prints out our private error codes.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Change memory reclaim

 - Spin up a background thread to call the shrinkers every 1 second
 - Memory allocations will only call reclaim after a failed allocation,
   not every single time

This will be a major performance boost on allocation intensive
workloads.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 7958ebe324 bcachefs: Fix alloc_v4_backpointers()

Update bcachefs sources to 84505cfd37 bcachefs: Go RW before check_alloc_info()

Update bcachefs sources to ed2a5f4260 bcachefs: Add a missing bch2_btree_path_traverse() call

Update bcachefs sources to de3b30303e bcachefs: bucket_gens btree

Update bcachefs sources to be2d60d948 bcachefs: New magic number

Update bcachefs sources to f1c9030ccb bcachefs: Don't error out when just reading the journal

Update bcachefs sources to eabde7cb37 fixup! bcachefs: Optimize bch2_alloc_to_v4()

Update bcachefs sources to 8a65cc4951 bcachefs: Improve bch2_dev_freespace_init()

Update bcachefs sources to 5963d1b1a4 bcacehfs: Fix bch2_get_alloc_in_memory_pos()

Fix build against musl libc.

The musl C library does not define __attribute_const__. Add it to
include/linux/compiler.h with a guard to fix build against musl libc.

Signed-off-by: Stijn Tintel <stijn@linux-ipv6.be>

Update bcachefs sources to ea47add37d bcachefs: More errcode cleanup

Update bcachefs sources to ed88ebf18c bcachefs: Handle last journal write being torn

Update bcachefs sources to 586e7c5498 bcachefs: Improve journal_read() logging

rust-src: cargo update

Update locked dependencies

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

linux/blkdev.c: Fall back to buffered IO when O_DIRECT fails

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 4366ca365f fixup! bcachefs: Btree split improvement

Update bcachefs sources to 6406e05835 bcachefs: Nocow support

cmd_migrate: Fix for write completion change

bch_write no longer delivers completions via op->cl - this patch changes
to use BCH_WRITE_SYNC.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

bcachefs-tools: add tarball make target

This makes it easy to generate a tarball, which should eventually
facilitate packaging:  "make tarball"

Note that it's currently using the $(VERSION) from git describe
which may not be ideal once point releases are happening, but that
holds true for everywhere $(VERSION) is used.

All tar.xz files are removed via "make clean"

Signed-off-by: Eric Sandeen <sandeen@sandeen.net>

bcachefs-tools: Prettify make output

Make the default "make" output look more like kbuild; this makes
errors and warnings much easier to spot. "Make V=1" will revert to
showing the full command lines.

This is done by redefining some implicit rules to add the echo and
the quiet variable.  These changes are similar to those in xfsprogs.
and btrfs-progs

This patch also silences things if pytest-3 is not found.

Signed-off-by: Eric Sandeen <sandeen@sandeen.net>

cmd_kill_btree_node.c

This factors out cmd_kill_btree_node into its own file - it was in
cmd_list_journal.c, which wsa rather silly.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 8d3fc97ca3 bcachefs: Fixes for building in userspace

Update bcachefs sources to 61ebcb532a bcachefs: Fix for allocating before backpointers have been checked

Update bcachefs sources to 70fa0c1ff4 fixup! bcachefs: Btree key cache improvements

Update bcachefs sources to cd779e0cc5 bcachefs: Skip inode unpack/pack in bch2_extent_update()

Update bcachefs sources to 44be8c1da2 fixup! bcachefs: Btree key cache improvements

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 3e93567c51 bcachefs: Switch to local_clock() for fastpath time source

Update bcachefs sources to 6ee8a33cee bcachefs: Call bch2_btree_update_add_new_node() before dropping write lock

Update bcachefs sources to 83edfdeb29 bcachefs: Run check_extents_to_backpointers() in multiple passes

Update bcachefs sources to 6dc2a699c6 bcachefs: bch2_path_put_nokeep()

fixup! Don't run shrinkers without GFP_KERNEL

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 55f0b5944b fixup! bcachefs: Run bch2_check_backpointers_to_extents() in multiple passes if necessary

Don't run shrinkers without GFP_KERNEL

This would correspond to GFP_RECLAIM in the kernel - but we don't
distinguish between different types of reclaim here.

This solves a deadlock in the btree node memory allocation path - we
allocate with the btree node cache lock held but without GFP_KERNEL set.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 47ffed9fad bcachefs: bch2_btree_delete_range_trans() now uses peek_upto()

Update bcachefs sources to cbccc6d869 bcachefs: Ratelimit ec error message