Update bcachefs sources to a8115093df bcachefs: Fix divide by zero in rebalance_work()

cmd_mount: use the correct keyring key type

Mount is checking for and adding encryption keys using the logon key
type instead of the user key type. This was causing it to not be able to
unlock volumes on its own, and ask for a passphrase on already unlocked
volumes.

Signed-off-by: Colin Gillespie <colin@cgillespie.xyz>

Update bcachefs sources to b0788c47d9 bcachefs: Fix check_version_upgrade()

cmd_dump: Also set read_only

In nochanges mode, without read_only, we can go into a fake rw mode
where we allow writes but hold them in memory.

That's not what we want for the dump tool - this fixes a bug where btree
nodes don't always get dumped correctly.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

fuse: Set fsname correctly

Also, add helpers for the fuse.bcachefs filesystem type; this means we
can now test the fuse version with fstests.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

cmd_mount: don't return 0 on mount failure

Signed-off-by: Linus Heckemann <git@sphalerite.org>

fuse: Update for snapshots

cmd_fusermount.c builds again

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 717b356d1d bcachefs: Convert journal validation to bkey_invalid_flags

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

ci: set and verify MSRV

To prevent uncontrolled usage of new rust features, directly or from
dependencies, set a minimum supported Rust version and verify it builds.

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

Remove sparse protocol envvar

Default as of rust 1.70

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

cmd_dump: Making dumping the entire journal the default

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 5b8c4a1366 bcachefs: bcachefs_metadata_version_deleted_inodes

Update bcachefs sources to 33a60d9b05 bcachefs: Assorted fixes for clang

cmd_list_journal: Tweak extent matching

Extents can now additionally be matched by the end position, the same as
normal keys.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

bpos_parse() now handles symbol constants

We can now parse U32_MAX/U64_MAX, as printed by bch2_bpos_to_text().

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Run shrinkers when pthread_create fails

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 4b5917839c bcachefs: Fix a null ptr deref in check_xattr()

Fix 'bcachefs fsck -y'

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to ee560a3929 bcachefs: Print version, options earlier in startup path

ci: upgrade to checkout action v3

v2 is deprecated

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

.gitignore: replace travis with github-ci config

add dependabot config to keep github ci actions up-to-date

ci: unpin nix install url

I don't think we no longer need this and the install-nix-action
is not compatible with it.

ci: bump install-nix-action/cachix to fix nixos build

Signed-off-by: Jörg Thalheim <joerg@thalheim.io>

Update bcachefs sources to e14d7c7195 bcachefs: Compression levels

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Add additional information about encryption

This adds additional details about how encryption works in
bcachefs, along with a warning regarding snapshots.

Signed-off-by: Demi Marie Obenour <demiobenour@gmail.com>

Update bcachefs sources to 04f2d2ae5b bcachefs: Fix build error on weird gcc

Update bcachefs sources to 070ec8d07b bcachefs: Snapshot depth, skiplist fields

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to fb39031ade bcachefs: bch2_sb_maybe_downgrade(), bch2_sb_upgrade()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 1e3ca87f7b bcachefs: bcachefs_metadata_version_major_minor

Update bcachefs sources to da7d42a9a2 bcachefs: Add new assertions for shutdown path

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 25de2b00dc bcachefs: Change check for invalid key types

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

get_random_u32_below()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 84f132d569 bcachefs: fsck: Break walk_inode() up into multiple functions

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to bca25b802d fixup! bcachefs: Fix bch2_check_discard_freespace_key()

Update bcachefs sources to 99175e5712 bcachefs: Fix bch2_check_discard_freespace_key()

Switch to CLOCK_MONOTONIC_COARSE

CLOCK_MONOTONIC requires a syscall, and is much more expensive.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

build.nix: add instruction to keep cargoDeps hashes up-to-date

nix: replace deprecated cargo/rustc aliases with new version

flake.lock: Update

This is needed so that nix-update can update cargo dependencies.

Flake lock file updates:

• Updated input 'nixpkgs':
    'github:nixos/nixpkgs/b1f87ca164a9684404c8829b851c3586c4d9f089' (2023-02-25)
  → 'github:nixos/nixpkgs/0eeebd64de89e4163f4d3cf34ffe925a5cf67a05' (2023-06-12)
• Updated input 'utils':
    'github:numtide/flake-utils/3db36a8b464d0c4532ba1c7dda728f4576d6d073' (2023-02-13)
  → 'github:numtide/flake-utils/a1720a10a6cfe8234c0e93907ffe81be440f4cef' (2023-05-31)
• Added input 'utils/systems':
    'github:nix-systems/default/da67096a3b9bf56a91d16901293e51ba5b49a27e' (2023-04-09)

fix reading keys from non-tty inputs

read_password_from_tty doesn't have a fallback if input is a pipe.
This makes scripting and integration testing harder.

Noticed while updating our nixos integration test.

Signed-off-by: Jörg Thalheim <joerg@thalheim.io>

flake.nix: add missing bindgen output hash

Signed-off-by: Jörg Thalheim <joerg@thalheim.io>

Update bcachefs sources to 01d7ad6d95 bcachefs: snapshot_to_text() includes snapshot tree

Update bcachefs sources to ed6b7f81a7 six locks: Disable percpu read lock mode in userspace

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

cmd_fs_usage: Implement --help

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Sort input file list

so that libbcachefs.so builds in a reproducible way
in spite of non-deterministic filesystem readdir order.

See https://reproducible-builds.org/ for why this is good.

Update bcachefs sources to 7c0fe6f104 bcachefs: Fix bch2_fsck_ask_yn()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 31c09369cd six locks: Fix an unitialized var

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 799716df00 bcachefs: Delete an incorrect bch2_trans_unlock()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 400f275d46 bcachefs: Fix check_overlapping_extents()

Update bcachefs sources to 5074caad6a fixup! bcachefs: BTREE_ID_snapshot_tree

Update bcachefs sources to e990c131de fixup! bcachefs: BTREE_ID_snapshot_tree

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 6a20aede29 bcachefs: Fix quotas + snapshots

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

chore(rust): add opt_get! and expose some FMODE_* as Rust const

In an effort to rewrite `bch2_read_super` from C to Rust,
it is neccessary to have `opt_get!` macro defined, and some
FMODE_* consts (defined as macro in `include/linux/blkdev.h`)
defined as Rust const.

Bindgen is currently unable to exapnd C functional macro [1],
this this commit use the workaround as introduced in [2].

[1] https://github.com/rust-lang/rust-bindgen/issues/753
[2] https://github.com/rust-lang/rust-bindgen/issues/753#issuecomment-608546390

Signed-off-by: TruongSinh Tran-Nguyen <i@truongsinh.pro>

feat(cmd_mount): Add support for magic keyword `OLD_BLKID_UUID`

This commit enhances mount sub command by allowing it to accept
`OLD_BLKID_UUID=xxx` as the device, enabling whole fs mounting without relying
on colon-separated devices.

Using colon-separated devices in fstab is discouraged due to potential device
reference issues after reboot. Additionally, using `UUID=xxx` in fstab or with
`mount -t bcachefs` is currently infeasible as it depends on blkid, which prior
to v2.39, does not recognize bcachefs. This update enables mounting via fstab
using `OLD_BLKID_UUID=xxx` as obtained from `bcachefs show-super` "External
UUID".

Signed-off-by: TruongSinh Tran-Nguyen <i@truongsinh.pro>

chore: logger for idiomatic style and expanded logging levels

Improve the Rust logger by adhering to idiomatic Rust conventions and
incorporating additional logging levels: warn, debug, and trace.

Signed-off-by: TruongSinh Tran-Nguyen <i@truongsinh.pro>

A small compile fix

Hi

Here I'm sending a small compile fix for bcachefs-tools.

Without this patch, I get this error:

cargo  build --release --manifest-path rust-src/Cargo.toml
   Compiling bch_bindgen v0.1.0
(/usr/src/git/bcachefs-tools/rust-src/bch_bindgen)
error: failed to run custom build command for `bch_bindgen v0.1.0
(/usr/src/git/bcachefs-tools/rust-src/bch_bindgen)`

Caused by:
  process didn't exit successfully:
`/usr/src/git/bcachefs-tools/rust-src/target/release/build/bch_bindgen-733e88995ce9eab7/build-script-build`
(exit status: 101)
  --- stderr
  warning: optimization flag '-fkeep-inline-functions' is not supported
[-Wignored-optimization-argument]
  ../../include/linux/bit_spinlock.h:20:3: error: call to undeclared
function 'futex'; ISO C99 and later do not support implicit function
declarations [-Wimplicit-function-declaration]
  ../../include/linux/bit_spinlock.h:28:2: error: call to undeclared
function 'futex'; ISO C99 and later do not support implicit function
declarations [-Wimplicit-function-declaration]
  ../../include/linux/bit_spinlock.h:39:2: error: call to undeclared
function 'futex'; ISO C99 and later do not support implicit function
declarations [-Wimplicit-function-declaration]

The futex() function is declared in
/usr/include/x86_64-linux-gnu/urcu/futex.h
It is not declared in linux/futex.h, so we need to include urcu/futex.h

Mikulas

Signed-off-by: Mikulas Patocka <mpatocka@redhat.com>
Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to fd6fb298aa bcachefs: Make sure hash info gets initialized in fsck

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 2115a2ffde bcachefs: Kill bch2_verify_bucket_evacuated()

Add a NO_RUST option

For systems without working rust/llvm/bindgen, add an option for
building without Rust. This will be less of an option in the future, as
more code gets rewritten in Rust.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Delete pytest

These tests have never been useful; drop them.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to fd381c355c bcachefs: Fix a null ptr deref in fsck check_extents()

Update bcachefs sources to 22ccceee15 bcachefs: Fix a slab-out-of-bounds

Update bcachefs sources to 504729f99c bcachefs: Allow answering y or n to all fsck errors of given type

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 8fd009dd76 bcachefs: Rip out code for storing backpointers in alloc keys

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Fix build dependencies

Incremental builds are fast again

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Add packaging workflow

Package and publish deb+rpm for easy testing

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

Update bcachefs sources to 0342eebf85 bcachefs: Improve the backpointer to missing extent message

Update bcachefs sources to 72405e7ff8 bcachefs: Fix bch2_check_extents_to_backpointers()

Add manpage for mount command

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

Remove cmd_assemble docs

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

linux shim: Fix dropped O_DIRECT flag

A recent libbcachefs update accidentally committed a change that dropped
the O_DIRECT flag - we definitely didn't want to do that.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

add rpm make target and fix up spec file

Add a new make target to build an rpm. This uses rpmbuild --build-in-place,
so no SRPM is created.

Also clean up the specfile to remove manually-added Requires: that will
be auto-generated, add a couple new BuildRequires: and use macros for
file locations.

Signed-off-by: Eric Sandeen <sandeen@sandeen.net>

Update docs

- add some project info for the main readme
- migrate readmes to markdown for improved formatting
- The main binary now requires the Rust toolchain, so make note of it
  in the build instructions.

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

cmd_list.rs: Finish list modes, delete cmd_list.c

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 3856459b1b bcachefs: bch2_btree_iter_peek_node_and_restart()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Add rust toolchain to debian build-deps

Fixes building the .deb

- also add missing libudev to debian build deps

Signed-off-by: Alexander Fougner <fougner89@gmail.com>

rust: Implement BtreeNodeIter

This implements BtreeNodeIter, and adds it to cmd_list.rs - the next
step in having a full replacement for cmd_list.c

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 171da96d76 bcachefs: Drop some anonymous structs, unions

rust: Fix ptr casting in Fs::open()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to 2272c5f5b7 bcachefs: Mark stripe buckets with correct data type

linux shim: hlist_unhashed()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BkeySC now has correct lifetime on BtreeIter

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: Filesystem options now supported

This implements opt_set!(), which works exactly the same as the C
version and allows filesystem options to be specified in Rust code.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BtreeTrans lifetime now marked w.r.t. Fs

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BkeyValC

Now we have a rust-style enum for key types

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BkeySC

Implement a rust equivalent to bkey_s_c, which uses references with the
correct lifetimes: now cmd_list.rs doesn't need unsafe.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

bcachefs: Annotate BtreeIter with BtreeTrans lifetime

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: Simplify bpos FromStr

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust: BtreeIterFlags

This adds a new wrapper type for btree iterator flags.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to a5da815430 bcachefs: Convert constants to consts

Rust: Start of cmd_list rewrite

This is a _very_ preliminary rewrite of the cmd_list tool in rust, which
is intended to be a testing ground for a safe interface in Rust to the
core btree interface. This adds rust wrappers for:

bch_fs: provides bch2_fs_open(), bch2_fs_stop
btree_trans: provides bch2_trans_init(), bch2_trans_exit()
btree_iter: provides peek, peek_and_restart, advance
bch_errcode: implements Display (wraps bch2_err_str())
bpos: implements Ord (wraps bpos_cmp())
bkey_s_c: implements Display (wraps bch2_bkey_val_to_text())

and other assorted types.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

Update bcachefs sources to ca97ee3577 bcachefs: bch2_btree_iter_peek_and_restart_outlined()

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

nix fix up! Rust now integrated into bcachefs binary

Heavily simplified to just call make with the required rust dependencies.

Signed-off-by: Daniel Hill <daniel@gluo.nz>

Made the -k option for mount.bcachefs default to ask, without messing up formatting

Signed-off-by: Westly Ward <sonicrules1234@gmail.com>

cmd_list_journal: Highlight entries matching transaction filter

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

rust-src: Clean up read_super bindings

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

More rust improvements

 - passing of arguments from c -> rust code now works correctly
 - 'bcachefs mount' now handles being passed a device or devices

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>

fixup! Rust now integrated into bcachefs binary

Rust now integrated into bcachefs binary

Rust is now required for building the bcachefs tool, and rust code is
now fully integrated with the C codebase - meaning it is possible to
call back and forth.

The mount helper is now a subcommand, 'mount.bcachefs' is now a small
shell wrapper that invokes 'bcachefs mount'.

This will make it easier to start rewriting other subcommands in rust,
and eventually the whole command line interface.

Signed-off-by: Kent Overstreet <kent.overstreet@linux.dev>