edit default.nix to use the proper pytest variable

Makefile: fix rst2man lookup and add pytest lookup
add pytest and rst2man lookups though command-v and which if available,
default to ENV/ARGS in the case of user specified locations and otherwise lookup via shell

Signed-off-by: Kayla Firestack <dev@kaylafire.me>

Makefile: prefix libbcachefs.so installation with `DESTDIR`

Signed-off-by: Kayla Firestack <dev@kaylafire.me>

Merge remote-tracking branch 'firestack/dev/nix/add-which'

rst2man: convert `which` to `command -v`

Signed-off-by: Kayla Firestack <dev@kaylafire.me>

Update bcachefs sources to 720f644e63 bcachefs: Improve reflink repair code

fix "no rst2man found!" build error on debian and ubuntu

add missing python3, python3-docutils dependency

Build with -fPIC

The changes to how we integrate with rust code mean that we now need to
be emitting position indepedent code.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

add nixos check
add cachix action

split mount into a library crate for rust reuse

update makefile to output shared library and rust build
fix default.nix to properly get the binary name for `ln`ing - move binary to main.rs
add rustfmt and gitignore files
move build.rs file into bch_bindgen for reuse between projects
add outputs to nix flake and checks
add mount.toml to makefile

add mount and bch-bindgen nix builder file

update kernel diffHash

move mount into rust-src, add to overlay

add nix flake with checks, overlay, and default package

update default.nix to use latest dependencies and newer stdenv, as well as be flake compatible and overlay compatible

add kernel nix builder

add overlay

Fix 32 bit io regression

In commit ba1dbafc1fce I reverted 9942fc82d43b, which was a workaround
for an upstream 32bit libaio bug. Oops.

Signed-off-by: Brett Holman <bholman.devel@gmail.com>

make BIO_MAX_VECS unsigned, like the kernel definition

Signed-off-by: Brett Holman <bholman.devel@gmail.com>

Update bcachefs sources to 710cd382bf bcachefs: Fix for leaking of reflinked extents

Update bcachefs sources to 07c2895cb3 bcachefs: Add a valgrind memcheck hint

Update valgrind suppressions file for urcu leak.

Signed-off-by: Brett Holman <bholman.devel@gmail.com>

Fix errors related to rst2man warning message:

- Warning message doesn't print and causes build to exit.
- .SHELLSTATUS doesn't work on some versions of Make.

Signed-off-by: Brett Holman <bholman.devel@gmail.com>

Clean up smoketest and pytests.

- Replace depreciated tempfile with mktemp in smoketest.
- Remove unused pytest imports and variables.
- Make path lookup less fragile. Allows pytest to run from any cwd.
- Prevent exeptions caused by calling functions/methods on None objects.
- Disable fuse tests in smoketest. These are broken and add noise.
- Add missing travis CI dependency.

Signed-off-by: Brett Holman <bholman.devel@gmail.com>

Fall back to synchronous io when kernel doesn't support aio.

Signed-off-by: Brett Holman <bholman.devel@gmail.com>

Correctly print out error from io_setup()

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

pytest: remove arbitrary assertion

Update bcachefs sources to 4114ced1db bcachefs: Fix allocator shutdown error message

Print better error message when shrinking is attempted

Shrinking's not supported yet.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to 0762d9c294 bcachefs: Fix check_inode_update_hardlinks()

Update bcachefs sources to 6c5219caf0 bcachefs: Rev the on disk format version for snapshots

Subvolume commands

Update bcachefs sources to 386f00b639 bcachefs: Snapshot creation, deletion

Make aio code use struct io_iocb_common to support 32 bit architectures

Signed-off-by: Brett Holman <bholman.devel@gmail.com>

Update bcachefs sources to bd6ed9fb42 fixup! bcachefs: Fix initialization of bch_write_op.nonce

Update bcachefs sources to 3f3f969859 bcachefs: Fix some compiler warnings

Update bcachefs sources to 60fbf06f49 bcachefs: Fix an unhandled transaction restart

Delete unused variable

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to b964c6cba8 bcachefs: Change lockrestart_do() to always call bch2_trans_begin()

fix for musl and non-x86 archs

fixup! rst2man detection hangs

rst2man tend to hang when called without arguments, so a small -V is appended to print the version.
Also, make sure we found at least one rst2man executable

Signed-off-by: jpsollie <janpieter.sollie@edpnet.be>

add a blk_wipe function call

Remove any possible filesystems left on the block device when formatting
this makes sure the automounter does not accidentally mount it as another filesystem.
one of the functionalities possibly wiped by accodent?

Signed-off-by: jpsollie <janpieter.sollie@edpnet.be>

Reapply compiler checks

The compiler checks where erroneously reverted in the Makefile - this reapplies them,
so GCC < 10 can still build the bcachefs tools

Signed-off-by: jpsollie <janpieter.sollie@edpnet.be>

Makefile: detect rst2man

On some distros, rst2man has a .py extension and there is no rst2man.
Fix build on such systems by detecting what is available.

Signed-off-by: Stijn Tintel <stijn@linux-ipv6.be>

Bring back debug makefile target

This seems to have been dropped by mistake

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to 0a9be96b50 bcachefs: BSET_OFFSET()

Update bcachefs sources to 15178a6479 bcachefs: Update btree ptrs after every write

Update bcachefs sources to 787de128a5 bcachefs: Improvements to fsck check_dirents()

Update bcachefs sources to 400c2f8d96 bcachefs: Mask out unknown compat features when going read-write

Documentation fixup: made filenames more descriptive, switched parsing utility to python

Update bcachefs sources to 3693b2ca83 fixup! bcachefs: More topology repair code

Add bcachefs.5 to .gitignore

It's autogenerated now

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to dbee44d5ab bcachefs: add bcachefs xxhash support

add bcachefs xor / xxhash support

Following the initial xxhash / xor checksum support patches in kernel, bcachefs-tools needs some updated libraries as well.
Unfortunately, xor functionality is deeply linked into several low-level functions, so we're adding a set of patches here to translate those into userspace

Signed-off-by: Janpieter Sollie <janpieter.sollie@edpnet.be>

Fix some makefile misspellings

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Switched documentation from asciidoc to rst, added doc autogeneration code for options

Update bcachefs sources to 1a510b00b6 bcachefs: Increase BTREE_TRANS_MEM_MAX

Update bcachefs sources to ca3cfad39f fixup! bcachefs: Improve iter->should_be_locked

Fix format args to die()

Also, add the format attribute so we get warnings about this.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Cleanup Makefile for better compatibility + enable "make debug"

- clean up Makefile to improve compiler compatibility
- add a "Make debug" target for easier debug builds
- update INSTALL
- fix six.c when running "make debug" against GCC 9 (maybe-uninitialized)

Signed-off by: Janpieter Sollie <janpieter.sollie@edpnet.be>

Improve compiler compatibility + run blkid remove for all filesystems

add a blk_wipe function to remove any possible filesystems left on the block device
this makes sure the automounter does not accidentally mount it as another filesystem.

Signed-off by: Janpieter Sollie <janpieter.sollie@edpnet.be>

Update bcachefs sources to b00cf89c56 bcachefs: Allow shorter JSET_ENTRY_dev_usage entries

Update bcachefs sources to 69be0dae31 bcachefs: Always zero memory from bch2_trans_kmalloc()

Update bcachefs sources to e3a7cee503 bcachefs: Don't mark superblocks past end of usable space

Work around build error with gcc <10

linux/six.c: In function ‘__six_lock_type_slowpath’:
linux/six.c:73:6: error: ‘old.<U81c8>.v’ may be used uninitialized in this function [-Werror=maybe-uninitialized]

Signed-off-by: Justin Husted <sigstop@gmail.com>

Re-enable FUSE smoke tests.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Disable fuse remount test w/valgrind

This test fails with valgrind due to leaks currently.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Implement iterator_put in fuse

bcachefs_fuse_setattr and inode_updates_times need to explicitly call
iter_put (the API changed a while back).

Signed-off-by: Justin Husted <sigstop@gmail.com>

Make fuse tests fail on emergency ro or iter leak

Signed-off-by: Justin Husted <sigstop@gmail.com>

Fix smoke_test to use BCACHEFS_DEBUG

This file was not updated when D -> BCACHEFS_DEBUG

Signed-off-by: Justin Husted <sigstop@gmail.com>

Disable fuse smoke tests

The FUSE support was broken a while back by an API change from the
kernel. Disable fuse tests until this change is implemented.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Fix python test_list

The test arbitrarily checked some printed output which changed.

Signed-off-by: Justin Husted <sigstop@gmail.com>

add Valgrind suppression to ignore userspace-rcu leak

Update bcachefs sources to 3913e0cac3 bcachefs: Journal space calculation fix

Update closures from kernel source tree

Write a backup superblock at the end of the disk

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Grab math.h from kernel source tree

This gets us round_up() and round_down()

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

bcachefs: add missing journal-resize to help text

The command exists already but was missing from the main help text.

Signed-off-by: Stijn Tintel <stijn@linux-ipv6.be>

bcachefs: increase indentation in help text

This is in preparation of adding the resize-journal command to the main
help text, which would otherwise break the alignment.

Signed-off-by: Stijn Tintel <stijn@linux-ipv6.be>

Makefile: rename D to BCACHEFS_DEBUG

BCACHEFS_DEBUG is far more descriptive. D also conflicts with the D
variable used in Gentoo ebuilds.

Signed-off-by: Stijn Tintel <stijn@linux-ipv6.be>

Update bcachefs sources to ac3ab6a511 bcachefs: Fix an uninitialized var

minor fixes for clang support

Update bcachefs sources to 0cd3e1d27a bcachefs: Fix for bch2_bkey_pack_pos() not initializing len/version fields

Fix some minor compiler warnings

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to ae6f512de8 bcachefs: Fix out of bounds read in fs usage ioctl

Update bcachefs sources to b6d5426551 bcachefs: Fix bch2_btree_iter_peek_with_updates()

Fix a missing free in dump_one_device()

Hopefully this will fix some OOMs

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to a5c0e1bb30 bcachefs: Clean up bch2_btree_and_journal_walk()

bit_spinlocks now use futexes

Spinlocks aren't a good idea in userspace, where we can't actually
disable preemption.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to 8d3093bd9b bcachefs: Evict btree nodes we're deleting

Change cmd_dump to use FSCK_OPT_NO

We just want cmd_dump to walk metadata, not fix errors - the mark and
sweep code is being fixed to make sure it continues on error.

cmd_list improvements

 - update helptext
 - add -l (level) parameter

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to e6fa8eaa1b bcachefs: Fix bch2_verify_keylist_sorted

Update bcachefs sources to 3c41353bc1 bcachefs: Fix bch2_verify_keylist_sorted

Add a real mempool implementation

Imported from the kernel.

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to fe72e70682 bcachefs: Fix for btree_gc repairing interior btree ptrs

Fix some small memory leaks

Found with -fsanitize=leak

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

Update bcachefs sources to 8eca47e4d5 bcachefs: Improved check_directory_structure()

Update bcachefs sources to a8b3ce7599 fixup! bcachefs: Eliminate more PAGE_SIZE uses

Add --force-if-data-lost to bcachefs device set-state

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>