Merge pull request #26 from unquietwiki/master

RPM packaging support

Update userspace-rcu.spec

Update bcachefs sources to 9017d85854 bcachefs: btree_ptr_v2

Update bcachefs sources to 3cd63315a6 bcachefs: Track incompressible data

RPM packaging support

Don't leak ksets

Update bcachefs sources to d763e8ab17 bcachefs: Don't lose needs_whiteout in overwrite path

Update bcachefs sources to c9eb15545d bcachefs: Don't call trans_iter_put() on error pointer

Fix dump command for btree ptr key type change

Signed-off-by: Kent Overstreet <kent.overstreet@gmail.com>

fs_usage cmd fixes

- Sort devices by device name if they don't have a label
- We were printing the wrong devices in the device list in the per-data
  entries

Merge remote-tracking branch 'elladan/master'

Make die exit using _exit

Exiting the standard way on error caused teardown in bad state problems.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Update bcachefs sources to aae76fba15 bcachefs: Use KEY_TYPE_deleted whitouts for extents

Well, arm64 crashed. Turn that off for now.

Signed-off-by: Justin Husted <sigstop@gmail.com>

bcachefs-tools: Add arm64 build on travis-ci.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Add a travis.yml file for bcachefs-tools.

Signed-off-by: Justin Husted <sigstop@gmail.com>

bcachefs-tools: Fix test.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Update bcachefs sources to 1569db10e2 bcachefs: Use KEY_TYPE_deleted whitouts for extents

show-super now lists superblock features

Update bcachefs sources to 86a99a7b7f bcachefs: Convert some enums to x-macros

bcachefs-tools: Add a smoke test master script.

This script builds and runs with various options to enable easy test
coverage.

Signed-off-by: Justin Husted <sigstop@gmail.com>

bcachefs-tools: fix test bug in valgrind handling.

Signed-off-by: Justin Husted <sigstop@gmail.com>

bcachefs-tools: Fix build errors.

The BTREE_INSERT_ATOMIC removal broke fuse.

Signed-off-by: Justin Husted <sigstop@gmail.com>

bachefs-tools: Fix broken test code.

A check was missing in some of the python test code, probably from a bad
cherry-pick.

Signed-off-by: Justin Husted <sigstop@gmail.com>

bcachefs-tools: Fix build break with FUSE.

bch2_link_trans() in the filesystem side was fixed to do timestamps
properly, but the change to the tools call got lost.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Update bcachefs sources to cfb41d25c7 bcachefs: Add an assertion to track down a heisenbug

Make valgrind disabled by default in unit tests.

Since valgrind runtime support is disabled by default, we shouldn't run
the tests with valgrind by default.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Fix bchu_fs_get_devices()

Redo cmd_fs_usage for new ioctls

Update bcachefs sources to 5d7142b75a bcachefs: Redo filesystem usage ioctls

Update bcachefs sources to a8faf2472b bcachefs: Update directory timestamps during link

Update bcachefs sources to adfbb84c7c fixup! bcachefs: Fix bch2_verify_insert_pos()

Merge pull request #24 from brendon-boldt/new-install-distros

New install distros

Update bcachefs sources to fbb669e9de bcachefs: Kill btree_node_iter_large

Clean up after failed unit tests better.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Increase stack size of userspace threads to 32k.

Certain fuse tests crashed inside of libc calls such as fprintf() with
only 16k of stack.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Add note about make clean for fuse build

Add Fedora, Ubuntu, Arch info to INSTALL

Add fuse3 (>=3.7) version to Makefile

Put valgrind support behind CONFIG_VALGRIND

Merge commit '780de81b36'

Support remounting in fuse tests.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Make valgrind optional in tests.

Add an option to disable valgrind in the test suite, via the variable:

BCACHEFS_TEST_USE_VALGRIND=no

Additionally, note how to run tests in parallel in the INSTALL documentation.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Update bcachefs sources to d372ddcbfa bcachefs: Reorganize extents.c

Make fuse3 support optional and document.

The experimental fuse3 support is not complete yet, and fuse3 is new and
still difficult to install on some platforms.

Make it optional at compile time, and default to off.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Update bcachefs sources to b1a4dc53be bcachefs: Set lost+found mode to 0700

Temporary fix for lost+found file permission.

lost+found should not be group or world readable. This is a staging fix
pending merge with the kernel tree.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Implement basic fuse mount tests.

The purpose of these tests is to verify that bcachefs fuse support works
as expected, including gathering valgrind errors from the bcachefs
executable.

To do this, bcachefs is executed from a helper thread in the new
util.BFuse class, which goes about setting up and validating the
valgrind data as well as making sure the mount has completed
sufficiently before the test starts executing.

This also includes some basic functionality smoke tests which cover file
creation, timestamps, etc.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Fix memory leak in fuse write.

The write buffer was being leaked in bcachefs_fuse_write().

Signed-off-by: Justin Husted <sigstop@gmail.com>

Make userspace blkdev cleanup code more robust.

The existing cleanup code would silently cancel disk IO requests, if
somehow the calling code did not wait for completion.  This code now
tracks requests and will bug if any are lost.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Fix refcount bug in blkdev and timer kthreads.

The shutdown code in d79d57e and b20e160 had a race condition during
shutdown, due to not owning a reference on the associated task_struct
while the associated threads shut themselves down.

Patch over this by taking an appropriate reference.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Use the correct clock for userspace time.

The ktime_get_coarse_real_ts64() implementation for userspace was using
CLOCK_MONOTONIC instead of CLOCK_REALTIME_COARSE.  This resulted in
files being timestamped with a time close to the unix epoch.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Add makefile support for tags.

Also, update .gitignore for various things.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Update bcachefs sources to 9e76e8d98c bcachefs: Fix uninitialized field in hash_check_init()

Initial version of bcachefs tests.

So far, these tests just test basic format, fsck, and list functions
under valgrind, as well as a few self-validation tests.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Stop blkdev completion thread at process exit time, to make valgrind
happy.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Stop workqueue threads at process exit time, to make valgrind happy.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Stop the timer task at process exit time, to make valgrind happy.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Temporary import of valgrind fixes for bcachefs branch.

Fix memory leak in cmd_format.c

Signed-off-by: Justin Husted <sigstop@gmail.com>

Add better valgrind support for journal write buffers.

Change preempt_disable() etc. to use a recursive mutex.

This is part of the userspace implementation of the kernel APIs for
bcachefs-tools. The previous implementation just provided a barrier, but
this isn't sufficient to make the associated percpu implementation safe.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Add more fuse logging.

Signed-off-by: Justin Husted <sigstop@gmail.com>

Enable caching of negative dentries

Simplify readdir

Write path now updates i_size/i_sectors

Use proper flags mask.

Prettify the align_io function by returning by value.

Fix missing mode setting in fuse mkdir.

Add fuse symlink and readlink support.
Also fix link.

Implement unaligned write support for fuse. Seems to work on initial
testing, but there are problems with cache coherency and journaling.

Factor alignment logic out of bcachefs_fuse_read.

Implement unaligned read support for fuse.

Make fuse read and write work (for aligned writes).

Read: There was a missing refcount on the closure.

Write: Unlike in the Linux kernel, we need to manually update the size
and timestamps, otherwise the operation will appear complete when viewed
via the cached inode, but after unmounting and mounting again the write
will be undone.

Fix fuse read/write to not segfault on unaligned IO.

initialize op->pos for write

Add valgrind handling: data read from io_submit was not being marked
properly. Manually mark it.

This might be better done by improving the valgrind wrapper for
io_submit.

fill in .st_ino in .getattr

build fixes; initial read/write methods

Fix infinite looping behavior with readdir.

Also adds partial . and .. support, and implements ENOTDIR error.

The source of this problem was due to the off-by-one interface expected
by readdir. Each directory entry contains a pointer to next, so it
cannot be emitted to the user until the next entry is actually read.

Returning the current position + 1 is insufficient, because the user
will just retry cur + 1 as the start position to see if they've reached
the end of the directory.

Since directory entries are keyed by a 64-bit hash in bcachefs, the
result was that the user would call readdir over and over with what it
believed the next pointer to be until "cur + 1" reached some enormous
64-bit value related to the hash for the "lost+found" entry.

Implement option parsing for fuse. The syntax is:

bcachefs fusemount dev mountpoint
or
bcachefs fusemount dev1:dev2:... mountpoint

fuse

Update bcachefs sources to fc4f1d59cf bcachefs: Fix an iterator counting bug

Update bcachefs sources to de906c3e2e bcachefs: Fix iterator counting for reflink pointers (again)

Update bcachefs sources to d0625a4418 bcachefs: Fix creation of lost+found

Update bcachefs sources to 7e03c1ab0e bcachefs: Kill bchfs_extent_update()

Update bcachefs sources to ce9293e9d0 bcachefs: Factor out fs-common.c

Update bcachefs sources to cddca21efc bcachefs: Don't use sha256 for siphash str hash key

Update bcachefs sources to 380885b0b8 bcachefs: Fix counting iterators for reflink pointers

Update six locks

Update bcachefs sources to 5a3a4087af bcachefs: Convert a BUG_ON() to a warning

Have cmd_dump fix errors

Some errors can't be ignored, and fsck and thus dump will only complete
if we're fixing errors.

Update bcachefs sources to fee79cd654 bcachefs: Fix BTREE_INSERT_NOMARK_OVERWRITES

Update bcachefs sources to 0d627739e9 bcachefs: Improve pointer marking checks and error messages

Add a way to pass arbitrary mount options to fsck

Update bcachefs sources to 05ef7000f2 bcachefs: Switch reconstruct_alloc to a mount option

Update llist code

This fixes a bug where the compiler was dropping a null ptr check

Update bcachefs sources to bfb7133d71 bcachefs: Refactor bch2_alloc_write()

Update bcachefs sources to 4ed63a3241 bcachefs: Trust in memory bucket mark

Update bcachefs sources to 14f68409be bcachefs: Optimize fiemap

Build with -fno-delete-null-pointer-checks

Some of the code we use from the Linux kernel won't build correctly
without this...