Merge ssh://gits.daterainc.com:2984/project/2013.KERNEL/bcache-tools

bcacheadm: fix status and query-devs

Previously we were reading old superblocks stuck in the cache.
Pass in O_DIRECT when opening the device. This requires that
the dest buffer be memaligned.
If we are unable to read the entire superblock then increase
the buffer and try again.

Also since we now have to alloc the sb, make sure it is freed
everywhere in bcacheadm.

Fixes DAT-1609 DAT-1626

Change-Id: I04b5337b992a8569809835b5826a2656df753214
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: fix list-cachesets --list-devs

list-cachesets now searches through all cache# symlinks
instead of iterating with i++. This is because bcache
doesn't immediately reuse a cache# symlink when a dev
gets removed.

Fixes DAT-1635
Progress DAT-1646

Change-Id: I6901e29dc13f4e2a76bdc49871e87f07667ec786
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: only fail csum check when -f is passed

Change-Id: I710f2b59940414830d08c7d018b53b84c6cbde05
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: add capacity command

prints the device capacity, and free space for a cacheset

example:
bcacheadm capacity -u UUID --devs

Device Name    Capacity (512 Blocks)    Free (512 Blocks)
/dev/sdb       1048576.00               1024128.00
/dev/sdc       1048576.00               1024128.00
/dev/sdd       1048576.00               1024128.00
Total          3145728.00               3072384.00

Also did some bcacheadm stats refactoring.

Change-Id: Iff5562191478c5fd9f03399a9479d3d75740904d
Signed-off-by: Jacob Malevich <jam@daterainc.com>

Merge branch 'master' of ssh://gits.daterainc.com:2984/project/2013.MAIN/bcache-tools

bcacheadm: add query-devs --brief command

bcacheadm query-devs --brief /dev/sdb /dev/sdc /dev/sdd
will output table showing only the dev name, dev uuid,
server uuid, and cluster uuid for each device

Change-Id: I47a375c9a8f9284942befa0151fae32b0b856a53
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: add command to modify sysfs attributes for
a cache or cacheset

bcacheadm modify -u csetuuid -d cacheuuid attr val
bcacheadm modify -u csetuuid attr val
bcacheadm modify --list

Change-Id: I7b8ddfb6a7cd12a7bc71870dcc10787a7d3d9e8d
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: fix status command

previously it wasn't properly looking through the list of
member info in the cache that has the highest seq.

Change-Id: I2a6ebf6bd0814055ec1247d0f4d79dab683115d3
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: add-devs and rm-dev options

Option to add multiple devices and remove single devices.

bcacheadm add-devs --set=uuid <list of devices>
bcacheadm rm-dev <dev>

Change-Id: I4f0a287c02dfad76d8263554e455c408191ea7ba
Signed-off-by: Jacob Malevich <jam@daterainc.com>

Set the label field in the cache set superblock if label is
specified.

Change-Id: Ic1b2d45c9544acfbabd8ee99cfe59c4ae6fb4183

manual merge

Change-Id: I75355d4671c46edbb2a6a64a7a8b6217d02d4c12

bcacheadm fixes

Change-Id: I3f6024d54aee263ef843705a0e9a02869e2a53e9

rpmify

Change-Id: Iffa28034d4228366565c762b4103fae2a54b2518

Remove exit points from libbache and return error messages instead.

Change-Id: Ibd238bb63354dae841c2a70e5ded550b3c603d4b
Signed-off-by: Jacob Malevich <jam@daterainc.com>

Fix string parsing

Change-Id: I0edd8f1e247ae802cdccf871a40b50d8a8714433
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm unregister devices

uses unregister ioctl to unregister a cacheset that the device
belongs to

Change-Id: I01772de3471888c4951f050b3e92f41b58c5d103
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: add ability to find a dev uuid within a cacheset

simplifies input for finding stats for a single dev

Change-Id: I5d879aaa8cb68aaaedabd2bc780fbea4994e2541
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: dev path parsing

Parse out the dev name for list-cachesets --list-devs
This gives the dev path that will be needed for query-dev
to get the superblock

Change-Id: I333cd8a0e593e02d7635111309b8aff14050cc41
Signed-off-by: Jacob Malevich <jam@daterainc.com>

Option for returning only the uuid of the dev when doing a
query-dev

Change-Id: Ia055da0516bc7baac836642fa1405b77adfc5139
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcache query-dev fixes, and don't print the sb out for status

Change-Id: I909ac15ca32a9cdecd6c7455e884d14f30ab0188
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: list-cachesets --list-devs option

lists the devices in each cacheset

Change-Id: Ie3beb38203eefc3ab64b2a3d37652964f7021e54
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: register bcache ioctl already takes an argv, no need to parse it

Change-Id: I0295ebde998c038feb40332ea303935035b8e2bd
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: fix tiering and backing device bugs

TODO: Support multiple devices for a single -C or -B flag

Change-Id: I73b18a39a0e0ff564600c2fc7386a785d3a10870
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm: format bug fixes

bcacheadm format is now working in replacement of make-bcache

Change-Id: Ib152dde3b8dc1418d1508020529dd58e4cf5d222
Signed-off-by: Jacob Malevich <jam@daterainc.com>

Initial template for bcacheadm man page.

TODO: Work with Kent to fill in descriptions for several items

Change-Id: Iea4fe9e6a99842bf40b0213eecb61d48952aa1bb
Signed-off-by: Jacob Malevich <jam@daterainc.com>

Update some bcacheadm error messages

Change-Id: Iddc638dacb7c68b621d686ba632da16fbe39bc15
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm stats, add flags

-c cache# displays stats for a specific cache in the cacheset
--stats-five-min,hour,day,total specific stats for the cacheset

Change-Id: I436d36d0853a250fe773573126c7a50a7251c72d
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm status [FLAGS] <list of stats>

FLAGS:
--list -list all stats in the uuid directory
--all -list all stats/values in the uuid directory
--uuid -must pass in a uuid for the cacheset

TODO: -subdirectory stats for individual caches
-subdirectory stats for over time stats

Change-Id: Ic7126a511fb17aa8c9ac7bf89e014ddbb719f46d
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm status <list of devs>

provides status for the newest sb version for each tier for all
the devs passed in

Change-Id: Ib6e5b08e65b5c36e7b1af0e9806efc39d069f94c
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm add list-cachesets and query-devs

Change-Id: Ie2bc7ba8293d1d493c0a215119456e4bb9e659aa
Signed-off-by: Jacob Malevich <jam@daterainc.com>

bcacheadm tool

bcacheadm is a combination of make-bcache, probe-bcache, bcache-super-show, and bcachectl(register).

Change-Id: Ia4f4cdd5f882516358eb0e26a75296d2103af1d0
Signed-off-by: Jacob Malevich <jam@daterainc.com>

Add multiple bucket_sizes to make-bcache

This is needed since libbcache expects an array of bucket sizes to be passed in. This is just so the tests can continue to use make-bcache until we can change them over to bcacheadm.

Change-Id: I1002e3d8355d45ffa914e6577569a5adfd1d6ccf
Signed-off-by: Jacob Malevich <jam@daterainc.com>

set btree_node_size for the cache_sb based on bucket_size

Change-Id: I98dab6e9a221cd8781095039d653ace84ffae806
Signed-off-by: Jacob Malevich <jam@daterainc.com>

Create libbcache.a.

Move make-bcache, probe-bcache, and bcache-super-show functions into a
static library called libbcache.

Change-Id: Ieed626225e08507a8ccd12f6bb0c07f64480de9b
Signed-off-by: Jacob Malevich <jam@daterainc.com>

Add crc32c support

Change-Id: I9f830560b25cc84d77f46e3670ed07c05f44adc9

Superblock version 6

Change-Id: Iba976c8c5a4a91dcac06145471fc70baa6a6393e

Changed the keyword register_devices to register

This change is done after a discussion with Slava and
Raghu.

Change-Id: I225a890f08e162536d080d66bddaeae02196d215
Signed-off-by: Surbhi Palande <sap@rts26.daterainc.com>

add missing dependency linux-headers

Change-Id: I9dea8e70a60b11d0626b06f20f0dc3471d945ad0

Better usage message.

Invoking bcachectl will now show you a help
message and a usage indicator.

Change-Id: I9f6163b196b32723c21ddbce04d4a20015173a1a
Signed-off-by: Surbhi Palande <sap@daterainc.com>

Add bcachectl: to start bcache, add and remove devices.

Useful for lifecycle management of bcache devices.

Change-Id: Icdcb559786ab0557dbe7f2a30b5dbeacf7dad665
Signed-off-by: Surbhi Palande <sap@daterainc.com>

make-bcache.c:  Added support for storing "label" information for the
                the devices in the super-block.
bcache.h:       Bring version information to the latest kernel version.
bcache-super-show.c: Add setsize for caching devices. This indicates
                     the number of devices in caching set.

Testing done:

1.0  make-bcache with --label option and checking back to see if
     bcache-super-show shows the devices.
2.0  bcache-super-show does not bail if version is 5.
3.0  bcache-super-show shows the correct setsize.

Change-Id: If0f1ec6204b233b34ff4c8a57a8809d2c8dbe3e3

make-bcache: update --help

RHEL 7 dependencies

fix Makefile.am to use pkg-config

Add support for setting cache tier field

Merge remote-tracking branch 'remotes/angband/master'

Conflicts:
make-bcache.c

Substitute proper package name

Merge ssh://gits.daterainc.com:2984/project/2013.MAIN/bcache-tools

add missing spec files

Merge branch 'master' of ssh://gits.daterainc.com:2984/project/2013.MAIN/bcache-tools

Conflicts:
.gitignore

.gitignore: tags, scope

Signed-off-by: Nicholas Swenson <nks@daterainc.com>

bcache: writes correct superblock for multiple cache devs

Signed-off-by: Nicholas Swenson <nks@daterainc.com>

Adding autotools support to bcache-tools

thie enables building it in a different directory, more
flexible install and configure options, and should make it
easier to eventualy create deb and rpm packages. Additionally
this makes it much easier to build and test this package
as it now behaves the same way as others we are using.

Simplify 69-bcache.rules

Gabriel: simplified a bit further

Add an INSTALL macro to the Makefile

Add DRACUTLIBDIR to Makefile

Add a dracut module for bcache

Move probe-bcache to UDEVLIBDIR

udev: Fit into the standard rule sequence

Move the rule to run a bit later, after
the standard udev rules have called blkid.

Don't run blkid manually, and run probe-bcache
as a fallback which can be patched out in a
package that depends on util-linux 2.24+.

probe-bcache: bail if libblkid finds anything
Preserve our last-resort safety check here
in case earlier rules fail to call blkid.

super-show: Print label

super-show: Show sync mode and cache replacement policy

Install the initramfs hook in /usr/share not /etc

Use the absolute path to modprobe

This is necessary on Fedora, according to Rolf Fokkens.

make-bcache: Prevent stray superblocks

Fail if the device has any leftover superblock or partition table label.

Add a --wipe-bcache flag to overwrite bcache superblocks and recommend
wipefs for non-bcache superblocks.

Once the device is safe to write, always zero immediately before the
bcache superblock.

Make sure errors go to stderr.  Use pkg-config.

Use register_quiet for udev hook

Merge git://evilpiepirate.org/~kent/bcache-tools

Conflicts:
README - fixed

Creating package bcache-tools

Don't register if a non-bcache superblock is found as well

fix make-bcache to use logical_block_size, not stat.st_blocksize

As discussed on irc yesterday.

Cheers,
Lars

From 791a4b7b2c25e21ffeb4184da5e61f18cde86246 Mon Sep 17 00:00:00 2001
From: Lars Ellenberg <lars@linbit.com>
Date: Wed, 17 Jul 2013 11:49:12 +0200
Subject: [PATCH] make-bcache: fix guessing of "block_size" to use BLKSSZGET

Using stat.st_blocksize is wrong:
that is the linux buffer cache granularity,
it is tunable, and defaults to 4k.

This caused bcache to default to create devices with
logical_block_size = 4k, potentially breaking otherwise healthy disk
or file system images unnecessarily.

e.g. some xfs image previously created with 512 byte "sector size"
would, once bcache'd, refuse to mount with
mount: function not implemented
device supports 4096 byte sectors (not 512)

We want the logical_block_size here.

bcache-tools are GPL

udev: Add /dev/bcache/by-label symlinks to cached devices

udev: Persistent names for cached devices

Add /dev/bcache/by-uuid/ symlinks to cached devices.

super-show: Minor manpage clarification

super-show: Add a manpage

Taken from tstrickx@rootcu.be's debianisation.

super-show: show detached/clean/dirty/inconsistent status

super-show: print cache mode (writethrough, writeback, writearound, none)

super-show: don't show cache_count

This is a cache-set property, but not terribly useful.
Showing it on backing devices was also incorrect.

super-show: show more cache-related information

Only show nbuckets and nr_this_dev on cache devices;
explain nbuckets' relation to device size by printing
both total_sectors (superblock included) and
cache_sectors (superblock excluded).

super-show: make the version annotation more terse

make-bdev: print the correct offset in the default case

Get blocksize from the devices if it's not specified

Update data offset format and warn about the previous one.

Also update the macro to select a bdev.
Also reindent.

use SB_JOURNAL_BUCKETS for superblock

Trivial build fix.

Add a flag to pick the cache set uuid.

Register devices with just udev.

This means bcache devices will be registered earlier and in all
cases, not just when the rootfs fails to mount.

The initramfs hook is still there to ensure the bcache module
and udev rules are shipped if an initramfs is used.

Update for new superblock version for data_offset

Fix option parsing so that passing --bucket_size after the device works

This makes supporting -U more annoying; dropping that for the moment,
unless someone complains

Use uppercase hex when showing csum and expected.

Show the writeback flag and the discard flag.

Version cleanup.

Fix offsets, cache and backing are two different cases.

Add a command to display a bcache superblock.

Don't error out if the distro isn't using initramfs

Better validation, and use O_EXCL when opening block device

Change default blocksize to one sector

Fix the initramfs script

Update initramfs probe script

bcache-tools: probe-bcache.8 man page

Hi Kent,

please find a little patch (attached) to introduce probe-bcache.8 man page to
bcache-tools.

Thank you.

Cheers,
Dmitry.

From 0ff7680042622e356516739936095cb4eab02de6 Mon Sep 17 00:00:00 2001
From: Dmitry Smirnov <onlyjob@member.fsf.org>
Date: Thu, 16 Feb 2012 13:23:00 +1100
Subject: [PATCH] added probe-bcache.8 man page