tdb2: allow read-only databases to use locking.

You can always specify the TDB_NOLOCK flag along with O_RDONLY for the old
behaviour.

tdb2: remove zero-length write optimization.

If benchmarking indicates a problem later, we can restore it.

tdb2: change API to return the error value.

Mostly a fairly simple transformation, since 0 still means success.

One new twist is that tdb_nextkey now frees the .dptr of the key; this
us usually what we want but does cause issues for our weird test code.

tdb2: rework tdb.c internal functions to return enum TDB_ERROR.

tdb2: rework summary.c internal functions to return enum TDB_ERROR.

tdb2: rework check.c internal functions to return enum TDB_ERROR.

Of course, we leave the API the same, but percolate error codes all the
way back to tdb_check().

tdb2: rework transaction.c internal functions to return enum TDB_ERROR.

In particular, tdb_needs_recovery() can now indicate an error occurred,
rather than returning true.

tdb2: rework free.c functions to return enum TDB_ERROR.

tdb2: rework hash.c functions to return enum TDB_ERROR.

This time we have to use our tri-value "tdb_bool_err" type to indicate
true, false, or error, which now allows us to correctly handle errors
in key matching (rather than treating it as a non-match).

tdb2: rework remaining io.c functions to return enum TDB_ERROR.

In particular, we replace the TDB_OFF_ERR ((off_t)-1) with a range of
negative error values.

tdb2: rework some io.c functions to encode errors in their pointer returns.

This causes a subtle enhancement in tdb_direct(): it previously
returned NULL on both "can't use direct access" or "some error
occurred", as the caller always uses read/write functions as a
fallback anyway.  Now we distinguish the error case.

tdb2: rework some io.c functions to return enum TDB_ERROR.

tdb2: rework io functions to return enum TDB_ERROR.

We have a series of I/O functions which change depending on whether we're
inside a transaction or not.  This makes them return enum TDB_ERROR instead
of int.

tdb2: restore file filling code.

This snuck in fe55330a which added the stats attribute.  Without it,
TDB works but is vulnerable to segmenation faults or write errors when
disk is exhausted.

tdb2: rework lock.c functions to return enum TDB_ERROR.

Make the other functions in lock.s return an error code, too.

tdb2: rework lock.c static functions to return enum TDB_ERROR.

We make tdb_brlock() and tdb_lock_gradual() return an error code directly:
the callers have to set tdb->ecode.

tdb2: Internal error helpers.

I use the "high pointers hold error numbers" trick, and also make
tdb_logerr return the error code, which enables the common case of
"return tdb_logerr(...)".

tdb2: make error numbers negative.

This prepares us for changing function returns over.

tdb2: remove tdb_traverse_read

It's not actually different from tdb_traverse().  We can re-add it later if
it makes sense.

tdb2: add comments to tdb2.h, reorder for maximum readability.

tdb2: remove redundant pending transaction error check.

We do this lower down anyway.

tdb2: remove tdb_hashfn_t prototype

It doesn't help the user, since they can't use it to declare their hash
function, and it just adds a level of mental indirection for us.

tdb2: remove nesting support.

We don't actually support it, so take it away for the moment.  If you
try to nmest you get a TDB_LOG_USE_ERROR message.

tdb2: simplify logging levels, rename TDB_DEBUG_* to TDB_LOG_*

It was never clear to me which levels should be used for what cases.
I can only usefully distinguish three at the moment:
(1) TDB errors, which render the TDB unreliable.
(2) TDB user errors, caused by API misuse.
(3) TDB notifications of strange behaviour, from which we have recovered.

tdb2: remove extraneous whitespace.

Gets us one extra ccanlint point, too.

tdb2: fix leak on lock failure during open.

tdb2: log as a ERROR (not as TRACE) when unlocking fails.

This should never happen.

tdb2: log a message on allocation failure in tdb_check()

tdb2: log an error when out of memory formatting message.

Log it at level ERROR and log the raw unformatted message at the requested
level.

tdb2: close memory leak in traverse.

tdb2: close memory leak in tdb_check()

tdb2: use failtest for opening and checking database.

This is a fairly sophisticated use of failtest:
1) There are a few places where we can inject failures without revealing it
   at the API level, eg. opening /dev/urandom, or allocation failure in logging.
2) We want to be sure that (almost) all failures cause a message to be logged.
3) We need to exit as soon as possible when a failure is injected, to avoid
   combinatorial explosion.
4) We don't want to simply exit on any log message, since we want to be sure
   that cleanup happens.

This test found four different bugs failure paths.  Erk!

tdb2: fix leak in tests.

tdb2: rename ->read and ->write functions.

Since failtest uses macros to override read and write, we need to avoid
those names, even inside our ops structure.

tdb2: remove looping for write

On normal files, pwrite and write should never return short except on error.
As we never create sparse files, so any short write is an I/O error.

tdb2: remove looping for read on normal files.

Simply assume that any short read on a TDB in an I/O error.

failtest: enhance tracing

Do it properly, with a printf-style interface.

ccanlint: prepend module headers before standard ones.

Especially since they probably define _GNU_SOURCE.

config.h: HAVE_ASPRINTF

config.h: define _GNU_SOURCE

Otherwise we don't get goodies like asprintf, and 64-bit offsets.  Should
be a harmless-define on non-glibc systems.

ccanlint: don't crash when given --target=hash_if and there's no _info file.

noerr: don't use tempnam

We run in a temporary directory now.  Also, avoids warning and memory leak.

failtest: Fix incorrect reuse of va_list in test/run-malloc.c.

endian: use byteswap.h where available

And use those names, too.

compiler, talloc, tap, tdb2: use #if instead of #ifdef.

ccanlint: check for #ifdef

Old habits die hard; it's better to use #if <FEATURE> than #ifdef <FEATURE>;
they're similar, because undefined identifiers evaluate to zero, but with
GCC's -Wundef flag you can detect mis-spelled or missing features with
#if.

autoconf-style config.h leave unset features undefined, so this works for
those config.h too.

ccanlint: run tests with reduced-feature config.h

ccanlint: compile module with reduced-feature config.h

ccanlint: create reduce-feature config.h

A common mistake is not to try compiling with features disabled in
config.h.  The ideal case would determine how features interact and
test all combinations of them: this simply disables any features
mentioned in the code which were previously enabled.

ccanlint: --compiler and --cflags options.

ccanlint: read config.h to get compilation flags at runtime.

This means you don't have to recompile ccanlint to get the new flags;
it's a small step towards making ccanlint useful outside the ccan repo.

ccanlint: handle weird directories.

David Gibson reports (and I confirmed) that running ccanlint in /tmp
causes an very uninformative segv.  Fix that, and add a more useful message,
as well as delaying recursing until we're confident there's code around.

config.h: idempotent-wrap the generated config.h

asort: handle !HAVE_NESTED_FUNCTIONS

Andreas Schlick reports that PaX et. al. dislike trampolines, so open-code
qsort from glibc.

Interestingly, _quicksort from glibc seems to have a void * parameter, but
I can't find any information on it.

failtest: fix locking code.

We need to get the locks back *after* the child runs.

failtest: fix tracepath bug.

Aborts on a short write with --tracepath.

tdb2: make tdb2 compile clean under -Wshadow.

This isn't a general requirement for CCAN modules, but Samba uses it, so
make sure tdb2 doesn't upset it.

jmap,likely,tdb2: use CCAN_<MODNAME>_DEBUG instead of DEBUG.

Samba (for example) uses a DEBUG() macro, which triggers these heuristics.
Better to make it per-module anyway.

ccanlint: fix more potential segvs when reporting ccanlint errors.

When I changed score_file_error() to printf-style, I didn't audit all
the callers who were handing string literals.  I've finally done that;
I should have broken the compile by renaming it.

Rusty fails refactoring 101.
Reported-by: Andreas Schlick

ccan_tokenizer: update to be compatible with darray.

darray: Renamed array module to darray and made several improvements.

 * Removed talloc support.
 * Added a synopsis and rearranged macro definitions.
 * Switched allocation strategy from increments of 64 to powers of 2.
 * Replaced array_for and array_rof with the more useful
   and portable macros array_foreach and array_foreach_reverse.
 * Added typedefs array_* for common types.

failtest: detect leaks in children.

If we need to clean up the children, they didn't exit cleanly.

This takes a bit more care when writing tests, but found a leak in tdb2.

failtest: hook can return FAIL_PROBE

tdb2 has various places where it recovers from failure (eg. falling
back when it can't open /dev/urandom, or allocation for error
logging).  We want to test those paths, but doing so thoroughly causes
cominatorial explosion.

Add FAIL_PROBE for such cases: in this case it goes only 3 more calls
deep.

failtest: record close events

We trap them, might as well put them in history.  This also makes tracking
open file descriptors more robust.

failtest: call failtest_exit_check even in non-failing parent.

failtest: be clearer when child times out.

ie. SIGUSR1 means it timed out.

failtest: --debugpath= for really hard-to-find bugs.

If children and parents aren't isolated properly (ie. failtest is
buggy) we really want to run gdb on a failing child.  This hack allows that.

failtest: don't insert spurious failures if open would fail anyway.

open fails in fairly normal cases; don't double execution time for this!

failtest: don't insist parents and children write the same thing to files.

We insist they write the same things to pipes, since we can't "undo" them,
but strictly speaking we don't care if they write different things into
files.

Note: it may indicate a bug if they do...

failtest: rely on the save/restore of files, don't use write cleanup.

failtest: save entire file contents.

The idea of saving files as we do writes doesn't work with mmap: this just
saves the entire contents of all open files before forking child, and
restores them afterwards.

failtest: don't use special data structure for storing child writes.

Use the same structure we use in the history.

failtest: generic cleanup hooks

Each function in the history stores a cleanup function, rather than storing
extra structures.  In particular, we save writes and file offsets using
this.

failtest: allow continuing after running a failpath.

Append a "+" if you want to start forking as normal.

failtest: --tracepath

Useful for showing exactly where we inserted failures, and how long each
one took.

failtest: fix history when --failpath used

Correctly mark which calls we failed.

failtest: capture pread/pwrite

failtest: handle 2-argument open()

failtest: fcntl handling

Catch fcntl, particularly fcntl locks.

ccanlint: print coverage amount when -vv

ccanlint: fix format error when test output contains %

net: reset slen properly in testing.

net: fix tests on hosts where 'localhost' is v4 _and_ v6
If 'localhost' exists in /etc/hosts with a v4 and a v6 address, the hack
which joins two addrinfo entries together is not necessary.  Detect to see
if 'localhost' returned a v6 address, and if so, just return the single
linked list result from getaddrinfo()

(Reworked by Rusty Russell)
Signed-off-by: Sam Vilain <sam@vilain.net>

opt: Add a function to free the internal memory.

opt: Correct the separator in _info's example.

ccanlint: recognise new BSD 3-clause license.

licenses: clarify which BSD license it is.

Merge branch 'daemon-with-notify' of git://github.com/stewartsmith/ccan into daemon-with-notify

web: delete unused tool binaries.

move daemon-with-notify to daemon_with_notify as dashes aren't allowed in CCAN module names (and ccanlint segfaults on them)

fix up daemon-with-notify test

can't use C comments in C comments - DUH

update include to match header name conforming to CCAN standard

rename source to match CCAN standards

update test case copied from daemonize to use some of daemon-with-notify features

fix function declaration for daemon_is_ready()

use proper include path for daemon.h

add daemon.h and documentation on functions

remove ident headers from daemon-with-notify/daemon.c

add basic bit of daemon-with-notify (mostly just from the Drizzle tree)