tdb2: log a message on allocation failure in tdb_check()

tdb2: log an error when out of memory formatting message.

Log it at level ERROR and log the raw unformatted message at the requested
level.

tdb2: close memory leak in traverse.

tdb2: close memory leak in tdb_check()

tdb2: use failtest for opening and checking database.

This is a fairly sophisticated use of failtest:
1) There are a few places where we can inject failures without revealing it
   at the API level, eg. opening /dev/urandom, or allocation failure in logging.
2) We want to be sure that (almost) all failures cause a message to be logged.
3) We need to exit as soon as possible when a failure is injected, to avoid
   combinatorial explosion.
4) We don't want to simply exit on any log message, since we want to be sure
   that cleanup happens.

This test found four different bugs failure paths.  Erk!

tdb2: fix leak in tests.

tdb2: rename ->read and ->write functions.

Since failtest uses macros to override read and write, we need to avoid
those names, even inside our ops structure.

tdb2: remove looping for write

On normal files, pwrite and write should never return short except on error.
As we never create sparse files, so any short write is an I/O error.

tdb2: remove looping for read on normal files.

Simply assume that any short read on a TDB in an I/O error.

failtest: enhance tracing

Do it properly, with a printf-style interface.

ccanlint: prepend module headers before standard ones.

Especially since they probably define _GNU_SOURCE.

config.h: HAVE_ASPRINTF

config.h: define _GNU_SOURCE

Otherwise we don't get goodies like asprintf, and 64-bit offsets.  Should
be a harmless-define on non-glibc systems.

ccanlint: don't crash when given --target=hash_if and there's no _info file.

noerr: don't use tempnam

We run in a temporary directory now.  Also, avoids warning and memory leak.

failtest: Fix incorrect reuse of va_list in test/run-malloc.c.

endian: use byteswap.h where available

And use those names, too.

compiler, talloc, tap, tdb2: use #if instead of #ifdef.

ccanlint: check for #ifdef

Old habits die hard; it's better to use #if <FEATURE> than #ifdef <FEATURE>;
they're similar, because undefined identifiers evaluate to zero, but with
GCC's -Wundef flag you can detect mis-spelled or missing features with
#if.

autoconf-style config.h leave unset features undefined, so this works for
those config.h too.

ccanlint: run tests with reduced-feature config.h

ccanlint: compile module with reduced-feature config.h

ccanlint: create reduce-feature config.h

A common mistake is not to try compiling with features disabled in
config.h.  The ideal case would determine how features interact and
test all combinations of them: this simply disables any features
mentioned in the code which were previously enabled.

ccanlint: --compiler and --cflags options.

ccanlint: read config.h to get compilation flags at runtime.

This means you don't have to recompile ccanlint to get the new flags;
it's a small step towards making ccanlint useful outside the ccan repo.

ccanlint: handle weird directories.

David Gibson reports (and I confirmed) that running ccanlint in /tmp
causes an very uninformative segv.  Fix that, and add a more useful message,
as well as delaying recursing until we're confident there's code around.

config.h: idempotent-wrap the generated config.h

asort: handle !HAVE_NESTED_FUNCTIONS

Andreas Schlick reports that PaX et. al. dislike trampolines, so open-code
qsort from glibc.

Interestingly, _quicksort from glibc seems to have a void * parameter, but
I can't find any information on it.

failtest: fix locking code.

We need to get the locks back *after* the child runs.

failtest: fix tracepath bug.

Aborts on a short write with --tracepath.

tdb2: make tdb2 compile clean under -Wshadow.

This isn't a general requirement for CCAN modules, but Samba uses it, so
make sure tdb2 doesn't upset it.

jmap,likely,tdb2: use CCAN_<MODNAME>_DEBUG instead of DEBUG.

Samba (for example) uses a DEBUG() macro, which triggers these heuristics.
Better to make it per-module anyway.

ccanlint: fix more potential segvs when reporting ccanlint errors.

When I changed score_file_error() to printf-style, I didn't audit all
the callers who were handing string literals.  I've finally done that;
I should have broken the compile by renaming it.

Rusty fails refactoring 101.
Reported-by: Andreas Schlick

ccan_tokenizer: update to be compatible with darray.

darray: Renamed array module to darray and made several improvements.

 * Removed talloc support.
 * Added a synopsis and rearranged macro definitions.
 * Switched allocation strategy from increments of 64 to powers of 2.
 * Replaced array_for and array_rof with the more useful
   and portable macros array_foreach and array_foreach_reverse.
 * Added typedefs array_* for common types.

failtest: detect leaks in children.

If we need to clean up the children, they didn't exit cleanly.

This takes a bit more care when writing tests, but found a leak in tdb2.

failtest: hook can return FAIL_PROBE

tdb2 has various places where it recovers from failure (eg. falling
back when it can't open /dev/urandom, or allocation for error
logging).  We want to test those paths, but doing so thoroughly causes
cominatorial explosion.

Add FAIL_PROBE for such cases: in this case it goes only 3 more calls
deep.

failtest: record close events

We trap them, might as well put them in history.  This also makes tracking
open file descriptors more robust.

failtest: call failtest_exit_check even in non-failing parent.

failtest: be clearer when child times out.

ie. SIGUSR1 means it timed out.

failtest: --debugpath= for really hard-to-find bugs.

If children and parents aren't isolated properly (ie. failtest is
buggy) we really want to run gdb on a failing child.  This hack allows that.

failtest: don't insert spurious failures if open would fail anyway.

open fails in fairly normal cases; don't double execution time for this!

failtest: don't insist parents and children write the same thing to files.

We insist they write the same things to pipes, since we can't "undo" them,
but strictly speaking we don't care if they write different things into
files.

Note: it may indicate a bug if they do...

failtest: rely on the save/restore of files, don't use write cleanup.

failtest: save entire file contents.

The idea of saving files as we do writes doesn't work with mmap: this just
saves the entire contents of all open files before forking child, and
restores them afterwards.

failtest: don't use special data structure for storing child writes.

Use the same structure we use in the history.

failtest: generic cleanup hooks

Each function in the history stores a cleanup function, rather than storing
extra structures.  In particular, we save writes and file offsets using
this.

failtest: allow continuing after running a failpath.

Append a "+" if you want to start forking as normal.

failtest: --tracepath

Useful for showing exactly where we inserted failures, and how long each
one took.

failtest: fix history when --failpath used

Correctly mark which calls we failed.

failtest: capture pread/pwrite

failtest: handle 2-argument open()

failtest: fcntl handling

Catch fcntl, particularly fcntl locks.

ccanlint: print coverage amount when -vv

ccanlint: fix format error when test output contains %

net: reset slen properly in testing.

net: fix tests on hosts where 'localhost' is v4 _and_ v6
If 'localhost' exists in /etc/hosts with a v4 and a v6 address, the hack
which joins two addrinfo entries together is not necessary.  Detect to see
if 'localhost' returned a v6 address, and if so, just return the single
linked list result from getaddrinfo()

(Reworked by Rusty Russell)
Signed-off-by: Sam Vilain <sam@vilain.net>

opt: Add a function to free the internal memory.

opt: Correct the separator in _info's example.

ccanlint: recognise new BSD 3-clause license.

licenses: clarify which BSD license it is.

Merge branch 'daemon-with-notify' of git://github.com/stewartsmith/ccan into daemon-with-notify

web: delete unused tool binaries.

move daemon-with-notify to daemon_with_notify as dashes aren't allowed in CCAN module names (and ccanlint segfaults on them)

fix up daemon-with-notify test

can't use C comments in C comments - DUH

update include to match header name conforming to CCAN standard

rename source to match CCAN standards

update test case copied from daemonize to use some of daemon-with-notify features

fix function declaration for daemon_is_ready()

use proper include path for daemon.h

add daemon.h and documentation on functions

remove ident headers from daemon-with-notify/daemon.c

add basic bit of daemon-with-notify (mostly just from the Drizzle tree)

opt: Silence unsed param warning triggered by -Wextra

The type checking function does not use its parameter:

    ccan/opt/opt.h: In function ‘_check_is_entry’:
        ccan/opt/opt.h:328:53: warning: unused parameter ‘e’

Annotate the function using UNUSED from compiler.h.  This commit also
adds compiler.h as a dependency for opt.

opt: Fix -Wmissing-field-initializers warning

OPT_ENDTABLE does not initalise all the elements in stuct opt_table.
When compliling with -Wextra -Wmissing-field-initializers is enabled,
which produces the following warning:

        iviewiir.c:299:9: error: missing field 'cb' initializer
              [-Wmissing-field-initializers]
                OPT_ENDTABLE
                ^
        In file included from iviewiir.c:12:
        ./ccan/opt/opt.h:82:38: note: instantiated from:
        #define OPT_ENDTABLE { NULL, OPT_END }
                                             ^
By changing the definition of OPT_ENDTABLE to initalise all 7 elements
of struct opt_table, the warning is silenced.

Add libccan.a to ignore list.

net: remove noerr dependency.

It's cool, but making it standalone is slightly simpler and means license is
pure MIT.

net: fix latent bug in _info example.

Ben Hutchings points out that struct sockaddr isn't large enough to hold
a struct sockaddr_in6.  Our example works because we only access the family
field, but anyone extending it might be surprised; use a union instead.

ccanlint: fix SEGV when example has format string.

net: new module to help IPv4/IPv6 transition.

ccanlint: protect against the function element in the doc section being null

This can happen if the documentation doesn't have a properly formatted summary line,
and it causes the examples_relevant test to segfault.

ccanlint: always print \n at end of error message.

Brad Hards fixed a two places where score->error was not \n-terminated,
and then I found a few more, so make it automatic.

ccanlint: don't collect results from test children

This confuses the output, and makes us sometimes see spurious
failure.  At least we will still catch valgrind errors in
children of failtest, thanks to --error-exitcode=101.

opt: correct description, and neaten main header order.

Reordering header makes it more readable, and we don't rely on
getopt_long any more.

ccanlint: fix _info option handling

Two places were using a bogus ccanlint struct: the side-effect was
that valgrind options didn't work, nor did license fixups.

Make REGISTER_TEST do the extern declaration, and remove the bogus
ones.

strsplit: remove nump argument

You can use talloc_array_length() to get the length of a tallocated array.

talloc: talloc_array_length()

I originally called this talloc_length(), but SAMBA upstream uses
talloc_array_length.

ccanlint: -k all

Use this to preserve the entire working directory.

ccanlint: -k should not pollute module directory.

It leads to numerous problems, such as the next ccanlint getting confused
trying to compile examples, and "-k examples_compile -k examples_exist"
giving bogus errors.

So instead we leave the temporary dir lying around and delete
individual files which aren't marked "keep".

failtest: free up everything on exit.

Otherwise valgrind will report that tests leak memory.

failtest: failtest_restore.h as an antidote to function overload.

This makes some cases simpler, where you no longer want malloc etc.
to fail.

wwviaudio: spelling fix

tdb2: spelling fix

tdb: spelling fixes

tap: spelling fix

talloc: spelling fix.

rbtree: spelling fixes

opt: spelling fixes.

nfs: spelling fixes.

list: spelling fixes