failtest: fix tracepath bug.

Aborts on a short write with --tracepath.

tdb2: make tdb2 compile clean under -Wshadow.

This isn't a general requirement for CCAN modules, but Samba uses it, so
make sure tdb2 doesn't upset it.

jmap,likely,tdb2: use CCAN_<MODNAME>_DEBUG instead of DEBUG.

Samba (for example) uses a DEBUG() macro, which triggers these heuristics.
Better to make it per-module anyway.

ccanlint: fix more potential segvs when reporting ccanlint errors.

When I changed score_file_error() to printf-style, I didn't audit all
the callers who were handing string literals.  I've finally done that;
I should have broken the compile by renaming it.

Rusty fails refactoring 101.
Reported-by: Andreas Schlick

ccan_tokenizer: update to be compatible with darray.

darray: Renamed array module to darray and made several improvements.

 * Removed talloc support.
 * Added a synopsis and rearranged macro definitions.
 * Switched allocation strategy from increments of 64 to powers of 2.
 * Replaced array_for and array_rof with the more useful
   and portable macros array_foreach and array_foreach_reverse.
 * Added typedefs array_* for common types.

failtest: detect leaks in children.

If we need to clean up the children, they didn't exit cleanly.

This takes a bit more care when writing tests, but found a leak in tdb2.

failtest: hook can return FAIL_PROBE

tdb2 has various places where it recovers from failure (eg. falling
back when it can't open /dev/urandom, or allocation for error
logging).  We want to test those paths, but doing so thoroughly causes
cominatorial explosion.

Add FAIL_PROBE for such cases: in this case it goes only 3 more calls
deep.

failtest: record close events

We trap them, might as well put them in history.  This also makes tracking
open file descriptors more robust.

failtest: call failtest_exit_check even in non-failing parent.

failtest: be clearer when child times out.

ie. SIGUSR1 means it timed out.

failtest: --debugpath= for really hard-to-find bugs.

If children and parents aren't isolated properly (ie. failtest is
buggy) we really want to run gdb on a failing child.  This hack allows that.

failtest: don't insert spurious failures if open would fail anyway.

open fails in fairly normal cases; don't double execution time for this!

failtest: don't insist parents and children write the same thing to files.

We insist they write the same things to pipes, since we can't "undo" them,
but strictly speaking we don't care if they write different things into
files.

Note: it may indicate a bug if they do...

failtest: rely on the save/restore of files, don't use write cleanup.

failtest: save entire file contents.

The idea of saving files as we do writes doesn't work with mmap: this just
saves the entire contents of all open files before forking child, and
restores them afterwards.

failtest: don't use special data structure for storing child writes.

Use the same structure we use in the history.

failtest: generic cleanup hooks

Each function in the history stores a cleanup function, rather than storing
extra structures.  In particular, we save writes and file offsets using
this.

failtest: allow continuing after running a failpath.

Append a "+" if you want to start forking as normal.

failtest: --tracepath

Useful for showing exactly where we inserted failures, and how long each
one took.

failtest: fix history when --failpath used

Correctly mark which calls we failed.

failtest: capture pread/pwrite

failtest: handle 2-argument open()

failtest: fcntl handling

Catch fcntl, particularly fcntl locks.

ccanlint: print coverage amount when -vv

ccanlint: fix format error when test output contains %

net: reset slen properly in testing.

net: fix tests on hosts where 'localhost' is v4 _and_ v6
If 'localhost' exists in /etc/hosts with a v4 and a v6 address, the hack
which joins two addrinfo entries together is not necessary.  Detect to see
if 'localhost' returned a v6 address, and if so, just return the single
linked list result from getaddrinfo()

(Reworked by Rusty Russell)
Signed-off-by: Sam Vilain <sam@vilain.net>

opt: Add a function to free the internal memory.

opt: Correct the separator in _info's example.

ccanlint: recognise new BSD 3-clause license.

licenses: clarify which BSD license it is.

Merge branch 'daemon-with-notify' of git://github.com/stewartsmith/ccan into daemon-with-notify

web: delete unused tool binaries.

move daemon-with-notify to daemon_with_notify as dashes aren't allowed in CCAN module names (and ccanlint segfaults on them)

fix up daemon-with-notify test

can't use C comments in C comments - DUH

update include to match header name conforming to CCAN standard

rename source to match CCAN standards

update test case copied from daemonize to use some of daemon-with-notify features

fix function declaration for daemon_is_ready()

use proper include path for daemon.h

add daemon.h and documentation on functions

remove ident headers from daemon-with-notify/daemon.c

add basic bit of daemon-with-notify (mostly just from the Drizzle tree)

opt: Silence unsed param warning triggered by -Wextra

The type checking function does not use its parameter:

    ccan/opt/opt.h: In function ‘_check_is_entry’:
        ccan/opt/opt.h:328:53: warning: unused parameter ‘e’

Annotate the function using UNUSED from compiler.h.  This commit also
adds compiler.h as a dependency for opt.

opt: Fix -Wmissing-field-initializers warning

OPT_ENDTABLE does not initalise all the elements in stuct opt_table.
When compliling with -Wextra -Wmissing-field-initializers is enabled,
which produces the following warning:

        iviewiir.c:299:9: error: missing field 'cb' initializer
              [-Wmissing-field-initializers]
                OPT_ENDTABLE
                ^
        In file included from iviewiir.c:12:
        ./ccan/opt/opt.h:82:38: note: instantiated from:
        #define OPT_ENDTABLE { NULL, OPT_END }
                                             ^
By changing the definition of OPT_ENDTABLE to initalise all 7 elements
of struct opt_table, the warning is silenced.

Add libccan.a to ignore list.

net: remove noerr dependency.

It's cool, but making it standalone is slightly simpler and means license is
pure MIT.

net: fix latent bug in _info example.

Ben Hutchings points out that struct sockaddr isn't large enough to hold
a struct sockaddr_in6.  Our example works because we only access the family
field, but anyone extending it might be surprised; use a union instead.

ccanlint: fix SEGV when example has format string.

net: new module to help IPv4/IPv6 transition.

ccanlint: protect against the function element in the doc section being null

This can happen if the documentation doesn't have a properly formatted summary line,
and it causes the examples_relevant test to segfault.

ccanlint: always print \n at end of error message.

Brad Hards fixed a two places where score->error was not \n-terminated,
and then I found a few more, so make it automatic.

ccanlint: don't collect results from test children

This confuses the output, and makes us sometimes see spurious
failure.  At least we will still catch valgrind errors in
children of failtest, thanks to --error-exitcode=101.

opt: correct description, and neaten main header order.

Reordering header makes it more readable, and we don't rely on
getopt_long any more.

ccanlint: fix _info option handling

Two places were using a bogus ccanlint struct: the side-effect was
that valgrind options didn't work, nor did license fixups.

Make REGISTER_TEST do the extern declaration, and remove the bogus
ones.

strsplit: remove nump argument

You can use talloc_array_length() to get the length of a tallocated array.

talloc: talloc_array_length()

I originally called this talloc_length(), but SAMBA upstream uses
talloc_array_length.

ccanlint: -k all

Use this to preserve the entire working directory.

ccanlint: -k should not pollute module directory.

It leads to numerous problems, such as the next ccanlint getting confused
trying to compile examples, and "-k examples_compile -k examples_exist"
giving bogus errors.

So instead we leave the temporary dir lying around and delete
individual files which aren't marked "keep".

failtest: free up everything on exit.

Otherwise valgrind will report that tests leak memory.

failtest: failtest_restore.h as an antidote to function overload.

This makes some cases simpler, where you no longer want malloc etc.
to fail.

wwviaudio: spelling fix

tdb2: spelling fix

tdb: spelling fixes

tap: spelling fix

talloc: spelling fix.

rbtree: spelling fixes

opt: spelling fixes.

nfs: spelling fixes.

list: spelling fixes

iscsi: spelling fixes.

hash: spelling fix

btree: spelling fix

ciniparser: spelling fixes

junkcode: spelling fixes.

array: spelling fixes.

str: change example to match function being explained.

Looks like the example was copy-n-pasted from the previous entry.

ccanlint: check examples actually mention thing they are demonstrating.

Brad suggested this after finding one such cut & paste in str:

rusty@vivaldi:~/devel/cvs/ccan/ccan/str$ ../../tools/ccanlint/ccanlint
Example: sections demonstrate appropriate function (examples_relevant): FAIL
/home/rusty/devel/cvs/ccan/ccan/str/str.h:64:Example for strcount doesn't mention it
Total score: 37/38

ccanlint: fix trailing / in -d.

Before:
$ tools/ccanlint/ccanlint -d ccan/talloc/
Module's source code has no trailing whitespace (no_trailing_whitespace): FAIL
: Total score: 0/1

After:
$ tools/ccanlint/ccanlint -d ccan/talloc/
Module's source code has no trailing whitespace (no_trailing_whitespace): FAIL
talloc: Total score: 0/1

ccanlint: score_file_error() takes printf-format

We simply build up the error string in score_file_error; a bit different
but simpler than current behaviour.  We keep around struct file_error
because some tests need it.

ccanlint: fix score for info_summary_single_line

My refactoring introduced a bug: we need to set score=1 for the success case.

ciniparser: Separate summary line and description text for metadata

block_pool: Change metadata layout so initial description is all on one line.

With the original layout, we got:
Summary:
An efficient allocator for blocks that don't need to be
....
Description:
resized or freed.

ccanlint: neaten info_summary_single_line with new doc_section info.

ccanlint: keep mapping back to original source line for doc_extract

Makes reporting of documentation easier.

ccanlint: add test case for metadata summary line on a single separate line.

htable: fix type of cmpfn in htable_type

It in fact takes an object and a key to compare, not two keys.

The test case had the key as first element of the object, so it worked,
but ccanlint lost track of module dependencies due to this bug, and thus
would build submodules multiple times.

rbtree: fix allocation failre paths.

rbtree: don't use temporary context to destroy rbtree

It leads to a memory leak if the allocation fails (as we reparent onto NULL).
Also, the extra allocation in the failure path increases test time for
failtest (under valgrind) by a factor of 2.

rbtree: use failtest to check handling of allocation failures.

Unfortunately this means we have to reduce run-many from 1000 nodes to 100
(as forking under valgrind is really slow: test takes about 2 minutes with
100 nodes).

rbtree: fix memory leak in tests

The data is not made a child of the tree: the nodes are made children of the
data.  So we must explicitly free the data objects.

rbtree: vary insert and delete orders in test

This covers more code than simply doing an ordered delete/insert.

talloc: allow replacement allocator

This allows us to both allocators which handle failure themselves, and
allocators which insert failures.

talloc: fixed a use after free error

(Import from SAMBA commit 6f51a1f45bf4de062cce7a562477e8140630a53d):

this is the minimal fix for the problem Rusty found. I previously
thought that the best fix would be to change tc->parent to be valid
for all pointers, but that is expensive for realloc with large numbers
of child pointers, which is much more commmon than I expected it to
be.

talloc: use failtest to test failure paths.

failtest: new module.

A module designed to help test "never fails" functions like malloc.

tap: add fail callback

This is useful for failtest, so we can abort on first failure.

ccanlint: fix and simplify depends-accurate (with strreg)