tal: make sure tal_free() preserves errno.

Always good form to have cleanup functions preserve errno.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: add test for group growth.

Rusty forgets a git add.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: tal_steal() fix.

We call remove_node() in tal_steal, then re-use the node.  So it's important
that we always unlink the group property from the node for that case.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: tal_parent(NULL) should be NULL.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: neaten child property initialization.

Don't open-code the list_head_init: left over from performance
debugging.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: bounds checking fixes.

First, we need to update the bounds for the group property allocated
with the children property, just in case it's at the end of the
allocations.

Second, we need to allow the tal_check() code to accept the pointer to
the null parent's group property.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: add benchmark based on Samba4's talloc usage.

This is based on a very simple dump of S4's talloc tree, which we try
to duplicate using tal.  The benchmarks are simply to allocate all the
nodes, free all the nodes individually, and a top-level free.

Size results (32-bit x86):
$ ./samba-allocs talloc.dump --talloc-size
Read 25998 nodes
Virtual size = 10469376, RSS = 4759552
$ ./samba-allocs talloc.dump --tal-size
Read 25998 nodes
Virtual size = 9629696, RSS = 3948544

Speed results:
$ ./samba-allocs talloc.dump
Read 25998 nodes
Malloc time:             1912082ns
Free time:               1384892ns
Talloc time:             2851531ns
talloc_free time:        2133801ns
Single talloc_free time: 1696298ns
Tal time:                2686952ns
Tal_free time:           3316153ns
Single tal_free time:    1639407ns

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: add talloc's speed benchmark.

We modify it a bit (to do more allocations before freeing).

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: add typenames by default.

The really size-conscious can override them, but it's great for
debugging to have names on the nodes.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: add TAL_TAKE.

TAL_TAKE provides a magic context meaning "consume my args and return
a replacement".  This is useful for writing convenience functions,
though not so useful in the standard routines here.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal: new module.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

likely: relicense to CC0.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

typesafe_cb: relicense to CC0.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

likely: make dependencies correctly conditional on CCAN_LIKELY_DEBUG.

Without this, it's a trivial header.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

rfc822: Update rfc822 module to use testdepends

Several modules were only listed as dependencies because they were used in
the testcases.  That in turn gave some bogus incompatible license warnings
which we partially suppressed from _info.  Now that ccanlint supports
testdepends, use that to clean it up.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

talloc: move ccan/failtest to testdepends.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

str_talloc: remove unused ccan/noerr dependency.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

grab_file: move ccan/str_alloc to testdepends

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crcsync: move array_size to testdepends.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

asort: move array_size to testdepends.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

asearch: move array_size to testdepends.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

alignof: remove unnecessary ccan/build_assert dependency.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: detect unused dependencies, too.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: add testdepends support.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tools: enhance get_libs to get libraries for tests, too.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tools: add testdepends handling in _info.

This allows us to separate dependencies only needed for testing.
This matters: they don't have the same impact on licensing, nor necessarily
on end-users.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

README: update.

Especially important since it's so prominent on github.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

hash: switch to CC0 license.

As per email from Andreas (the only other contributor):
From: Andreas Schlick <schlick@lavabit.com>
Subject: Re: Changing from Public Domain to CC0
To: Rusty Russell <rusty@rustcorp.com.au>
Date: Thu, 01 Nov 2012 12:51:47 +0100

Hi!

> Since Public Domain is a slippery concept outside certain countries,
> it has been suggested that I formalize it to Creative Commons Zero.
>
> I want to change the License string (and add a symlink) to the
> following trivial modules.  Please Ack.

Sure, ack.

 Andreas

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Relicense all public domain modules to CC0.

I wrote all of most of them, for the others, here's the CCAN mailing
list thread authorizing it:

From: Timothy B. Terriberry <tterribe@xiph.org>
Subject: Re: [ccan] Changing from Public Domain to CC0
To: Rusty Russell <rusty@rustcorp.com.au>
Cc: ccan@ozlabs.org
Date: Wed, 31 Oct 2012 02:53:50 -0400

Rusty Russell <rusty@rustcorp.com.au> wrote:

> I want to change the License string (and add a symlink) to the following
> trivial modules.  Please Ack.

> isaac

Ack.

From: Alessandro Guido <ag@alessandroguido.name>
Subject: Re: Changing from Public Domain to CC0
To: Rusty Russell <rusty@rustcorp.com.au>
Date: Wed, 31 Oct 2012 10:59:53 +0100

Acked-by: Alessandro Guido <ag@alessandroguido.name>
From: Brad Hards <bradh@frogmouth.net>
Subject: Re: Changing from Public Domain to CC0
To: Rusty Russell <rusty@rustcorp.com.au>
Cc: Joey Adams <joeyadams3.14159@gmail.com>, Alessandro Guido <ag@alessandroguido.name>, Andreas Schlick <schlick@lavabit.com>, ccan@ozlabs.org
Date: Wed, 31 Oct 2012 23:43:24 +1100

On 31/10/12 17:43, Rusty Russell wrote:
> Damn lawyers!
>
> Since Public Domain is a slippery concept outside certain countries, it
> has been suggested that I formalize it to Creative Commons Zero.
>
> I want to change the License string (and add a symlink) to the following
> trivial modules.  Please Ack.

Ack.

More generally, anything I've put into CCAN is so trivial that you can
relicense it (to any Free / Open Source license) as part of any
relicensing you can otherwise get agreement to.

Brad

[Sorry if this comes out in HTML - I'm stuck with unsat tools while
travelling].

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tlist: remove unused var warning in example.

Compiler:
/home/rusty/devel/cvs/ccan/ccan/tlist/tlist.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/tlist/tlist.h:186:15: warning: variable ‘first’ set but not used [-Wunused-but-set-variable]

Compiler:
/home/rusty/devel/cvs/ccan/ccan/tlist/tlist.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/tlist/tlist.h:205:15: warning: variable ‘last’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

time: remove unused var warning in example.

Compiler:
/home/rusty/devel/cvs/ccan/ccan/time/time.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/time/time.h:334:16: warning: variable ‘tv’ set but not used [-Wunused-but-set-variable]

Compiler:
/home/rusty/devel/cvs/ccan/ccan/time/time.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/time/time.h:353:17: warning: variable ‘ts’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc: remove const warning in _info example.

Compiler:
/home/rusty/devel/cvs/ccan/ccan/talloc/_info: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/talloc/_info:84:9: warning: passing argument 2 of ‘open_output_cmd’ discards ‘const’ qualifier from pointer target type [enabled by default]
/home/rusty/devel/cvs/ccan/ccan/talloc/_info:52:24: note: expected ‘char *’ but argument is of type ‘const char *’

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list: fix unused var warning.

/home/rusty/devel/cvs/ccan/ccan/list/list.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/list/list.h:280:15: warning: variable ‘first’ set but not used [-Wunused-but-set-variable]

/home/rusty/devel/cvs/ccan/ccan/list/list.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/list/list.h:304:15: warning: variable ‘last’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lbalance: fix unused var warning.

/home/rusty/devel/cvs/ccan/ccan/lbalance/lbalance.c:Compiling object files gave warnings:
/home/rusty/devel/cvs/ccan/ccan/lbalance/lbalance.c: In function ‘best_target’:
/home/rusty/devel/cvs/ccan/ccan/lbalance/lbalance.c:245:18: warning: variable ‘best’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

foreach: remove unused var warning.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crcsync: fix memory leak in tests.

/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c:==6923== 112 bytes in 1 blocks are definitely lost in loss record 2 of 3
==6923==    at 0x402BA7A: malloc (vg_replace_malloc.c:261)
==6923==    by 0x80492EE: crcblocks (run-crash.c:20)
==6923==    by 0x8049448: main (run-crash.c:62)
==6923== 2,217 (2,212 direct, 5 indirect) bytes in 1 blocks are definitely lost in loss record 3 of 3
==6923==    at 0x402BA7A: malloc (vg_replace_malloc.c:261)
==6923==    by 0x8048AA0: crc_context_new (crcsync.c:85)
==6923==    by 0x8049476: main (run-crash.c:64)

/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run.c:==11793== 512 bytes in 1 blocks are definitely lost in loss record 1 of 2
==11793==    at 0x402A52B: calloc (vg_replace_malloc.c:462)
==11793==    by 0x8049A3F: main (run.c:128)
==11793== 512 bytes in 1 blocks are definitely lost in loss record 2 of 2
==11793==    at 0x402A52B: calloc (vg_replace_malloc.c:462)
==11793==    by 0x8049A57: main (run.c:129)

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crcsync: fix constness warning.

/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c:Compile gave warnings:
/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c:30:3: warning: initialization discards ‘const’ qualifier from pointer target type [enabled by default]
/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c:35:3: warning: initialization discards ‘const’ qualifier from pointer target type [enabled by default]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crc: remove gratuitous trailing whitespace.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

check_type: remove gratuitous trailing whitespace.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

alloc: remove valgrind warning from test.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

alignof: fix unused var warning with gcc

/home/rusty/devel/cvs/ccan/ccan/alignof/test/run.c:32:7: warning: variable ‘c2’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

str: fix unused var warning with gcc

Compiler:
/home/rusty/devel/cvs/ccan/ccan/str/str.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/str/str.h:69:5: warning: variable ‘i’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: add #line directives to examples.

This means error messages come out in the right place.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: Understand Creative Commons Zero license.

Public domain for those who don't have it.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

licenses: Add Creative Commons Zero.

http://creativecommons.org/publicdomain/zero/1.0/legalcode

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: remove unused variables.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

rfc822: Index headers by name

Replace the current brute force implementation of
rfc822_next_header_of_name() with one using a hash table to (lazily) index
the header fields by name.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Retrieve header fields by name

This patch adds functions to the rfc822 module to retrieve header fields
of a given name.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Allow bytestring_from_string to be called on NULL

Currently, calling bytestring_from_string(NULL) will result in a SEGV
within strlen().  This patch makes this construct safe, returning
bytestring_NULL, which seems a less surprising result.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Allow test infrastructure to handle headers with minor errors

Currently the test infrastructure for constructing example messages then
parsing them assumes that constructed headers never have errors of any
kind.  That's true so far, but it limits the versatility of this test
apparatus.  This patch extends the infrastructure to allow minor errors
(that is things other than a missing colon) to be handled.  The existing
test data is also extended to include cases which use this.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

ccanlint: fix coverage display for gcov 4.7

David Gibson reports a new format, meaning we didn't show the gcov files
with -vv.

rfc822: Rename RFC822_HDR_BAD_NAME constant

This error constant is actually more specific than the name suggests - it
indicates that a header field name contains characters which are not
permitted in a header field name.  Rename the constant to better reflect
this, likewise rename the testcase based around it.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Rename bad-header test

The run-bad-header.c test in the rfc822 module is actually testing handling
of one specific sort of bad header - a header field which contains no
colon character.  Rename the test and its internal variables to better
reflect this.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Move check_header into helper.c

The check_header() test function will be useful to more than one testcase
so this patch moves it into the common helper.c file.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Add an example program

Add a simple full-blown example program for the rfc822 module.
'headernames' simply dumps the header field name for every header field in
each message file given on the command line to stdout.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

str: add STR_MAX_CHARS().

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list: change license to BSD-MIT.

Approved by all contributors:
https://lists.ozlabs.org/pipermail/ccan/2012-September/000490.html
https://lists.ozlabs.org/pipermail/ccan/2012-September/000488.html
https://lists.ozlabs.org/pipermail/ccan/2012-September/000489.html

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

time: make trivial functions inline

And enhance the documentation a little.

time: add time_check() call and test.

Times can be invalid: non-normalized, or negative.

failtest, tools: update for new timespec-using ccan/time module.

time: use timespec instead of timeval.

It's a superset of struct timeval.  It's also a bit trickier, since we
need -lrt on Linux to use clock_gettime(), and also we can't just cram the
time into a u64 for multiply and divide.

ccanlint: don't remove HAVE_STRUCT_TIMESPEC when testing without features.

If we do have it, and we redefine it, compilation breaks.

configurator: add library testing

In particular, HAVE_CLOCK_GETTIME_IN_LIBRT.

ccanlint: make sure examples get correct -l options.

We intuit the dependencies of embedded examples by looking for #include.
But these extra dependencies may require extra libraries, so we need to
add those, too.

ccanlint: recurse to get -l options.

If a dependent module needs -l options, we don't notice.  Fix that, now
we have one.

tools: more intelligent caching for compile _info.

We let the get_deps() caller hand us the compiled _info filename, but what
about recursive dependencies?  These we re-generate every time.

So fix this: hand a generator callback to get_deps(), expose the one
which simply compiles it, and add a ccanlint one which looks up the
manifest to see if we have one already.

Before:
$ ccanlint -vvvv ccan/failtest | grep -c 'Creating.*_info'
31

After:
$ ccanlint -vvvv ccan/failtest | grep -c 'Creating.*_info'
17

Merge branch 'master' of ozlabs.org:ccan

rfc822: Fix test bugs on 64-bit platforms

This fixes some format string related bugs that show up on 64-bit builds.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Include RFC5322 text for reference

For convenience, check in a copy of the full text of RFC5322 (the latest
revision of RFC822).

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

ccanlint: make depends_accurate test more accurate.

In particular, don't complain on conditional lines.  That's less thorough,
but removes false negatives we have now.

rfc822: Fix bug parsing headers when body begins with linear whitespace

next_header_parse() had a bug which would mis-parse an extra header if the
body of the message began with a linear whitespace character (space or
tab).  This patch fixes it and adds a suitable testcase.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: suppress license warning about failtest.

It's only used for testing, but it's LGPLv3 (vs LGPLv2).  But unless we
suppress it, ccanlint exits with status 1 and my sanity checks stop me from
uploading.

rfc822: new module.

web: fix umask on uploader so it's group readable.

bytestring: new module.

Avoid compiler errors if u32 is defined as a type

Fixes this error:
/hash.h:304:13: error: two or more data types in
declaration specifiers

antithread, failtest: use ccan/err instead of err.h.

opt: avoid using err.h.

Seems it's not available on Solaris.

err: actually implement replacement versions!

This is where you see the genius of the originals: you can't implement them
without horrible hacks to get the program name :(

Merge branch 'master' of ozlabs.org:ccan

configurator: add HAVE_ERR_H test.

ccan/err: new err.h-replacing module.

Seems like Solaris doesn't have err.h, as discovered by Samba.

tools/create-ccan-tree: Add basic waf support

This adds a "waf" buildtype to create-ccan-tree. When passed it
generates a basic wscript for building everything into a libccan.a

It doesn't support running the generator, so you need to provide
config.h

Signed-off-by: Michael Ellerman <michael@ellerman.id.au>
Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

tools/create-ccan-tree: Add --build-type=automake

Add a new build type to create an appropriate Makefile.am for the
newly-created ccan tree.

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

tools/create-ccan-tree: Add --build-type=TYPE

Replace the --exclude-configurator argument with a
single --build-type=TYPE argument, allowing future expansion of build
system types (and allowing source-tree-only creation). We currently
support:

 * 'make' (just the Makefile, equivalent to --exclude-configurator)
 * 'make+config' (current default)

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

tools/create-ccan-tree: replace --exclude-tests with --copy-all option

Rather than explicitly excluding the tests, just copy the source files
by default. Add an option (--copy-all) to include all of the non-source
stuff in each module.

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

tools: ccan_depends requires a config.h

Commit a77cc282 causes tools/create-ccan-tree to fail, as it can't build
tools/ccan_depends (via `make tools/ccan_depends`) without a
configuration header present.

This change adds a dependency on config.h, so that the configurator
kicks-in prior to building ccan_depends.o.

Other tools don't need this dependency, as tools/ccan_depends is built
during the Makefile 'include' process.

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

config.h: don't include in git repository.

We create and upload an example for the web anyway, if people really need it.

tools: Add create-ccan-tree utility

Add a script to create a ccan source tree for inclusion into projects'
distributed code.

create-ccan-tree takes a list of ccan modules and copies them, plus any
dependent modules, into a target directory. Enough build infrastructure
is added to build libccan.a from the ccan modules.

Typical usage for my project that uses talloc and read-write-all:

  lib/ccan.git/tools/create-ccan-tree --exclude-tests \
lib/ccan/ talloc read-write-all

- this uses a git submodule in $PWDlib/ccan.git to create a source tree
in $PWD/lib/ccan, containing code for talloc and read-write-all.

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

asort: fix test when typesafe_cb not supported.

Solaris CC seems to support typeof, but not __builtin_types_compatible_p.

cast: make sure suncc sees a constant.

cast_const() et. al. are supposed to be a constant expression, so you can do things like:
static char *p = cast_const(char *, (const char *)"hello");

Unfortunately, a cast to intptr_t and arithmetic makes suncc reject it as
a constant expression.  We need the cast, because (1) the expression could be
a void *, so we can't just add to it, and (2) gcc complains with -Wcast-qual
without it.

So instead of adding BUILD_BUG_OR_ZERO, we use a ? :, which keeps everyone happy.

ccan_tokenizer: don't assume __VA_ARGS__ can be empty.

That's a gcc extension.

cast: test/compile_fail-cast_static.c should fail without COMPOUND_LITERALS.

It still gave a warning on gcc, because casting a char to a char* gives a warning.  Not so on sun CC.

ccanlint: module_links test must link with module.

Gcc doesn't include unused inline functions, even without -O, but Solaris CC
does, so fails to link block_pool where one inline function refers to a
non-inline function.

asprintf: #include <stdarg.h> in test/run.c

We get away with it on Linux, not on Solaris.

ccanlint: tests_compile_coverage needs GCC.

We only support gcc/gcov so far.

ccanlint: add ilog dependency.

This only matters on non-gcc, where ilog functions are not just mapped to builtins.

tap: assume variadic macros.

The Sun C compiler has them, but fails this overzealous check.

opt: fix Solaris compile.

Need sys/termios.h for struct winsize.

iscsi: use <sys/filio.h> on Solaris.

Needed for FIONREAD.