time: remove unused var warning in example.

Compiler:
/home/rusty/devel/cvs/ccan/ccan/time/time.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/time/time.h:334:16: warning: variable ‘tv’ set but not used [-Wunused-but-set-variable]

Compiler:
/home/rusty/devel/cvs/ccan/ccan/time/time.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/time/time.h:353:17: warning: variable ‘ts’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc: remove const warning in _info example.

Compiler:
/home/rusty/devel/cvs/ccan/ccan/talloc/_info: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/talloc/_info:84:9: warning: passing argument 2 of ‘open_output_cmd’ discards ‘const’ qualifier from pointer target type [enabled by default]
/home/rusty/devel/cvs/ccan/ccan/talloc/_info:52:24: note: expected ‘char *’ but argument is of type ‘const char *’

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list: fix unused var warning.

/home/rusty/devel/cvs/ccan/ccan/list/list.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/list/list.h:280:15: warning: variable ‘first’ set but not used [-Wunused-but-set-variable]

/home/rusty/devel/cvs/ccan/ccan/list/list.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/list/list.h:304:15: warning: variable ‘last’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lbalance: fix unused var warning.

/home/rusty/devel/cvs/ccan/ccan/lbalance/lbalance.c:Compiling object files gave warnings:
/home/rusty/devel/cvs/ccan/ccan/lbalance/lbalance.c: In function ‘best_target’:
/home/rusty/devel/cvs/ccan/ccan/lbalance/lbalance.c:245:18: warning: variable ‘best’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

foreach: remove unused var warning.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crcsync: fix memory leak in tests.

/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c:==6923== 112 bytes in 1 blocks are definitely lost in loss record 2 of 3
==6923==    at 0x402BA7A: malloc (vg_replace_malloc.c:261)
==6923==    by 0x80492EE: crcblocks (run-crash.c:20)
==6923==    by 0x8049448: main (run-crash.c:62)
==6923== 2,217 (2,212 direct, 5 indirect) bytes in 1 blocks are definitely lost in loss record 3 of 3
==6923==    at 0x402BA7A: malloc (vg_replace_malloc.c:261)
==6923==    by 0x8048AA0: crc_context_new (crcsync.c:85)
==6923==    by 0x8049476: main (run-crash.c:64)

/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run.c:==11793== 512 bytes in 1 blocks are definitely lost in loss record 1 of 2
==11793==    at 0x402A52B: calloc (vg_replace_malloc.c:462)
==11793==    by 0x8049A3F: main (run.c:128)
==11793== 512 bytes in 1 blocks are definitely lost in loss record 2 of 2
==11793==    at 0x402A52B: calloc (vg_replace_malloc.c:462)
==11793==    by 0x8049A57: main (run.c:129)

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crcsync: fix constness warning.

/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c:Compile gave warnings:
/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c:30:3: warning: initialization discards ‘const’ qualifier from pointer target type [enabled by default]
/home/rusty/devel/cvs/ccan/ccan/crcsync/test/run-crash.c:35:3: warning: initialization discards ‘const’ qualifier from pointer target type [enabled by default]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crc: remove gratuitous trailing whitespace.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

check_type: remove gratuitous trailing whitespace.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

alloc: remove valgrind warning from test.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

alignof: fix unused var warning with gcc

/home/rusty/devel/cvs/ccan/ccan/alignof/test/run.c:32:7: warning: variable ‘c2’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

str: fix unused var warning with gcc

Compiler:
/home/rusty/devel/cvs/ccan/ccan/str/str.h: In function ‘main’:
/home/rusty/devel/cvs/ccan/ccan/str/str.h:69:5: warning: variable ‘i’ set but not used [-Wunused-but-set-variable]

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: add #line directives to examples.

This means error messages come out in the right place.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: Understand Creative Commons Zero license.

Public domain for those who don't have it.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

licenses: Add Creative Commons Zero.

http://creativecommons.org/publicdomain/zero/1.0/legalcode

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: remove unused variables.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

rfc822: Index headers by name

Replace the current brute force implementation of
rfc822_next_header_of_name() with one using a hash table to (lazily) index
the header fields by name.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Retrieve header fields by name

This patch adds functions to the rfc822 module to retrieve header fields
of a given name.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Allow bytestring_from_string to be called on NULL

Currently, calling bytestring_from_string(NULL) will result in a SEGV
within strlen().  This patch makes this construct safe, returning
bytestring_NULL, which seems a less surprising result.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Allow test infrastructure to handle headers with minor errors

Currently the test infrastructure for constructing example messages then
parsing them assumes that constructed headers never have errors of any
kind.  That's true so far, but it limits the versatility of this test
apparatus.  This patch extends the infrastructure to allow minor errors
(that is things other than a missing colon) to be handled.  The existing
test data is also extended to include cases which use this.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

ccanlint: fix coverage display for gcov 4.7

David Gibson reports a new format, meaning we didn't show the gcov files
with -vv.

rfc822: Rename RFC822_HDR_BAD_NAME constant

This error constant is actually more specific than the name suggests - it
indicates that a header field name contains characters which are not
permitted in a header field name.  Rename the constant to better reflect
this, likewise rename the testcase based around it.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Rename bad-header test

The run-bad-header.c test in the rfc822 module is actually testing handling
of one specific sort of bad header - a header field which contains no
colon character.  Rename the test and its internal variables to better
reflect this.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Move check_header into helper.c

The check_header() test function will be useful to more than one testcase
so this patch moves it into the common helper.c file.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Add an example program

Add a simple full-blown example program for the rfc822 module.
'headernames' simply dumps the header field name for every header field in
each message file given on the command line to stdout.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

str: add STR_MAX_CHARS().

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list: change license to BSD-MIT.

Approved by all contributors:
https://lists.ozlabs.org/pipermail/ccan/2012-September/000490.html
https://lists.ozlabs.org/pipermail/ccan/2012-September/000488.html
https://lists.ozlabs.org/pipermail/ccan/2012-September/000489.html

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

time: make trivial functions inline

And enhance the documentation a little.

time: add time_check() call and test.

Times can be invalid: non-normalized, or negative.

failtest, tools: update for new timespec-using ccan/time module.

time: use timespec instead of timeval.

It's a superset of struct timeval.  It's also a bit trickier, since we
need -lrt on Linux to use clock_gettime(), and also we can't just cram the
time into a u64 for multiply and divide.

ccanlint: don't remove HAVE_STRUCT_TIMESPEC when testing without features.

If we do have it, and we redefine it, compilation breaks.

configurator: add library testing

In particular, HAVE_CLOCK_GETTIME_IN_LIBRT.

ccanlint: make sure examples get correct -l options.

We intuit the dependencies of embedded examples by looking for #include.
But these extra dependencies may require extra libraries, so we need to
add those, too.

ccanlint: recurse to get -l options.

If a dependent module needs -l options, we don't notice.  Fix that, now
we have one.

tools: more intelligent caching for compile _info.

We let the get_deps() caller hand us the compiled _info filename, but what
about recursive dependencies?  These we re-generate every time.

So fix this: hand a generator callback to get_deps(), expose the one
which simply compiles it, and add a ccanlint one which looks up the
manifest to see if we have one already.

Before:
$ ccanlint -vvvv ccan/failtest | grep -c 'Creating.*_info'
31

After:
$ ccanlint -vvvv ccan/failtest | grep -c 'Creating.*_info'
17

Merge branch 'master' of ozlabs.org:ccan

rfc822: Fix test bugs on 64-bit platforms

This fixes some format string related bugs that show up on 64-bit builds.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: Include RFC5322 text for reference

For convenience, check in a copy of the full text of RFC5322 (the latest
revision of RFC822).

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

ccanlint: make depends_accurate test more accurate.

In particular, don't complain on conditional lines.  That's less thorough,
but removes false negatives we have now.

rfc822: Fix bug parsing headers when body begins with linear whitespace

next_header_parse() had a bug which would mis-parse an extra header if the
body of the message began with a linear whitespace character (space or
tab).  This patch fixes it and adds a suitable testcase.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

rfc822: suppress license warning about failtest.

It's only used for testing, but it's LGPLv3 (vs LGPLv2).  But unless we
suppress it, ccanlint exits with status 1 and my sanity checks stop me from
uploading.

rfc822: new module.

web: fix umask on uploader so it's group readable.

bytestring: new module.

Avoid compiler errors if u32 is defined as a type

Fixes this error:
/hash.h:304:13: error: two or more data types in
declaration specifiers

antithread, failtest: use ccan/err instead of err.h.

opt: avoid using err.h.

Seems it's not available on Solaris.

err: actually implement replacement versions!

This is where you see the genius of the originals: you can't implement them
without horrible hacks to get the program name :(

Merge branch 'master' of ozlabs.org:ccan

configurator: add HAVE_ERR_H test.

ccan/err: new err.h-replacing module.

Seems like Solaris doesn't have err.h, as discovered by Samba.

tools/create-ccan-tree: Add basic waf support

This adds a "waf" buildtype to create-ccan-tree. When passed it
generates a basic wscript for building everything into a libccan.a

It doesn't support running the generator, so you need to provide
config.h

Signed-off-by: Michael Ellerman <michael@ellerman.id.au>
Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

tools/create-ccan-tree: Add --build-type=automake

Add a new build type to create an appropriate Makefile.am for the
newly-created ccan tree.

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

tools/create-ccan-tree: Add --build-type=TYPE

Replace the --exclude-configurator argument with a
single --build-type=TYPE argument, allowing future expansion of build
system types (and allowing source-tree-only creation). We currently
support:

 * 'make' (just the Makefile, equivalent to --exclude-configurator)
 * 'make+config' (current default)

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

tools/create-ccan-tree: replace --exclude-tests with --copy-all option

Rather than explicitly excluding the tests, just copy the source files
by default. Add an option (--copy-all) to include all of the non-source
stuff in each module.

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

tools: ccan_depends requires a config.h

Commit a77cc282 causes tools/create-ccan-tree to fail, as it can't build
tools/ccan_depends (via `make tools/ccan_depends`) without a
configuration header present.

This change adds a dependency on config.h, so that the configurator
kicks-in prior to building ccan_depends.o.

Other tools don't need this dependency, as tools/ccan_depends is built
during the Makefile 'include' process.

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

config.h: don't include in git repository.

We create and upload an example for the web anyway, if people really need it.

tools: Add create-ccan-tree utility

Add a script to create a ccan source tree for inclusion into projects'
distributed code.

create-ccan-tree takes a list of ccan modules and copies them, plus any
dependent modules, into a target directory. Enough build infrastructure
is added to build libccan.a from the ccan modules.

Typical usage for my project that uses talloc and read-write-all:

  lib/ccan.git/tools/create-ccan-tree --exclude-tests \
lib/ccan/ talloc read-write-all

- this uses a git submodule in $PWDlib/ccan.git to create a source tree
in $PWD/lib/ccan, containing code for talloc and read-write-all.

Signed-off-by: Jeremy Kerr <jeremy.kerr@canonical.com>

asort: fix test when typesafe_cb not supported.

Solaris CC seems to support typeof, but not __builtin_types_compatible_p.

cast: make sure suncc sees a constant.

cast_const() et. al. are supposed to be a constant expression, so you can do things like:
static char *p = cast_const(char *, (const char *)"hello");

Unfortunately, a cast to intptr_t and arithmetic makes suncc reject it as
a constant expression.  We need the cast, because (1) the expression could be
a void *, so we can't just add to it, and (2) gcc complains with -Wcast-qual
without it.

So instead of adding BUILD_BUG_OR_ZERO, we use a ? :, which keeps everyone happy.

ccan_tokenizer: don't assume __VA_ARGS__ can be empty.

That's a gcc extension.

cast: test/compile_fail-cast_static.c should fail without COMPOUND_LITERALS.

It still gave a warning on gcc, because casting a char to a char* gives a warning.  Not so on sun CC.

ccanlint: module_links test must link with module.

Gcc doesn't include unused inline functions, even without -O, but Solaris CC
does, so fails to link block_pool where one inline function refers to a
non-inline function.

asprintf: #include <stdarg.h> in test/run.c

We get away with it on Linux, not on Solaris.

ccanlint: tests_compile_coverage needs GCC.

We only support gcc/gcov so far.

ccanlint: add ilog dependency.

This only matters on non-gcc, where ilog functions are not just mapped to builtins.

tap: assume variadic macros.

The Sun C compiler has them, but fails this overzealous check.

opt: fix Solaris compile.

Need sys/termios.h for struct winsize.

iscsi: use <sys/filio.h> on Solaris.

Needed for FIONREAD.

alloc: fix return of void.

Sun CC complains.

tools: don't use __attribute__

We have compiler.h for that.

tools: fix bogus unreachable return.

tools/configurator: fix test for /proc/self/maps.

Header file was wrong, suncc gives warning about missing open prototype, causing configurator to fail.

Makefile: generate config.h in two stages

This means we don't create an empty file if configurator fails.

failtest: compile fix for OpenBSD

OpenBSD doesn't idempotent-wrap sys/mman.h, so when we #define mmap to
an alternative, it fails to compile when sys/mman.h is included again.

Workaround is not to #define mmap to add arguments on Open BSD.

Merge branch 'ccantool'

tools: move config.h reading to its own file

Move ccan_dir determination out to its own function, rather than implying it
by the first time we get the manifest of a module.

tools: explicit find_ccan_dir()

Move ccan_dir determination out to its own function, rather than implying it
by the first time we get the manifest of a module.

ccanlint: handle -x correctly with multiple modules.

After the first module we were resetting even the excluded tests, which caused
a segfault as they weren't initialized.

tools: determing ccan directory differently

Don't assume it's two levels above the module dir, instead look for
last "/ccan/" in path.  This is an incremental step towards nested
module directories.

tools: split out manifest from ccanlint

Other tools will soon want to use this, so make it independent.
(eg. ccantool).

tdb2: remove: it's now in SAMBA where it belongs.

htable: fix bug where first entry has hash of 0 or 1.

Thanks to Zoltán Lajos Kis for the bug report and test case!

failtest: don't assume FD_SETSIZE is maximum runtime fd.

This breaks when rlimit is less.  Unfortunately, valgrind (32 bit x86,
3.7.0.SVN, Ubuntu) fails to set the file limit properly on the test:
reducing it to the obvious getrlimit/setrlimit/getrlimit works fine,
so leaving diagnostics for another day.

ttxml: made alloc failure consistent - return NULL

ttxml: removed cruft from tests

ttxml: fixed license test

tdb: delete from CCAN.

This was an early experiment in putting code into CCAN, but TDB is a public
library distributed as part of the Samba sources; there is no reason to
publish it here (especially now the unit tests are also in Samba).

configurator: define HAVE_CCAN.

An interesting case came up with the tdb2 code in SAMBA recently.  It's a
public library, and it doesn't want to be dependent on CCAN, but the header
uses cast and typesafe_cb for extra type safety.

A good solution to this is to put dummy versions under !HAVE_CCAN.  Of course,
any CCAN config.h should define HAVE_CCAN.

tdb2: copy tdb1's changed expansion logic.

TDB2 uses the same expansion logic as TDB1, which got factored out
recently.  So update TDB2 to match.

tdb2: tdb1: use same expansion factor logic when expanding for new recovery area.

If we're expanding because the current recovery area is too small, we
expand only the amount we need.  This can quickly lead to exponential
growth when we have a slowly-expanding record (hence a
slowly-expanding transaction size).

(Syncs with tdb1 SAMBA patch 3a2a755e3380a8f81374009d463cd06161352507)

tdb2: Avoid a malloc/memcpy in _tdb1_store
(Syncs tdb2 with SAMBA tdb1's 664add17757836c5ee98618aef11371f412b6e44)

tdb2: careful on wrap.

It's much harder to wrap a 64-bit tdb2 than a 32-bit tdb1, but we should still
take care against bugs.

Also, we should *not* cast the length to a size_t when comparing it to
the stat result, in case size_t is 32 bit.

tdb2: be more careful on 4G files (tdb1).

I came across a tdb which had wrapped to 4G + 4K, and the contents had been
destroyed by processes which thought it only 4k long.  Fix this by checking
on open, and making tdb_oob() check for wrap itself.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
(Ported from tdb1 SAMBA commit b64494535dc62f4073fc6302847593ed6e6ec38b)

tdb: don't free old recovery area when expanding if already at EOF.

We allocate a new recovery area by expanding the file.  But if the
recovery area is already at the end of file (as shown in at least one
client case), we can simply expand the record, rather than freeing it
and creating a new one.

tdb: use same expansion factor logic when expanding for new recovery area.

If we're expanding because the current recovery area is too small, we
expand only the amount we need.  This can quickly lead to exponential
growth when we have a slowly-expanding record (hence a
slowly-expanding transaction size).

tdb: test exponential recovery expansion problem.

opt: much prettier usage (using terminal size)

opt: handle -Wcast-qual warnings.