tdb2: clarify locking heirarchy; hashes, freelist, then expand lock.

tdb2: fix run-summary test

(Was succeeding in finding "Free bucket 8" string, because of "Free bucket 80:".

opt: list ccan/typesafe_cb as a dependency.

ccanlint: use opt package.

Now we get long options!

opt: add opt_log_stderr_exit helper, and opt_usage NULL option.

The former encapsulates a common "just exit on error" case, the latter
avoids having to repeat the extra usage string.

(We actually would have crashed before if someone passed NULL there, even
 though the documentation said you could).

opt: fix example to compile.

opt: remove gratuitous { } in initializers.

A little less typing for users.

compiler, list, noerr, sparse_bsearch, str, str_talloc, stringmap, talloc_link, tdb, tdb2, typesafe_cb: fix examples

Phew, now they call compile!

ccanlint: yet more modifications to example extraction and compile.

Now (with fixes) every ccanlint example compiles!

ccanlint: rename files on collision even with keep=true.

tools: fix bug in doc-extract, handle spaces in summary line

      /**
       * struct foo - some description

So, <identifier> here can have a space in it.

compiler, talloc: warn if return from realloc-like functions isn't used.

This hit my doc extraction tool, so fix it!

tdb: fixed unitialized vars.

tdb2: fix uninitialized var.

modules: update documentation examples so they compile under ccanlint.

This is everything up to the list module... now it's time for sleep.

ccanlint: yet more heuristics for compiling examples.

Including intuiting ccan depends based on headers...

array: fix example compile.

hash: fix examples so they compile.

talloc: fix examples so they compile.

opt: fix examples so they compile.

alloc: fix examples so they compile.

tap: make examples compilable by ccanlint.

In particular, we can assume "somefunc()" exists in our examples.

ccanlint: more heuristics for compiling examples.

Try to glue consecutive examples together if all else fails (works well for
ccan/alloc/alloc.h).  This means we should put examples into list in order.

tools: "See Also:" can be a section in documentation, so allow it.

ccanlint: more heuristics for compiling examples.

These are from hash: the entire example is indented, there is no main(), and
there are unused static functions.

ccanlint: really fix failing test logic.

Some of the compulsory tests don't have a total_score; treat that as "1".
And don't print out a score if the total is <= 1.

ccanlint: link api tests against compiled objects

Don't assume that ../modulename.o already built!

ccanlint: add somefunc() to help examples compile.

And don't require the module.o to already exist: link against generated .o files.

ccanlint: actually try to compile examples.

Includes primitive attempt to place fragments into appropriate framework to
compile them.

ccanlint: load file contents on demand, fix names for extracted examples.

We had example names like "example-opt.h-opt_parse", which got trimmed to
"example-opt".  By using a basename of example-opt.h-opt_parse.c, we only
strip the final ".c" not the middle ".h".

ccanlint: make sure we stop on failure of compulsory test.

ccanlint: fix -k has_examples

opt: fix warnings with gcc and -O.

opt: minor API tweaks.

Don't allow NULL descs, and put them in macro.  Users can use "", but make
sure it's explicit, not an accidental omission.
Use errx() instead of assert() for API usage errors.
Rename opt_flags to opt_type.

opt: allow parameter names in arguments.

opt: remove unused debug function and code, test a few more corner cases.

opt: clarify option iteration a little.

I still don't like the duplication, but it's clearer and not much longer.

opt: fix reporting of arguments when multiple arguments exist.

longidx is not updated in this case.  We should open-code option parsing.

opt: Put actual options inside names.

This is more explicit than separate short and long (great for grep!) and
simpler.

opt: add support for showing default value.

opt: new module to parse commandline options.

compiler: use everywhere.

This includes renaming ATTRIBUTE_UNLIKELY_FUNCTION to ATTRIBUTE_COLD,
and removing unlikely_func macro from ccan/likely.

read_write_all: use calloc instead of huge stack var in tests.

Valgrind was giving a spurious error.

ogg_to_pcm: fix build.

noerr: don't leave tmpnam entries in /tmp in tests.

tdb2: another test.

tdb2: make sure summary always has a graph in it.

We were getting occasional failures: if all values are the same it's a 1-line
graph and there's no "|" anywhere.

config: more attributes defined.

compiler: header for compiler-specific wrappers.

Currently they sit in each module.

ccanlint: handle gcov where there's actually no C code

Macro packages do this.

antithread: flesh out _info, update licence to GPLv3.

antithread: update example Makefile and arabella example.

alloc: fix case where poolsize is not a power of 2.

hash: fix overrun in test code.

tools/ccanlint: extract examples in separate test.

This is a precursor to doing something useful with them.

alloc: fix uninitialized entry (thanks valgrind!)

tdb2: tools/

As per-tdb's tools.

tdb: separate key and data size summary in tdb_summary().

tdb2: tdb_summary() implementation for tdb2.

tdb2: Move min size constant out where summary.c can see it.

tdb2: don't use probe arg to oob()

We want it to complain if it's wrong...

tdb: use optimal tally size for summary histograms.

tally: invert histograms so maximum is on top.

tally: don't add extra bucket unless buckets == 0

That way we match our comment about optimal tally_new() arg matching histogram height.

tally: simplify, add Y axis to graph.

tdb: implement tdb_summary.

Including pretty graphs!

tally: implement tally_total()

Not as trivial as you might think, with overflow and underflow.

tdb: TDB_INCOMPATIBLE_HASH, to allow safe changing of default hash.

This flag to tdb_open/tdb_open_ex effects creation of a new database:
1) Uses the Jenkins lookup3 hash instead of the old gdbm hash if none is
   specified,
2) Places a non-zero field in header->rwlocks, so older versions of TDB will
   refuse to open it.

This means that the caller (ie Samba) can set this flag to safely
change the hash function.  Versions of TDB from this one on will either
use the correct hash or refuse to open (if a different hash is specified).
Older TDB versions will see the nonzero rwlocks field and refuse to open
it under any conditions.

tdb: automatically identify Jenkins hash tdbs

If the caller to tdb_open_ex() doesn't specify a hash, and tdb_old_hash
doesn't match, try tdb_jenkins_hash.

This makes life simpler, especially with the upcoming TDB_INCOMPATIBLE_HASH
flag.

tdb: add Bob Jenkins lookup3 hash as helper hash.

This is a better hash than the default: shipping it with tdb makes it easy
for callers to use it as the hash by passing it to tdb_open_ex().

tdb: add mktdb tool.

tally: new module for tallying numbers.

tools: restore -Wmissing-prototypes -Wmissing-declarations

tdb: fix test helper to include own header, fix function definition.

tdb2: add missing prototype, move tdb_firstkey/tdb_nextkey to traverse.c

tdb2: implement tdb_firstkey/tdb_nextkey.

tdb2: add tdb_errorstr(), clean up error codes.

Also remove TDB_DISALLOW_NESTING flag, since that's the default now.

tdb2: update design doc.

tdb: put example hashes into header, so we notice incorrect hash_fn.

This is Stefan Metzmacher <metze@samba.org>'s patch with minor
changes:
1) Use the TDB_MAGIC constant so both hashes aren't of strings.
2) Check the hash in tdb_check (paranoia, really).
3) Additional check in the (unlikely!) case where both examples hash to 0.
4) Cosmetic changes to var names and complaint message.

tdb: fix tdb_check() on other-endian tdbs.

We must not endian-convert the magic string, just the rest.

tdb: fix tdb_check() on read-only TDBs to actually work.

But make sure we can still do tdb_check() inside a transaction (weird,
but we previously allowed it).

tdb: support tdb_check() on r/o databases.

(Imported from SAMBA commit bc1c82ea137e1bf6cb55139a666c56ebb2226b23)

Author: Jeremy Allison <jra@samba.org>
Date:   Wed Jul 28 05:15:40 2010 -0700

Fix tdb_check() to work with read-only tdb databases. The function tdb_lockall() uses F_WRLCK internally, which doesn't work on a fd opened with O_RDONLY. Use tdb_lockall_read() instead.

Jeremy.

alloc: No need for tiny.c to be executable.

ccanlint: append NULL terminator to generated dependencies.

Interestingly, valgrind didn't even notice.  But it crashed on (some) PowerPC.

tdb2: fix remapping inside tdb_traverse_read

Because we (temporarily!) marked the tdb read_only=true, any remap would
mmap PROT_READ, and the next store would SEGV.

Pulled in more test infrastructure from tdb.

tdb: missing files from checkin.

tdb: unify logging code in test dir.

tdb: make check more robust against recovery failures.

We can end up with dead areas when we die during transaction commit;
tdb_check() fails on such a (valid) database.

This is particularly noticable now we no longer truncate on recovery;
if the recovery area was at the end of the file we used to remove it
that way.

tdb: rewrite external agent for testing.

For locking and transaction tests, we need an external process to probe the
tdb.  This code was a mess, and unreliable (occasional failures).  Rewrite
it so that instead of blocking and using SIGALRM, we mug fcntl and force
non-blocking locks.  We use a special return to day "I couldn't because
the lock wasn't available".

I also made the operations clearer and more orthogonal rather than "what
we needed for each test" which was really hard to understand.

It turns out those occasional failures weren't spurious.  Next patch!

tdb: enforce hashing, via example hash in old rwlocks entry in header.

This means that older code will not be able to open new TDBs with
a non-default hash, *even* if they are using the correct hash.
Non-default hashes were unusual, but now SAMBA is considering using
a non-default hash, and avoiding corruption seems more important
than backwards compatibility for an obscure case.

tdb: test that new-style TDBs with non-default hashes can't be opened.

We currently allow opening of a TDB without any idea if we're using the
right hash function.  Since most people use the default, this hasn't been
a big issue.

The next change will put an example hash value in the rwlocks field in
the header: current TDB already refuses to open a TDB with this field
non-zero.  This commit simply adds tests that that occurs.

ccanlint: use familiar names for temporary files, show them with -vv.

ccanlint: don't run valgrind tests in test dir.

We changed other tests to run in our tmpdir, missed this one.

ccanlint: print out compile targets for -vv.

ccanlint: allow _info file to specify tests not to bother with.

I also changed -x to be specified multiple times rather than using , separators.

tdb: new command openjh for tdbtool (to use Jenkins hash)

tdb2: don't hold access to tdb mmap during traverse.

tdb2: change to using a hash tree.

As the locking issues with enlarging a hash were so nasty, we switch to a
tree structure for the entries.  It's a hash which expands to point to
sub-hashes when it fills.

This means we no longer have a 'volatile' header: the top hash cannot move.
In fact, we no longer store a copy of the header in the tdb_context; we only
need hash_seed.

New helper functions for accessing writable areas and committing the results
(if they had to be copied).  New debug test to make sure we don't hold access
while we're doing something which could cause us to unmap/remap.

Find becomes more complicated: we need to track where we found (or didn't
find) an entry so we can easily add/delete it.

Traverse becomes more complicated: we need to track where we were in the
hash tree.

tdb2: update documentation.

Makefile: separate out junkpages target.