Partial ordering of traverses: reduces number of deadlocks by factor of 10.

Fix logic bug; we weren't checking last requirement in sort_deps.

Implement timeout for the deadlock of traverse & transactions.
This has proven to be intractible: various attempts to eliminate have failed, so detect at runtime and cease the traversal (and do the remaining ops outside a traverse).

Open database with TDB_NOSYNC to speed it up a little.

Fix sequence logic bug, and satisfies() logic fix/cleanup.

Handle transactions!
Note: we can still deadlock on traversal vs transaction corner cases.
We handle transactions as single operation, which it logically is.

Fix sequence numbers when tracing transaction.
If we do the trace inside the lock, we show the actual sequence number when the transaction started.

Insert (implied) transaction cancel on tdb_close/EOF.
Also changes first member of transaction to have valid start_group field,
and fix outdated comment.

Print seq numbers on timeout dump
(Invasive: means passing full op array all the way through).

Fix early transaction unlock when traverse done inside transaction.
Generalizes traverse in traverse fix from rusty@rustcorp.com.au-20090629073630-3eduhyypx2tp6u80

Fix null ptr deref on TDB_TRACE with internal db.

Remove trivial traverse code, simplify.
We now use the "group_len" field for both transactions and traversals.

Fix logic bug in optimizer, and fix up DEBUG_DEPS compile.

More dependency optimization: seems to happen with transactions enabled.

More general solution for serial number misorders.
Make sort_deps more efficient, and also only alter order when necessary.  This means by default we run in serial number order, only going outside when we detect a dependency.
Maintain trace file order in original sort, so sort_deps doesn't mess it up.

We still need serial numbers: sort_deps can have multiple solutions for a single key, but these may deadlock with the ordering requirements of other keys.  By sticking close to the actual order (ie. serial order), we minimize the chance of this happening.

Optimize to reduce extraneous dependencies.
In my tdbtorture -n 4 example trace, this reduces from 14493 to 3210 dependencies, but doesn't make any measurable improvement in the time.  Still, it's simple to do and might make a difference for larger sets.

Belated checkin of keywords.

Simplify dependencies by passing pointers over the pipe: avoid O(n^2) behaviour for searching.
Also, using a single structure makes talloc_free convenient for when we do optimization.

Slightly more sophisticated dependency generation: fixes traverse interaction.

Missed part of patch.

Get more sophisticated with resolving duplicate serial numbers.
Still deadlocks in one case, due to spurious dependencies inside traversals.  See next commit.

Traverses seem to work now.  Also, much better reporting of deadlocks.

First attempt at transactions & traverse (deadlocks still).

Fix uninitialized var.

... and fix up keyword list.

Fix last minute warning "fix" in replay_trace.c, remove seqnum inc tracing.

Better tdb tracing, start of decent replay_trace.

const addition changes from brian, awfulhak.org

More junkcode!

New junkcode.

Torture harder: random ops inside traverses.

Don't make assumptions about traverse order, and prove it by using a different hash.

Handle tracing on internal dbs.

Fix traverse nesting unlock bug.

zero-append test for tdb.

Fix append of zero-length records to zero-length records.
realloc() has that horrible overloaded free semantics.

Fix theoretical problem with 0-length records.
By faking them out to length 1, we might go oob.  Just fake the malloc.

First cut of replay_trace for tdb.

Tracing for tdb operations.

ccanize tdb further, and add simple test.

First step to ccanizing TDB.

Initial TDB import.

Convert to 64 bit crcs: change semantics of crcbits field to be *upper* not *lower* bits.

Implement a (poor?) 64-bit CRC.

64-bit CRC code.

Fix ubuntu "ignoring return value" warnings.

Implementation of auto-depends, based on Idris's start.

Many list funcs should work with constant lists.

merge

New junkcode.

Updated array module to version 0.1.1 .
Important change:  array_pop no longer checks if the array has elements; use array_pop_check in its place.

Rename _info.c to _info: this means we can simple compile *.c.

Move ccanlint tests into subdirectories.

Make ccanlint tests all positive: ie. "has _info.c file: FAILED".

From: Joseph Adams <joeyadams3.14159@gmail.com>

I have given my array module a makeover (see attached
array-0.1.tar.bz2 ).  Major changes are:

* All the macros have been renamed to flat array_* names.  Instead of
Array, AInit, AAppend, etc., it is now array, array_init,
array_append, etc..  This will obviously break any applications
already using the array module (if any); 'renames' is the list of sed
commands I used to make the name changes.
* array (by default) now uses talloc functions instead of regular
malloc/realloc/free.
* All of the array macros have tests now.

Joey's patch to ignore ccan/ lines in #include.

Joey's template fixes.

Store pristine contents of files: based on Joey's patch.

More junkcode!

New junkcode!

Daemonize test.

daemonize module

Stephen: "It's portaudio, not libvorbis that needs version >= 19."

Allow things without test/ dirs to be modules.
Allow versions on dependencies.
Display external dependencies on info pages.

New module wwviaudio.
Also, add external depends to ogg_to_pcm.

Module from smcameron@yahoo.com:
- Deleted test/ dir, since it was a noop.

Delete moved file.

Change arguments to crcsync code.

Fix missing include in isaac's _info.c

Joseph Adams updates to polynomial.

Add ability for _info to specify libraries (particularly, -lm).

Fix struct line spacing (opening bracked on same line is Linux standard)

Change link naming to vastly prefer -with-deps download.

Joey found a bug.  Bad Rusty, use sentinal attribute.

Enhance crcsync test suite.

crcsync change: better detection of final block.

Tim Post's iniparser module.

New polynomial module (not quite CCAN format).

Handle where _GNU_SOURCE already defined.
Reported by Tim Post.

New test and fixes to crcsync.

64-bit fix (reported by Alex Wulms)

crcsync byte-at-a-time test reveals flaws in buffer handling.
(Reported by Alex Wulms <alex.wulms@scarlet.be>)

Joey's array module.

Enhance file_analysis preprocessor a little more, use in idempotent test.

Somewhat decent cpp analysis for ccanlint.

Another Joey fix:
(15:30:58) joeyadams: Also, ccanlint detects "trailing newlines" on empty lines.  Is this a bug, or is
it policy?
(15:52:03) joeyadams: In my code, I like to keep blank lines in my routines indented to the associated
level so automatic indent will apply there

Patch from Joey Adams:
(15:27:11) joeyadams: ccanlint's handle_no_tests apparently has a bug.  It makes the test directory with
0600 permissions, so it can't be used.  the x bit provides directory listing privilege
(15:27:25) joeyadams: this gives me Permission denied when I try to run it
(15:28:34) joeyadams: Changing the opcode to 0700 makes the creation of run.c work

Handle spaces in filenames for junkcode.

Add Tim's mail.

New junkcode from Tim.

Restore info pages.

Fix warnings for isaac w/ gcc4.1.
Given the types used (uint32_t and uint64_t) many of the masks are unnecessary.
But mainly moving the bit extraction into separate inline functions means the
code is a bit clearer, and we only need to bracket one place.
But because these helpers shared the same names, I split the 32 and
64-bit tests.

Fix warnings for ilog (see below) gcc 4.1, and testsuite fixes.
(1) Include ilog.h header first (checks that it doesn't need anything else)
(2) Include ilog.c (only api tests don't need this).

Here are the warnings with gcc 4.1:
Running gcc -O3 -Wall -Wundef -Wstrict-prototypes -Wold-style-definition -Wmissing-prototypes
-Wmissing-declarations -Werror -Iccan/ -I.  -o ccan/ilog/test/run ccan/ilog/test/run.c  ccan/tap/tap.o
In file included from ccan/ilog/test/run.c:2:
ccan/ilog/ilog.h:27:10: error: "LLONG_MAX" is not defined
cc1: warnings being treated as errors
ccan/ilog/test/run.c: In function ‘main’:
ccan/ilog/test/run.c:36: warning: suggest brackets around + or - inside shift
ccan/ilog/test/run.c:55: warning: suggest brackets around + or - inside shift
ccan/ilog/test/run.c:55: warning: suggest brackets around + or - inside shift
ccan/ilog/test/run.c:55: warning: suggest brackets around + or - in operand of &
ccan/ilog/test/run.c:63: warning: suggest brackets around + or - inside shift
ccan/ilog/test/run.c:85: warning: suggest brackets around + or - inside shift
ccan/ilog/test/run.c:85: warning: suggest brackets around + or - inside shift
ccan/ilog/test/run.c:85: warning: suggest brackets around + or - in operand of &

Fix for 64-bit (thanks to Tim T)

Tim's ISAAC module.

Handle multiple .c files in directory properly (isaac).

Tim's ilog module.

From: "Timothy B. Terriberry" <tterribe@xiph.org>

Makes the idempotent header check more liberal, and
specifically allows it to also recognize

#if !defined(someheader)
#define someheader (1)

or other similar variants.

From: "Timothy B. Terriberry" <tterribe@xiph.org>

Fixes the example module documentation ccanlint outputs. The
missing \n meant that it would not validate its own example as valid
documentation (with no explanation of why it was invalid... but that
would be a much larger patch).

More Makefile work: fix upload target.