tdb2: remove TDB1 TDB_NO_FSYNC environment variable hack.

The caller should do this: the SAMBA compatibility later does.

tdb2: get rid of TDB1 mark and nonblock functions.

We do this using hooks in tdb2.

tdb2: remove _PUBLIC_ in tdb1 functions.

They'll all be accessed via the tdb2 API.

tdb2: Remove unused tdb1 functions.

We're going to use TDB2's API, so some TDB1 APIs are obviously unnecessary.
We also get rid of USE_RIGHT_MERGES and TRACE code.

tdb2: test: import tdb1's tests.

The main change is to s/tdb/tdb1_/ everywhere.

tdb2: include tdb1 source in tests.

Since we've renamed everything in tdb1, they won't clash.

tdb2: import TDB1 code.

We import the entire codebase, putting a "tdb1_" prefix on the files
and changing the "tdb_" prefix to "tdb1_" everywhere.

The next patches will gradually merge it with the TDB2 code where
necessary.

tdb2: make tests include a single mega-header to simplify future patches

This lets us add the new files to a single place.

tdb2: tdb_foreach()

Create an iterator over every open tdb (not internal TDBs).  This is
useful for re-establishing the tdb1-style active lock for
CLEAR_IF_FIRST.

tdb2: keep link of every non-internal tdb.

Instead of a per-file linked list, use a per-tdb list.  This is needed
for tdb_foreach().

tdb2: save openhook, allow tdb_get_attribute() on it.

This makes it easy to call it again after a fork(), such as for
re-establishing the CLEAR_IF_FIRST files locks.

tdb2: add TDB_RDONLY flag, allow setting/unsetting it.

You can only unset it if the TDB was originally opened O_RDWR.

Also, cleaned up error handling in tdb_allrecord_lock() so we only get
one log message on a r/o database.

tdb2: return TDB_ERR_RDONLY if trying to start a transaction on a R/O tdb.

This is more accurate than returning TDB_ERR_EINVAL.

tdb2: save open_flags instead of mmap_flags.

It's more consistent with what tdb1 does, and slightly more encapsulated.

tdb2: Hand error code to logging function.

Since we've deprecated tdb_error() function (and it didn't work right
from inside the logging function anyway, since we didn't set
tdb->ecode yet) we need to hand it to the log function.

tdb2: move transaction lock

Make it the same offset as TDB1.  This isn't strictly necessary, but
it would allow for total unification later, since TDB1 and TDB2's
transaction code is otherwise completely compatible.

tdb2: enforce TDB_CONVERT

If the caller actually specifies TDB_CONVERT, fail if the TDB does not
need conversion.  It's unusual for the user to specify TDB_CONVERT
(it's auto-detected) but better to be strict.

tdb2: cleanup oob handling.

The tdb_oob() function can fail due to errors, as well as because the length
asked for is greater than the size of the file.  Clean that up:

(1) If probe is true, only fail if there's an error, not if the length is
    too great.
(2) Exit tdb_open() if it tdb_oob() probe fails; this helps cut down
    test time for failtest.
(3) Don't set probe to true in tdb_direct() fail; a minor issue, but it means
    we log failure.

tdb2: fix tdb_lock offset.

It can be 64 bits, for huge databases.

tdb2: fix internal tdb_write_convert() error handling in tdb_open()

As noted, failtest was taking a long time, because a failure injected here
was not detected.

tdb2: Fix to always use 64-bit offset definition

We use off_t in the tdb2 interface (for tdb_attribute_flock); we need
to make sure that all callers agree on the size.

This also causes a problem in the tests: it's not enough to include
config.h first, we need the _FILE_OFFSET_BITS define from private.h.
Otherwise, we can disagree about the definitions of F_SETLK, F_SETLKW
and off_t, causing strange problems.

tally: Adapt tally_histogram to Samba coding conventions

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Wed Aug 10 21:12:59 CEST 2011 on sn-devel-104

(Imported from SAMBA commit f7b820c3590ac78dd0dea67ac882f53ae6f550d9)

tally: Adapt get_max_bucket to Samba coding conventions

(Imported from SAMBA commit fed977514019e130322fb21ad5726ee997965898)

tally: Adapt tally_approx_median to Samba coding conventions

(Imported from SAMBA commit 35550ba641d251a2dc3762b08eda92d0f7ce6bed)

tally: Adapt bucket_range to Samba coding conventions

(Imported from SAMBA commit eac2f44cde39d16b827b7e2d360f7a7fb1d940e5)

tally: Adapt tally_mean to Samba coding conventions

(Imported from SAMBA commit 06a41594554a1a6881dcbf9d051a822f8f955b56)

tally: Adapt divls64 to Samba coding conventions

(Imported from SAMBA commit f589af19821e12aba6145492fd4ded58f07131b8)

tally: Avoid some // style comments in divls64

(Imported from SAMBA commit b32f086d643eb39c3806e30b19a028e6a59f0054)

tally: Adapt divlu64 to Samba coding conventions

(Imported from SAMBA commit ee91004f4bddcda873f8ccde1db16609a66a493b)

tally: Avoid some // style comments in divlu64

(Imported from SAMBA commit 26795b3dd1a90c61424cd8f1761f98bc60b3ddc4)

tally: Adapt fls64 to Samba coding conventions

(Imported from SAMBA commit 73414d0ee7bbe371b0f9b275b44ce5854a10b9f2)

tally: Adapt tally_num to Samba coding conventions

(Imported from SAMBA commit 3f67063dfab1a7add95da5157206ccebb2f75df8)

tally: Adapt tally_add to Samba coding conventions

(Imported from SAMBA commit 9c32c86783bf6a3e126e6e83f51ccdf0ecdd132d)

tally: Adapt renormalize to Samba coding conventions

(Imported from SAMBA commit 1fa4236c40a727d7ae648e12d14d1f0f9fcf79b5)

tally: Adapt shift_overflows to Samba coding conventions

(Imported from SAMBA commit 4a3913fbb9399685785efa430765e0b5836ded60)

tally: Adapt bucket_min to Samba coding conventions

(Imported from SAMBA commit a2d1d0b51485f2d383d1d69fa3bd6b79b9e8d5aa)

tally: Adapt bucket_of to Samba coding conventions

(Imported from SAMBA commit 68d0843437b05dc8a36091e4a307bfd912cbc09f)

tally: Adapt tally_new to Samba coding conventions

(Imported from SAMBA commit c6ae297d613fc22b92c34d26c61ec1715058b484)

tally: Slightly simplify tally_new

(Imported from SAMBA commit 066d36a1a635e1115f62c452c49a9830d484c03b)

tally: Fix a c++ warning

(Imported from SAMBA commit cb5c6f441f394f91bedf641aa76841bdb833e440)

tally: Fix a c++ warning

(Imported from SAMBA commit 54282e9f4eda083e70c7e56dda2bf425209add6d)

Makefile: speed fastcheck

Rather than timeout, explicitly disable tests_pass_valgrind and
tests_compile_coverage.  This is important now we run under valgrind
the first time we run the tests, thus would always time out and not
run most of the tests at all!

"make check" takes 7m57s, old "make fastcheck" takes 3m28s, and this takes
only 1m57s, but much more is run (as shown by the larger score total).

ccanlint: clean up reduced feature handling.

Putting the reduced config.h in the current directory means that it's
actually being picked up by other tests, such as the string checks.
So move it to a sub-directory where we need an explicit -I.

We also fix the dependencies, so that "--target
tests_pass_without_features" works.

ccanlint: show each test as we execute it with -vv

Tests can be slow to run, and this way we can monitor progress.

ccanlint: handle duplicate dependencies in _info

We eliminate dependencies as we recurse, but if a single _info file
lists a dependency twice, we add it to the list twice and this skip
over the middle ones.

ccanlint: add coverage variant of files.

Rather than a separate cov_compiled member, we can add to the
compiled[] array, and we reduce duplication significantly.

ccanlint: keep separate array of compiled versions.

Rather than mug the old ->compiled version when we reduce features,
keep both in the structure.  This makes it clear that we are using the
right version (we weren't in all cases, in particular we weren't
recompiling the test helpers correctly.

ccanlint: run tests under valgrind initially.

Unless it's not available or suppressed, we might as well run it under
valgrind the first time, which speeds things a little.

We save the valgrind output file for tests_pass_valgrind's use later.

ccanlint: add is_excluded() helper.

We'll need this in a moment.

tools: simplify get_safe_ccan_deps

There's no reason to hand in the name of the compiled _info file,
since we don't compile it up in safe mode.

ccanlint: fix warning about bogus return value.

ccanlint: rename obj_list in examples_compile.c to example_obj_list.

Trivial cleanup, but differentiates from the general obj_list used
elsewhere.

failtest: replay --failpath correctly on really failing opens.

When an open() call fails, we don't inject an error, but we didn't
apply this logic when replaying a failpath, with strange results.

failtest: add --show-slowest

This is useful for seeing where failures cause us to run slowly
(ie. we continue for a long time before terminating).

failtest: use ccan/time

failtest: use 64 bit offsets if available.

We have to be consistent with the caller, so turn on 64 bit offsets if
available for both the caller and us.

htable: fix tools/speed.

As pointed out by Christian Thaeter, it has bitrotted.

build_assert: Remove stale LGPL license comment.

tdb2: suppress valgrind testing on one test.

Now valgrind children report failures, this one test fails.

tdb: don't leak memory in tests.

tdb: only mark two files as failing, don't turn off all valgrind tests.

tdb: don't define _XOPEN_SOURCE ourselves, let config.h do it.

This is the CCAN Way.  Plus, eliminates a compile warning here.

tdb: don't use 'private' in headers.

As per the SAMBA version.

ccanlint: tests_pass_valgrind_noleaks: handle FAIL option on tests.

Now we can mark test files as FAIL and not be bothered by them.

ccanlint: allow per-file restrictions, so we don't have to remove all tests.

For example, valgrind can't handle some things, so we may need to
switch it off, but we don't want to do that for every test.

So, start a standard format for per-file restrictions, eg:

    Ccanlint: tests_pass_valgrind test/foo.c:FAIL

For the moment, only tests_pass_valgrind takes options, so it has to
change: we now have a helper which returns the array of options
applicable to a given file.

failtest: plug memory leak.

Valgrind notes that our child processes leak memory.

ccanlint: make valgrind understand child output.

We turned on --child-silent-after-fork=yes, because the output
confused our dumb parser.  Now we split output by prefix ("==<pid>==")
and then we can sort out the leaks from the errors.

This means we find more errors.... next patch!

ccanlint: use ccan/time

Our own dogfood, and it's yummy!

tools: reorder object files into alphabetical order.

Simplifies future patches.

talloc_link: close memory leak in test.

read_write_all: fix leak in tests.

opt: neaten tests with helpers.

noerr: remove bogus LICENSE link.

jmap: fix jmap_free, tests.

Memory leak in tests revealed bug in jmap_free.  Also, out-by-one
error.

jbitset: fix examples, remove test memory leak.

grab_file: close memory leak in test.

alloc: fix !HAVE_BUILTIN_POPCOUNTL code.

ccanlint: fix dependencies on tests_pass_without_features.

We can only test the featureless tests, once we've built them!

tdb2: fix intermittant failure in run-50-multiple-freelists-fail.c

layout.c's TDB creation functions were incorrect in case of a hash
collision, causing occasional failure.  Make it always use the
(previously-failing) seed value, and fix it.

bdelta: new module for binary diff/patch

block_pool, ccan_tokenizer, stringmap: add ccanlint license suppressions.

array_size: relicense under public domain.

It's just a header, I don't care what's done with it.

check_type: remove erroneous license line (it's now public domain)

charset: Updated copyright year, and set to version 0.3

ccan_tokenizer: Corrected LICENSE link so it points to BSD-3CLAUSE.

btree: Changed license from BSD-3 to MIT, and set version to 0.2

NOTE: btree was originally copyright 2010, and has not been
touched by me since then.  I don't know if changing the license
to something more permissive requires updating the copyright year
or not.

stringmap: Corrected LICENSE link so it points to BSD-3CLAUSE.

avl: Added LICENSE link, and set version to 0.1

block_pool: Changed license from BSD-3 to MIT, and set version to 0.1

NOTE: block_pool was originally copyright 2009, and has not been
touched by me since then.  I don't know if changing the license
to something more permissive requires updating the copyright year
or not.

darray: Changed license from BSD-3 to MIT, and updated copyright year.

opt: complete coverage, enhance opt_free_table.

No point checking malloc failure in usage(), since we don't elsewhere.
We get 100% coverage with -O (due to code elimination) or 64 bit.

opt: fix warnings in test, fix endian assumptions.

In particular, handing an pointer to ULL where a pointer to UL is expected
won't work on big endian.

opt: functions to show integer values with kMGTPE suffixes

As with the set_ functions, there are twelve permutations of integer size,
base, and signedness.  The supported sizes are int, long, and long long.

For example, this:

 char buf1[OPT_SHOW_LEN];
 char buf2[OPT_SHOW_LEN];
 unsigned i = 1024000;
 opt_show_uintval_bi(buf1, &i);
 opt_show_uintval_si(buf2, &i);

will put "1000k" in buf1, and "1024k" in buf2.

Unlike the opt_set_ functions, these use unsigned arithmetic for unsigned values.

(32 bit bug using sizeof(suffixes) instead of strlen(suffixes) fixed by Rusty)

opt: incidental comment and whitespace repair

This comment occurred in a couple of places:

 /* Set an integer value, various forms.  Sets to 1 on arg == NULL. */

One instance was clearly spurious, while the other was misleading.

Another resolution to this mismatch would be to add
"if (arg == NULL){*l = 1; return NULL}" somewhere, but I suspect
it may have been left out/removed because someone thought better.

opt: add integer helpers that accept k, M, G, T, P, E suffixes

These functions come in two flavours: those ending with "_si", which
have 1000-based interpretations of the suffixes; and those ending with
"_bi", which use base 1024.  There are versions for signed and
unsigned int, long, and long long destinations, with tests for all 12
new functions.  The tests get a bit repetitive, I am afraid.

As an example, if the -x option were using the opt_set_intval_bi
function, then all of these would do the same thing:

$ foo -x 5M
$ foo -x $((5 * 1024 * 1024))
$ foo -x 5242880
$ foo -x 5120k

quite what that thing is depends on the size of your int -- people
with 16 bit ints would see an "out of range" error message.

The arithmetic for unsigned variations is actually done using signed
long long integers, so the maximum possible value is LLONG_MAX, not
ULLONG_MAX.  This follows the practice of existing functions, and
avoids tedious work.

failtest: fix silent exit when top-level return FAIL_PROBE

We were missing failed tests: if the top-level returns FAIL_PROBE, we would
exit; this should only apply to children.

tdb2: fix line numbers for tests.

cast: downgrade license from LGPL3+ to LGPLv2.1+

Kirill A. Shutemov asked for libgit.  I would say they should upgrade their
license, but libhx on which these are based is also LGPLv2.1 or later, so
I prefer to match that.

isaac, crcsync: acknowledge licensing issues.

The recently added ccanlint licensing checks revealed several cases
where the published license of a module is misleading: a dependency of
that module has a stricter license (eg. a public domain module which
depends on a GPL one).

Where these are my modules, I've fixed them.  Otherwise I'm overriding
the checks for the moment, and asking the authors what they want to do.

ccan/noerr: fix compiler warning with const strings.