crypto/shachain: detect if we're inserting a bogus hash.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crypto/shachain: a bit more common code.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crypto/shachain: add design document.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crypto/shachain: new module

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

crypto/sha256: new module.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tools: add HAVE_UNALIGNED_ACCESS test.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

timer: simple optimization for large number of timers.

This is still pretty stupid, but greatly reduces my routing-sim time.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

timer: brute force corruption fix.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

timer: put level-0 optimization directly into find_first.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

timer: fix two corruption bugs.

We fill the upper buckets after we've moved on from the first bucket
in this layer.  This means two things:
1) If we have to look at an upper layer, we need to look at the next bucket,
   unless offset is 0.
2) We need to keep looking up layers in the corner case, too.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

timer: better dump code.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

timer: fix timer_check() to iterate all levels.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

str/hex: to-from hexstring conversion routines.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

htable: add pre-sized option.

I thought this was slowing down my program; it turned out they were
all hashing to the same value.  But it might be useful.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Add Travis continuous integration

This enables building of the CCAN and running of all the tests on
https://travis-ci.org/

Signed-off-by: Joel Stanley <joel@jms.id.au>
Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

doc: english fixup.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

web: remove unused db dir

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

web: remove unused directory.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Delete unused file.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

web: Create webpages-unchecked target for running on server.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal_stack

Hi Rusty,

Thanks for reviewing the patch. V2 is attached, see my comments below.

> On 31 Mar 2015, at 02:36, Rusty Russell <rusty@rustcorp.com.au> wrote:
>
> Delio Brignoli <brignoli.delio@gmail.com> writes:
>> Hi All,
>>
>> tal_stack implements a (trivial) stack of tal contexts. Would this be a worthy addition to CCAN? (not necessarily in its current form).

[…]

>        This is cute; I’ve seen similar used in Samba.  It's

Indeed, it was inspired by talloc_stack.h ;-)

[…]

> You are missing a _info file: I would create that, and put your example
> in an Example: section there.

I moved the module and tests under can/tal/stack and added a LICENSE and _info.

> Other random advice:
> 1) You should also document the tal_newframe function (particularly note
>   that you're expected to tal_free the result, and that it will free
>   any future unfreed frames).  And note that it’s not threadsafe.

Done.

> 2) You probably want tal_newframe to be a macro, and hand file and line
>   thought to the tal_alloc_ call.  That makes debugging nicer when
>   you iterate the tree.

Done. The macro is calling a tal_newframe_() function because I’d rather not make the module’s stack variable ‘public’.

> 3) Consider whether you want to declare a dummy type 'struct tal_stack'.
>   Probably pretty unnecessary since it’s quite clear.

Skipped this one. We can declare it later if we change our minds.

Thanks
—
Delio

From c2ceb9258d97b0dcb72e7b6986cfd2bd394b254e Mon Sep 17 00:00:00 2001
From: Delio Brignoli <dbrignoli@audioscience.com>
Date: Sun, 15 Mar 2015 13:26:40 +0100
Subject: [PATCH] tal_stack: new module - V2

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: avoid segfault when module_builds' linking fails

In the case that the objects built but linking failed, module_builds.c
called score_file_error with a NULL ccan_file object and 0 for line
number.

score_file_error assumed that the ccan_file object it is passed was
not-NULL when appending file errors to the score's aggregate error
string.  It attempted to dereference it to get "fullname".

score_error was factored out from score_file_error.  It takes a
"source" parameter, which is the file's full name (and possibly line
number) in the score_file_error case, and the ccan module name in the
case of link failure.

base64: implements rfc4648, the base64 encoding

Encode buffers into base64 according to rfc4648.
Decode base64-encoded buffers according to the same standard.

Signed-off-by: <pb-ccan@barker.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tools/ccanlint: slight neatening of license logic.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint - avoid e.g. GPL vs LGPL mismatch in license checking

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list: add list_for_each_rev_safe{,_off} macros

Deleting while iterating backwards will be needed in the
Ruby st_foreach_reverse_check implementation if we decide
to port Ruby's st.c to use ccan/list.

ref: http://blade.nagaokaut.ac.jp/cgi-bin/scat.rb/ruby/ruby-core/65408

Signed-off-by: Eric Wong <normalperson@yhbt.net>
Reviewed-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list: add list_for_each_rev_off macro

And re-implement list_for_each_rev in terms of list_for_each_rev_off
to avoid duplicating iteration logic.

Signed-off-by: Eric Wong <normalperson@yhbt.net>
Reviewed-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list: new list_for_each{, _safe}_off_dir_ macros

These internal iteration macros will make implementing reverse
iteration simpler.  For now, reimplement existing list_for_each_off
and list_for_each_safe_off macros on top of these macros to
prove they pass existing tests.

Signed-off-by: Eric Wong <normalperson@yhbt.net>
Reviewed-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list: list_swap to exchange elements

This allows deleting and re-inserting an element in place
of the deleted element without branching.

Signed-off-by: Eric Wong <normalperson@yhbt.net>
Reviewed-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list: list_add_after and list_add_before functions

These make it easy to add a new element before or after an
existing element in the middle of the list.

The existing list_add and list_add_tail functions are trivially
reimplemented on top of these new functions.

Signed-off-by: Eric Wong <normalperson@yhbt.net>
Reviewed-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

stringbuilder: fix ccan/str test dependency.

It's a test dependency, not a core one, so it belongs under "testdepends".

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

endian: Fix cpu_to_be64 on big-endian

Commit 9e2c88b5 added an extra return (with an unconditional byteswap)
in cpu_to_be64. This breaks on big-endian, where we shouldn't be
byteswapping.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

stringbuilder: Functions for joining strings.

This is a small couple of functions for joining lists of strings
together.  The lists can either be varadic arguments or arrays, and
delimiters are optional.

This patch incorporates some advice from David Gibson on the original
module.

Makefile: add ntdb.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: fix up tests.

Mainly include path fixes.

Also Samba's unit tests were enhanced to detect the prefixes
helpapi and helprun to indicate an object was to be linked against
only api/run tests.  We hack around that by #including the helper
code instead.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: assume HAVE_CCAN in header.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: fix up _info.

It was missing dependency information, and a description of ntdb.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: move python bindings to subdir.

The other option would be to require Python.h, which seems overkill.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: remove config.h

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Merge branch 'ntdb' of https://github.com/ddiss/ccan into ddiss-ntdb

invbloom: singleton callback for when destroying a singleton, too.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: add _info file

The Authors entries were added based on source file copyright
statements. Full details can be found via the upstream Samba Git
repository.

Signed-off-by: David Disseldorp <ddiss@suse.de>

ntdb: link to common LGPL-3 license

Signed-off-by: David Disseldorp <ddiss@suse.de>

ntdb: build core components via static Makefile

As part of Samba, ntdb was built using the Waf build system. As part of
ccan, convert this to a simple Makefile, and add a static config.h.

The Makefile only builds core ntdb components for now - libntdb and
tools.

Signed-off-by: David Disseldorp <ddiss@suse.de>

ntdb: next-generation trivial key-value database

ntdb is a partial rewrite of Samba's Trivial Database, providing > 4GB
database scalability and an improved API.
Obtained from the Samba repository at git://git.samba.org/samba.git, as
of bd13405e8570e9a5942165a8c52a2bc3fdc9d96e.

See Samba's Git changelog for authorship details.

Signed-off-by: David Disseldorp <ddiss@suse.de>

invbloom: reduce hash count to 3.

Kalle shows the superiority of 3 (as does the paper for > 50 buckets).

https://github.com/kallerosenbaum/bitcoin-iblt/wiki/Diff-count-VS-failure-probability

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

invbloom: add callback for when an element becomes a singleton.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

invbloom: remove unused structure field.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

cdump: ignore __attribute__ (gcc extension).

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

cdump: handle multi-line preprocessor directives.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

cdump: add CDUMP() support.

This lets you annotate your headers with notes for cdump.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

cdump: handle array sizes and comments better.

We can now parse array sizes properly: comments and extra [] pairs
will no longer confuse us.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

io: fix example in io_plan.h which didn't compile.

This was found because ccanlint now looks for examples here too.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

cdump: add useful tool to generate enum name string table.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

cdump: handle , at end of enums.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

cdump: new module.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

pushpull: new module.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: offer to insert license comments where they're missing.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccanlint: check all headers for examples.

pushpull module doesn't have examples in pushpull.h.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

invbloom: new module for IBLTs.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Makefile-ccan: bytestring now has source.

Reported-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

io: update for new timer API.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

timer: make timer_del() idempotent, add timer_init().

This catches duplicate timer_add() calls, as well as meaning we don't
need to track if the timer is active before calling timer_del().

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

timer: change timers_expire() to return a single timer.

The linked list method was problematic, especially if timers delete
other expired timers (eg. the next one in the expired list: the timer_del
will delete it from expired, but that's a bit unexpected).

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

bytestring: Add initializer macro

The BYTESTRING macro is constant, since it's designed to take a string
literal, but it doesn't count as constant since it involves an (inlined)
function call.  That means it can't be used in a static storage duration
initializer.

Unfortunately, I can't see a portable way to make something which can be
used as an initializer, but which can also be used in other contexts where
BYTESTRING() can be used, so this patch introduces BYTESTRING_INIT() which
is similar to BYTESTRING() but produces an initializer.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Use CONST_FUNCTION

The bytestring() constructor function satisfies the constraints of
CONST_FUNCTION, so mark it as such.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Split bytestrings by a string delimiter

This introduces the functions bytestring_splitstr_first() and
bytestring_splitstr_next() which can be used to iterate through substrings
of a bytestring separated by a specified substring.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Split bytestrings by a set of character delimiters

This introduces the functions bytestring_splitchrs_first() and
bytestring_splitchrs_next() which can be used to iterate through substrings
of a bytestring separated by any of a given set of delimiter characters.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Split bytestrings by a character delimiter

This introduces the functions bytestring_splitchr_first() and
bytestring_splitchr_next() which can be used to iterate through substrings
of a bytestring separated by a single, specified delimiter character.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Implement bytestring_spn() and bytestring_cspn()

Add bytestring_spn() and bytestring_cspn() functions which, in analogy to
strspn() and strcspn() return the lengths of initial sub-bytestrings which
either contain only a given set of bytes, or anything except a given set
of bytes.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Implement bytestring_bytestring()

Add a bytestring_bytestring() function which, in analogy with strstr() and
memmem() finds one bytestring within another.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Add bytestring_index and bytestring_rindex() functions

Add bytestring equivalents of the index() and rindex() standard functions
which search for characters/bytes within a bytestring.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: bytestring_starts() and bytestring_ends() functions

This implements bytestring_starts() and bytestring_ends() which
will test if a given bytestring starts or ends with another given
bytestring.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Add bytestring_slice function

Add a bytestring_slice() function to take a sub(byte)string of a
bytestring.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

bytestring: Add bytestring_byte() function

Add a bytestring_byte() function to get a single byte / character
from a bytestring.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

mem: Implement memrchr()

The memrchr() function, which works like memchr(), but searches from the
back of the region to the front is implemented in the GNU C library, but
isn't standard.

This patch adds an implementation of the function to the mem module, when
it's not available in the system C library.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

mem: Correct testcases

Currently the 'mem' module testcases use test/run.c even though they don't
rely on access to the module internals.  They're also missing an include
of mem.c, which has the effect that on systems with a C library memmem()
implementaiton, only that is tested, not the (re-)implementation in the
mem module itself.  This corrects that by moving run.c to api.c/

Additionally, the memmem() testcases don't cover the case where the
"needle" appears multiple times in the "haystack".  This patch also adds
such a test.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

mem: Rename memmem module to mem

Currently the 'memmem' module does nothing but provide an implementation of
the memmem() function if it is missing from the standard C library.

However there are other functions (e.g. memrchr()) also missing from some
C library implementations, so rename the module to mem to allow future
inclusion of other functions.

This also updates the rfc822 module - the only existing user of the
memmem module - to use the new name.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>

Syntax highlighting for module example code using prettify. Note: prettify is introduced with an svn checkout into the web directoy.

Removed more tables where they aren't required. Improved table layout.

New page layout, font, background image. Replaced table tags with headers and paragraph tags as appropriate. Redesigned logo. Added stylesheet to specify layout more easily. Meta tag for mobile device friendliness.

Standards compliance - XML html doctype, charset meta tag.

When building webpages, skip clean-tree check if WEBDEV flag is set.

Fix for broken links/images on website 'junkcode' pages.

Changed the look of the website. Added a new logo design (source SVG included). Fixed an issue with junkcode prefix not being set (broken links and images on current site). Removed /tmp/ccan in clean as it was preventing 'make webpages' running twice. Brought the HTML closer to standards compliance (doctype, encoding). Added meta tag for mobile device browsers to render nicely.

configurator: Fix CTZ detection

The literal "1" in "1 << (sizeof(long{, long})*8 - 1)" should be 1L or
1LL, so that the expression has the right type. Otherwise, the shift
is only by 31 bits on x86 (other platforms may behave differently). To
avoid language lawyers shouting UB at me, and since
__builtin_ctz{,l,ll} formally takes unsigned parameters, use UL and
ULL suffixes.

Also, fix a typo (missing parenthesis) in the code for CTZLL causing
the detection of __builtin_ctzll to always fail for the wrong reason.

Signed-off-by: Rasmus Villemoes <rv@rasmusvillemoes.dk>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Add eratosthenes to Makefile-ccan list.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

eratosthenes: Implementation of the Sieve of Eratosthenes

This adds a new "eratosthenes" module which implements the standard
Sieve of Eratosthenes algorithm for locating small prime numbers.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

bitmap: Implement bitmap_ffs()

This adds a bitmap_ffs() function to find the first (by the usual bitmap
bit ordering) 1 bit in a bitmap between two given bits.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

bitmap: Extend allocation functions

The bitmap module already has a simple allocation helper, which returns
an uninitialized, dynamically allocated bitmap of a given size.

This extends this with bitmap_alloc[01]() which allocate bitmaps and
initialize them to all zero or all one.

It also adds bitmap_realloc[01]() which reallocate an existing bitmap,
preserving existing bits, and setting any new bits to all zero or all one.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

bitmap: Add functions to set/clear ranges of bits

Add bitmap_zero_range() and bitmap_fill_range() functions which will set
a contiguous range of bits in the bitmap to 0 or 1.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

bitmap: Switch bit indices to unsigned long

Currently all bit indices used in the bitmap module are represented as
'int'.  These conceptually should be unsigned.  In additional limiting
these to ints potentially prevents use of very large bitmaps.  So, change
these all to unsigned long.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lstack: Linked list stack implementation

This new module provides a simple stack implementation as a singly
linked list.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lqueue: Linked list queue implementation

This new module provides a simple queue implementation as a singly
linked (circular) list.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

container_of: Add container_of_or_null()

It's quite common to have a pointer which could be either a pointer to a
structure member, or NULL.  This needs special casing with container_of(),
or it will convert NULL into something strange.

This patch adds container_of_or_null(), which will return NULL if passed
(an appropriately typed) NULL, or the containining structure as
container_of() otherwise.

Signed-off-by: David Gibson <david@gibson.dropbear.id.au>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

io: use normal linked lists.

There seems to be a bug with the overloaded single-linked list.
Rewrite.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

list_del_init/list_node_init: for multiple list_del() calls.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tal/str: use tal/grab_file not grab_file in example.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

charset: make example use tal/grab_file instead of grab_file.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ccan_tokenizer: remove warnings with gcc

/home/rusty/devel/cvs/ccan/ccan/ccan_tokenizer/test/run.c:898:66: warning: initialization discards ‘const’ qualifier from pointer target type [enabled by default]
 #define T(txt, ...) {txt, sizeof(txt)-1, array_count_pair(struct token, __VA_ARGS__)}
...

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>