Added module ccan_tokenizer from snapshot at:
[ccan] / ccan / ccan_tokenizer /
drwxr-xr-x   ..
-rw-r--r-- 2261 _info
-rw-r--r-- 27583 ccan_tokenizer.c
-rw-r--r-- 9376 ccan_tokenizer.h
-rw-r--r-- 1932 charflag.c
-rw-r--r-- 1324 charflag.h
-rw-r--r-- 1928 dict.c
-rw-r--r-- 465 dict.h
-rw-r--r-- 1470 documentation
-rw-r--r-- 1590 number_constant.guppy
-rw-r--r-- 2072 queue.c
-rw-r--r-- 3306 queue.h
-rw-r--r-- 9455 read_cnumber.c
-rw-r--r-- 3902 read_cstring.c
drwxr-xr-x - scripts
drwxr-xr-x - test
-rw-r--r-- 6691 todo