ui/ncurses: Add nc_scr_{un,}post()

We may have nc_scrs that aren't interested in post/unpost information,
so create helper functions that allow a NULL callback.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

ui/ncurses: Move general nc init code to cui module

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Handle incoming configuration messages

When the client sends us a PB_PROTOCOL_ACTION_CONFIG message, we want to
update the current config.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

config: Implement config messages

On client connect, send a PB_PROTOCOL_ACTION_CONFIG message.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/pb-protocol: Add serialise & deserialise for struct config

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/types: use unsigned int for interface, dns and prio counts

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib: Move config structure defitinitions to types.h

We don't want to require the lib/pb-config interface in the UIs, just
the structure defintions. This change moves them to the common types
header.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/pb-config: Implement save method for test storage

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/pb-config: Implement save method for powerpc nvram strorage

Write values back to nvram.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/pb-config: Implement config_set

This change adds config_set, to allow the configuration to be updated,
but calling the storage backend's save() method.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/util: Add build_assert()

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/util: Implement min & max macros

Standard type-safe min & max implementations.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib: consolidate util macros in util/util.h

This change groups the offsetof, container_of and ARRAY_SIZE macros in a
single header file util/util.h.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Fix potentially-uninitialised variables

We've been compiling with --enable-debug; this change fixes some
problems exposed by the optimiser.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Add local PXE test

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Add new test cases to pxe parser

Adding new cases to the pxe parser code of having conffile file without
complete URL and determining conffile names using mac and ip addresses
passed from the udhcpc.

Signed-off-by: Neelesh Gupta <neelegup@linux.vnet.ibm.com>
Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Update test cases as per new parser requesting conf files

Update the parser test code/cases as per new prototyping of parse()
function which doesn't require buf and len to be passed from the caller,
instead reading the configuration data either embedded or from file to
a parser's known conffile.

Signed-off-by: Neelesh Gupta <neelegup@linux.vnet.ibm.com>
Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Change parsers to explicitly request configuration files

Add a new function parser_request_url() to read the data from
configuration files present remotely. We deprecate
iterate_parser_files() and download_config() functions along with the
'filenames' and 'method' members of the 'parser' structure so that
individual parsers would now require to request the configuration files
data from the parser code and doesn't necessarily export the list of
configuration files.

Add the support to handle incoming DHCP event, done by passing all the
relevant environment variables of the udhcpc to the discover code.
Also, update the pxe parser code to populate the list of configuration
file names as per PXELINUX convention of fallback names using mac and ip
addresses of the booting machine.

Signed-off-by: Neelesh Gupta <neelegup@linux.vnet.ibm.com>
Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/url: Export is_url() function

Signed-off-by: Neelesh Gupta <neelegup@linux.vnet.ibm.com>
Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Allocate contexts with talloc_zero

Ensure all pointers from the context are NULL.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/log: Always flush after writing logs

We're currently seeing empty log files from the discover server. Rather
than only flishing if the server was compiled with debugging enabled,
always perform the fflush.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

logging: Clean up debug logs

We have quite a few pb_logs which should be pb_debug. This change moves
developer-specific info to pb_debug.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/network: Allow for arbitrary-sized netlink messages

Currently, we drop any netlink data beyond our 4096-byte buffer. This
means that we can only parse a limited number of network interfaces.

This change uses recvmsg with MSG_PEEK to determine the size of an
incoming netlink message before doing the actual recvmsg. This way, we
can realloc our buffer to suit.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/pb-config/powerpc-nvram: Use talloc_zero for interface configs

We're seeing a problem where ifconf->ignore isn't initialised; use
talloc_zero instead.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/file: Fix invalid free in replace_file

We talloced tempfile, we should be freeing with talloc_free.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: cleanup allocated data

We have a few allocations hanging around at the end of pb-discover; free
them.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/file: Fix invalid free vs talloc_free

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/network: Ensure dns config buffer contains a trailling nul

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/parser: free parsers on exit

Allocate parsers against a context, and free that context on exit.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/sysinfo: Fix talloc against uninitialised server var

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Clean lexer.[ch]

`make distcheck` fails with a couple of failes remaining after clean.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Don't free clients on write failure

Currently, if we see an error when writing to a client, we free the
client immediately. This means that any pending reads will be discarded.
Additionally, if a client disconnects before we have finished the writes in
discover_server_process_connection, we won't register the waiter to read
from the socket.

Instead of freeing the client on write failure, this change sets a flag
(se we don't continue to write), and we rely on the read EOF to free the
client. This means we don't drop incoming messages.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Allow an in-progress boot to be cancelled

Currently, once the boot() function is called, the boot process will
ignore any cancellations.

This change allows boot() to be cancelled, via boot_cancel().

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Add load_url_cancel

We'd like a way to cancel pending loads, as part of aborting the boot
process.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Allow URL resources

Allow URL-format specifiers for GRUB2 resources.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

ui/ncurses: Use OK & Cancel buttons for boot editor completion

Rather than using enter to complete a boot_editor session, add OK and
Cancel buttons. Enter will move between fields.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

ui/ncurses: Use 'x' as exit key

Because terminals will send escape-sequences starting with escape,
ncurses will pause after receiving a signle escape, to detect
these sequences. This introduces a 1-second delay when exiting the
petitboot UI.

Instead, use 'x'.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

ui/ncurses: Allow booting custom boot options

Currently, we can't boot user-created boot options, as they have no
option ID associated. This change removes the check for option ID.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

ui/ncurses: Defer item creation until boot editor is done

Currently, when creating new menu entries, we create an empty item, add
it to the menu, then run the boot editor. This means that cancelling the
edit will leave an empty item in the menu.

This change defers the creation until the boot editor is done. To do
this, we modify the on_open callback to take a menu rather than an item,
and pass NULL boot data to the editor.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

ui/ncurses: Use 'New' instead of 'Open'

"Open" is ambiguous in the context of the boot menu; use "new" instead.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Allow device_handler_boot with no option

Only call find_boot_option_by_id if we have an ID.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: remove register_parser printf

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

ui/ncurses: Display sysinfo type & identifier

Hook into the sysinfo updates to display the type & id at the top of the
petitboot main menu.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/sysinfo: Add helper script to populate sysinfo identifiers

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

Add system info messages

Add a little infrastructure for communicating information about the
system to the petitboot UIs. We just send some identifying info (type
and identifier), as well as the interfaces.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

utils/pb-udhcp: Don't add a new option on renew

Otherwise we'll keep collecting new options every $lease_time period.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/udev: dup property values returned from udev

The property strings are managed by the udev code, so we need to strdup.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/device-handler: Fix use-after-free when unmounting

We need to do the rmdir after clearing mount_path.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Don't call config_set_autoboot before config_init

Change f611bde3 shifted the config_init until after process_init, as we
need to run processes during config init. We also needed to move the
config_set_autoboot invocation too.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Fix uninitialised yylineno

Valgrind reports an invalid usage of an uninitialised var in yyerror,
causing testcase failures.

Initialise lineno before we start parsing.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Implement save_env command

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Add check_file_contents

We want to test grub2's save_env command, which requires a new function
to check the contents of a file.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Implement load_env

Use the new parser_request_file API to access the GRUB environment
block.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: strdup strings used in the environment

Use a copy of the name & value pairs that we pass to the environment, as
the data loaded from load_env will be talloc_free-ed.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Add default prefix

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Add device_{request,release}_write

Add a pair of functions to the parser API to allow write access to the
underlying device. We'll use this in the GRUB2 parser to implement
environment persistence.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Add parser_request_file

Add a function to allow parsers to access files on a local device.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Add test_data member to struct discover_context

We have parsers passing discover_contexts around, which we want to hook
into the test framework. Add a void * member, which the test code can
use to reference the test.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Don't continue discovery if mount fails

Check the return value from mount_device and abort the discover on
failure.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Allow for already-mounted devices

When we start the discover server, we may find that devices are already
mounted. In this case, mount_device will fail, and we'll abort the
parse.

This change uses /proc/self/mounts to check if new devices are already
mounted, and uses the existing mount point.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Clean up error-handling for grub2 parser & lexer

Rather than printf() & exit(), use the pb logging functions and abort
the parse.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Enable logging to stdout

We may as well show the logs while testing.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

tests/urls: Run URL tests under valgrind

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/resource: create_url_resource should take ownership of url

The URL needs to share the lifetime of resource, so talloc_steal it in
create_url_resource.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/url: talloc from new URL in pb_url_copy

We're ending up with members of new_url being allocated from the old
URL's context. We should be tallocing from the new_url instead.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/paths: Check local file URLs in load_url

Make the error case for local files the same as for remotes.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

lib/system: Don't modify dir parameter to pb_rmdir_recursive

We're modifying dir rather than cur (the local copy of dir), so the
caller-provided (const!) string is no longer const.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/boot: Log boot status updates

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/boot: Download resources in parallel

Now that we can download asynchronously, we can download boot resources
in parallel. This also means we don't need a state machine; we're either
not done (loads are still pending) or done.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Add struct load_url_result and load_task

Currently, load_url and load_url_async return a filename parameter and a
tempfile flag (indicating whether the file needs to be cleaned after
use).

Instead, encapsulate this data in a struct load_url_result, which the
caller (and async callbacks) can read the status, filename and clean
parameters.

For internal use in load_url and helpers, we add a struct load_task to
hold a pointer to the load_url_result and async data.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Don't depend on tftp failure for type detection

Rather than always trying both TFTP client types, do a runtime detection
on first invocation. This can be fixed at build-time with
--with-tftp=TYPE.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/boot: Store clean_* in the boot task

... otherwise we won't clean up local files from earlier boot stages.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/boot: Check for failed loads in boot()

Use the status argument to the URL load callback to check for load
failures.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: load_url_async callback should take an int status

We don't need a pointer here, just the status value.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/boot: Implement asynchronous boot() process

The current boot process handled by boot() function is implemented such
that it blocks on the boot resources being downloaded which blocks
the discover process until the download completes. This patch
re-implements the boot() function using callback mechanism and
asynchronous notifications so that boot() returns to continue the
discover process while the download is in progress.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>
Signed-off-by: Neelesh Gupta <neelegup@linux.vnet.ibm.com>

discover: Add an asynchronous version of load_url

A new load_url_async() function handles retrieving the resources by
forking an external process which currently blocks the parent waiting
for the process to complete. This patch modifies the load_*() functions
to handle it asynchronously by providing the exit callback and returning
without waiting for the child process to exit.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>
Signed-off-by: Neelesh Gupta <neelegup@linux.vnet.ibm.com>

discover/grub2: Reimplement default options

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover: Check for devices with duplicate serial properties

If we have multipath devices present in the system, we'll end up with
duplicate mounts, parse results and boot options. This change adds a
check to see if we've encountered a device with this serial number
previously.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

pb-udhcpc: use plain kernel names for dhcp events

No need to prefix with /net/

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Fix uninitialised op variable

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Add test-grub2-single-line-if test

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Support var=value assignments

We want to allow assignments outside of the 'set' builtin.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Allow double-quotes in embedded config

We need to escape any double-quotes.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Add true & false builtins

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Allow checks for NULL boot_args

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Add variable expansion in Ubuntu conf file test

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2/lexer: Require 1+ spaces for a TOKEN_DELIM

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Add linux16 command

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Allow both delimiters and EOLs after a "then" reserved word

Putting an if-statement on one line should be possible:

 if true; then echo "true"; else echo "false"; fi

To do this, we'll need to allow both EOLs and TOKEN_DELIM after then and
else.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

test/parser: Fix spacing in grub2-f18-ppc64 test

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Implement test builtin

A faily simple implementation now, and could do with some testing...

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Add nops for unnecessary builtins

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Implement statement_block_execute

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: unknown commands should fail

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Populate option ids

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Allow EOF as a statement terminator

Files may not have a trailing newline.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Add print_token

For better trace output.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: fix comment handling

Remove '#' from the list of word chars. Also, don't need the '$' char in
the comment regex

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Implement 'elif'

Rather than just having one conditional in an if statement, we use a
list of conditionals instead. This allows us to implement elif.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>

discover/grub2: Create 'conditional' statements

Rather than holding the condition and conditional-statements in struct
grub2_statment_if, create a new conditional type that contains these. We
can then use this to implement elif statements.

Signed-off-by: Jeremy Kerr <jk@ozlabs.org>