take: add labels when CCAN_TAKE_DEBUG set, return in taken_any().
[ccan] / tools / depends.c
1 #include <ccan/str/str.h>
2 #include <ccan/read_write_all/read_write_all.h>
3 #include <ccan/rbuf/rbuf.h>
4 #include <ccan/tal/path/path.h>
5 #include <ccan/tal/grab_file/grab_file.h>
6 #include <ccan/compiler/compiler.h>
7 #include <ccan/err/err.h>
8 #include "tools.h"
9 #include <sys/types.h>
10 #include <sys/stat.h>
11 #include <fcntl.h>
12 #include <stdbool.h>
13 #include <unistd.h>
14 #include <errno.h>
15
16 static char ** PRINTF_FMT(2, 3)
17 lines_from_cmd(const void *ctx, const char *format, ...)
18 {
19         va_list ap;
20         char *cmd;
21         FILE *p;
22         struct rbuf in;
23
24         va_start(ap, format);
25         cmd = tal_vfmt(ctx, format, ap);
26         va_end(ap);
27
28         p = popen(cmd, "r");
29         if (!p)
30                 err(1, "Executing '%s'", cmd);
31
32         /* FIXME: Use rbuf_read_str(&in, '\n') rather than strsplit! */
33         rbuf_init(&in, fileno(p), tal_arr(ctx, char, 0), 0);
34         if (!rbuf_read_str(&in, 0, do_tal_realloc) && errno)
35                 err(1, "Reading from '%s'", cmd);
36         pclose(p);
37
38         return tal_strsplit(ctx, in.buf, "\n", STR_EMPTY_OK);
39 }
40
41 /* Be careful about trying to compile over running programs (parallel make).
42  * temp_file helps here. */
43 char *compile_info(const void *ctx, const char *dir)
44 {
45         char *info_c_file, *info, *compiled, *output;
46         int fd;
47
48         /* Copy it to a file with proper .c suffix. */
49         info = grab_file(ctx, tal_fmt(ctx, "%s/_info", dir));
50         if (!info)
51                 return NULL;
52
53         info_c_file = temp_file(ctx, ".c", "_info");
54         fd = open(info_c_file, O_WRONLY|O_CREAT|O_EXCL, 0600);
55         if (fd < 0)
56                 return NULL;
57         if (!write_all(fd, info, tal_count(info)-1))
58                 return NULL;
59
60         if (close(fd) != 0)
61                 return NULL;
62
63         compiled = temp_file(ctx, "", "info");
64         if (compile_and_link(ctx, info_c_file, find_ccan_dir(dir), "",
65                              compiler, cflags, "", compiled, &output))
66                 return compiled;
67         return NULL;
68 }
69
70 static char **get_one_deps(const void *ctx, const char *dir, const char *style,
71                            char *(*get_info)(const void *ctx, const char *dir))
72 {
73         char **deps, *cmd;
74         char *infofile = get_info(ctx, dir);
75
76         if (!infofile)
77                 return NULL;
78
79         cmd = tal_fmt(ctx, "%s %s", infofile, style);
80         deps = lines_from_cmd(cmd, "%s", cmd);
81         if (!deps) {
82                 /* You must understand depends, maybe not testdepends. */
83                 if (streq(style, "depends"))
84                         err(1, "Could not run '%s'", cmd);
85                 deps = tal(ctx, char *);
86                 deps[0] = NULL;
87         }
88         return deps;
89 }
90
91 /* Make copy of src, replacing "from" with "to". */
92 static char *replace(const void *ctx, const char *src,
93                      const char *from, const char *to)
94 {
95         char *ret = tal_strdup(ctx, "");
96         unsigned int rlen, len, add;
97
98         rlen = len = 0;
99         for (;;) {
100                 const char *next = strstr(src+len, from);
101                 if (!next)
102                         add = strlen(src+len) + 1;
103                 else
104                         add = next - (src+len);
105
106                 tal_resize(&ret, rlen + add + strlen(to)+1);
107                 memcpy(ret+rlen, src+len, add);
108                 if (!next)
109                         return ret;
110                 len += add;
111                 rlen += add;
112                 strcpy(ret+rlen, to);
113                 rlen += strlen(to);
114                 len += strlen(from);
115         }
116 }
117
118 /* This is a terrible hack.  We scan for ccan/ strings. */
119 static char **get_one_safe_deps(const void *ctx,
120                                 const char *dir,
121                                 const char *style,
122                                 char *(*unused)(const void *, const char *))
123 {
124         char **deps, **lines, *raw, *fname;
125         unsigned int i, n;
126         bool correct_style = false;
127
128         fname = path_join(ctx, dir, "_info");
129         raw = grab_file(fname, fname);
130         if (!raw)
131                 errx(1, "Could not open %s", fname);
132
133         /* Replace \n by actual line breaks, and split it. */
134         lines = tal_strsplit(raw, replace(raw, raw, "\\n", "\n"), "\n",
135                              STR_EMPTY_OK);
136
137         deps = tal_arr(ctx, char *, tal_count(lines));
138
139         for (n = i = 0; lines[i]; i++) {
140                 char *str;
141                 unsigned int len;
142
143                 /* Ignore lines starting with # (e.g. #include) */
144                 if (lines[i][0] == '#')
145                         continue;
146
147                 if (strstr(lines[i], "\"testdepends\""))
148                         correct_style = streq(style, "testdepends");
149                 else if (strstr(lines[i], "\"depends\""))
150                         correct_style = streq(style, "depends");
151
152                 if (!correct_style)
153                         continue;
154
155                 /* Start of line, or after ". */
156                 if (strstarts(lines[i], "ccan/"))
157                         str = lines[i];
158                 else {
159                         str = strstr(lines[i], "\"ccan/");
160                         if (!str)
161                                 continue;
162                         str++;
163                 }
164                 
165                 len = strspn(str, "/abcdefghijklmnopqrstuvxwyz12345678980_");
166                 if (len == 5)
167                         continue;
168                 deps[n++] = tal_strndup(deps, str, len);
169         }
170         deps[n] = NULL;
171         tal_free(fname);
172
173         /* Make sure tal_array_length() works */
174         tal_resize(&deps, n + 1);
175         return deps;
176 }
177
178 static bool have_dep(char **deps, const char *dep)
179 {
180         unsigned int i;
181
182         for (i = 0; deps[i]; i++)
183                 if (streq(deps[i], dep))
184                         return true;
185         return false;
186 }
187
188
189
190 /* Gets all the dependencies, recursively. */
191 static char **
192 get_all_deps(const void *ctx, const char *dir, const char *style,
193              char *(*get_info)(const void *ctx, const char *dir),
194              char **(*get_one)(const void *, const char *, const char *,
195                                char *(*get_info)(const void *, const char *)))
196 {
197         char **deps;
198         unsigned int i;
199
200         deps = get_one(ctx, dir, style, get_info);
201         if (!deps)
202                 return NULL;
203         for (i = 0; i < tal_count(deps)-1; i++) {
204                 char **newdeps;
205                 unsigned int j;
206                 char *subdir;
207
208                 if (!strstarts(deps[i], "ccan/"))
209                         continue;
210
211                 subdir = path_join(ctx, find_ccan_dir(dir), deps[i]);
212                 newdeps = get_one(ctx, subdir, "depends", get_info);
213
214                 /* Should be short, so brute-force out dups. */
215                 for (j = 0; j < tal_count(newdeps)-1; j++) {
216                         unsigned int num;
217
218                         if (have_dep(deps, newdeps[j]))
219                                 continue;
220
221                         num = tal_count(deps)-1;
222                         tal_resize(&deps, num + 2);
223                         deps[num] = newdeps[j];
224                         deps[num+1] = NULL;
225                 }
226         }
227         return deps;
228 }
229
230 /* Can return NULL: _info may not support prop. */
231 static char **get_one_prop(const void *ctx, const char *dir, const char *prop,
232                            char *(*get_info)(const void *ctx, const char *dir))
233 {
234         char *cmd, **lines;
235
236         cmd = tal_fmt(ctx, "%s %s", get_info(ctx, dir), prop);
237         lines = lines_from_cmd(cmd, "%s", cmd);
238         /* Strip final NULL. */
239         if (lines)
240                 tal_resize(&lines, tal_count(lines)-1);
241         return lines;
242 }
243
244 static char **get_one_libs(const void *ctx, const char *dir,
245                            char *(*get_info)(const void *ctx, const char *dir))
246 {
247         return get_one_prop(ctx, dir, "libs", get_info);
248 }
249
250 static char **get_one_cflags(const void *ctx, const char *dir,
251                            char *(*get_info)(const void *ctx, const char *dir))
252 {
253         return get_one_prop(ctx, dir, "cflags", get_info);
254 }
255
256 static char **get_one_ccanlint(const void *ctx, const char *dir,
257                                char *(*get_info)(const void *ctx, const char *dir))
258 {
259         return get_one_prop(ctx, dir, "ccanlint", get_info);
260 }
261
262 /* O(n^2) but n is small. */
263 static char **add_deps(char **deps1, char **deps2)
264 {
265         unsigned int i, len;
266
267         len = tal_count(deps1);
268
269         for (i = 0; deps2[i]; i++) {
270                 if (have_dep(deps1, deps2[i]))
271                         continue;
272                 tal_resize(&deps1, len + 1);
273                 deps1[len-1] = tal_strdup(deps1, deps2[i]);
274                 deps1[len++] = NULL;
275         }
276         return deps1;
277 }
278
279 char **get_cflags(const void *ctx, const char *dir,
280         char *(*get_info)(const void *ctx, const char *dir))
281 {
282         char **flags;
283         unsigned int len;
284         flags = get_one_cflags(ctx, dir, get_info);
285         len = tal_count(flags);
286         tal_resize(&flags, len + 1);
287         flags[len] = NULL;
288         return flags;
289 }
290
291 char **get_ccanlint(const void *ctx, const char *dir,
292                     char *(*get_info)(const void *ctx, const char *dir))
293 {
294         char **ccanlint;
295         unsigned int len;
296         ccanlint = get_one_ccanlint(ctx, dir, get_info);
297         len = tal_count(ccanlint);
298         tal_resize(&ccanlint, len + 1);
299         ccanlint[len] = NULL;
300         return ccanlint;
301 }
302
303 static char *get_one_ported(const void *ctx, const char *dir,
304                             char *(*get_info)(const void *ctx, const char *dir))
305 {
306         char **ported = get_one_prop(ctx, dir, "ported", get_info);
307
308         /* No news is good news. */
309         if (tal_count(ported) == 0)
310                 return NULL;
311
312         if (tal_count(ported) != 1)
313                 errx(1, "%s/_info ported gave %zu lines, not one",
314                      dir, tal_count(ported));
315
316         if (streq(ported[0], ""))
317                 return NULL;
318         else
319                 return ported[0];
320 }
321
322 char *get_ported(const void *ctx, const char *dir, bool recurse,
323                 char *(*get_info)(const void *ctx, const char *dir))
324 {
325         char *msg;
326
327         msg = get_one_ported(ctx, dir, get_info);
328         if (msg)
329                 return msg;
330
331         if (recurse) {
332                 size_t i;
333                 char **deps = get_deps(ctx, dir, "depends", true, get_info);
334                 for (i = 0; deps[i]; i++) {
335                         char *subdir;
336                         if (!strstarts(deps[i], "ccan/"))
337                                 continue;
338
339                         subdir = path_join(ctx, find_ccan_dir(dir), deps[i]);
340                         msg = get_one_ported(ctx, subdir, get_info);
341                         if (msg)
342                                 return msg;
343                 }
344         }
345         return NULL;
346 }
347
348 char **get_libs(const void *ctx, const char *dir, const char *style,
349                 char *(*get_info)(const void *ctx, const char *dir))
350 {
351         char **deps, **libs;
352         unsigned int i, len;
353
354         libs = get_one_libs(ctx, dir, get_info);
355         len = tal_count(libs);
356
357         if (style) {
358                 deps = get_deps(ctx, dir, style, true, get_info);
359                 if (streq(style, "testdepends"))
360                         deps = add_deps(deps,
361                                         get_deps(ctx, dir, "depends", true,
362                                                  get_info));
363
364                 for (i = 0; deps[i]; i++) {
365                         char **newlibs, *subdir;
366                         size_t newlen;
367
368                         if (!strstarts(deps[i], "ccan/"))
369                                 continue;
370
371                         subdir = path_join(ctx, find_ccan_dir(dir), deps[i]);
372
373                         newlibs = get_one_libs(ctx, subdir, get_info);
374                         newlen = tal_count(newlibs);
375                         tal_resize(&libs, len + newlen);
376                         memcpy(&libs[len], newlibs,
377                                sizeof(newlibs[0])*newlen);
378                         len += newlen;
379                 }
380         }
381
382         /* Append NULL entry. */
383         tal_resize(&libs, len + 1);
384         libs[len] = NULL;
385         return libs;
386 }
387
388 /* FIXME: This is O(n^2), which is dumb. */
389 static char **uniquify_deps(char **deps)
390 {
391         unsigned int i, j, num;
392
393         if (!deps)
394                 return NULL;
395
396         num = tal_count(deps) - 1;
397         for (i = 0; i < num; i++) {
398                 for (j = i + 1; j < num; j++) {
399                         if (streq(deps[i], deps[j])) {
400                                 memmove(&deps[j], &deps[j+1],
401                                         (num - j - 1) * sizeof(char *));
402                                 num--;
403                         }
404                 }
405         }
406         deps[num] = NULL;
407         /* Make sure tal_count() works */
408         tal_resize(&deps, num + 1);
409         return deps;
410 }
411
412 char **get_deps(const void *ctx, const char *dir, const char *style,
413                 bool recurse,
414                 char *(*get_info)(const void *ctx, const char *dir))
415 {
416         char **ret;
417
418         if (!recurse) {
419                 ret = get_one_deps(ctx, dir, style, get_info);
420         } else
421                 ret = get_all_deps(ctx, dir, style, get_info, get_one_deps);
422
423         return uniquify_deps(ret);
424 }
425
426 char **get_safe_ccan_deps(const void *ctx, const char *dir, const char *style,
427                           bool recurse)
428 {
429         char **ret;
430         if (!recurse) {
431                 ret = get_one_safe_deps(ctx, dir, style, NULL);
432         } else {
433                 ret = get_all_deps(ctx, dir, style, NULL, get_one_safe_deps);
434         }
435         return uniquify_deps(ret);
436 }