bf4015bf3c4c0f50ee0cc5b784517fbf02905e6d
[ccan] / tools / depends.c
1 #include <ccan/str/str.h>
2 #include <ccan/read_write_all/read_write_all.h>
3 #include <ccan/rbuf/rbuf.h>
4 #include <ccan/tal/path/path.h>
5 #include <ccan/tal/grab_file/grab_file.h>
6 #include <ccan/compiler/compiler.h>
7 #include <ccan/err/err.h>
8 #include "tools.h"
9 #include <sys/types.h>
10 #include <sys/stat.h>
11 #include <fcntl.h>
12 #include <stdbool.h>
13 #include <unistd.h>
14 #include <errno.h>
15
16 static char ** PRINTF_FMT(2, 3)
17 lines_from_cmd(const void *ctx, const char *format, ...)
18 {
19         va_list ap;
20         char *cmd;
21         FILE *p;
22         struct rbuf in;
23         char *str;
24
25         va_start(ap, format);
26         cmd = tal_vfmt(ctx, format, ap);
27         va_end(ap);
28
29         p = popen(cmd, "r");
30         if (!p)
31                 err(1, "Executing '%s'", cmd);
32
33         /* FIXME: Use rbuf_read_str(&in, '\n') rather than strsplit! */
34         rbuf_init(&in, fileno(p), tal_arr(ctx, char, 0), 0, membuf_tal_realloc);
35         str = rbuf_read_str(&in, 0);
36         if (!str)
37                 err(1, "Reading from '%s'", cmd);
38         pclose(p);
39
40         return tal_strsplit(ctx, str, "\n", STR_EMPTY_OK);
41 }
42
43 /* Be careful about trying to compile over running programs (parallel make).
44  * temp_file helps here. */
45 char *compile_info(const void *ctx, const char *dir)
46 {
47         char *info_c_file, *info, *compiled, *output;
48         int fd;
49
50         /* Copy it to a file with proper .c suffix. */
51         info = grab_file(ctx, tal_fmt(ctx, "%s/_info", dir));
52         if (!info)
53                 return NULL;
54
55         info_c_file = temp_file(ctx, ".c", "_info");
56         fd = open(info_c_file, O_WRONLY|O_CREAT|O_EXCL, 0600);
57         if (fd < 0)
58                 return NULL;
59         if (!write_all(fd, info, tal_count(info)-1)) {
60                 close(fd);
61                 return NULL;
62         }
63
64         if (close(fd) != 0)
65                 return NULL;
66
67         compiled = temp_file(ctx, "", "info");
68         if (compile_and_link(ctx, info_c_file, find_ccan_dir(dir), "",
69                              compiler, cflags, "", compiled, &output))
70                 return compiled;
71         return NULL;
72 }
73
74 static char **get_one_deps(const void *ctx, const char *dir, const char *style,
75                            char *(*get_info)(const void *ctx, const char *dir))
76 {
77         char **deps, *cmd;
78         char *infofile = get_info(ctx, dir);
79
80         if (!infofile)
81                 return NULL;
82
83         cmd = tal_fmt(ctx, "%s %s", infofile, style);
84         deps = lines_from_cmd(cmd, "%s", cmd);
85         if (!deps) {
86                 /* You must understand depends, maybe not testdepends. */
87                 if (streq(style, "depends"))
88                         err(1, "Could not run '%s'", cmd);
89                 deps = tal(ctx, char *);
90                 deps[0] = NULL;
91         }
92         return deps;
93 }
94
95 /* Make copy of src, replacing "from" with "to". */
96 static char *replace(const void *ctx, const char *src,
97                      const char *from, const char *to)
98 {
99         char *ret = tal_strdup(ctx, "");
100         unsigned int rlen, len, add;
101
102         rlen = len = 0;
103         for (;;) {
104                 const char *next = strstr(src+len, from);
105                 if (!next)
106                         add = strlen(src+len) + 1;
107                 else
108                         add = next - (src+len);
109
110                 tal_resize(&ret, rlen + add + strlen(to)+1);
111                 memcpy(ret+rlen, src+len, add);
112                 if (!next)
113                         return ret;
114                 len += add;
115                 rlen += add;
116                 strcpy(ret+rlen, to);
117                 rlen += strlen(to);
118                 len += strlen(from);
119         }
120 }
121
122 /* This is a terrible hack.  We scan for ccan/ strings. */
123 static char **get_one_safe_deps(const void *ctx,
124                                 const char *dir,
125                                 const char *style,
126                                 char *(*unused)(const void *, const char *))
127 {
128         char **deps, **lines, *raw, *fname;
129         unsigned int i, n;
130         bool correct_style = false;
131
132         fname = path_join(ctx, dir, "_info");
133         raw = grab_file(fname, fname);
134         if (!raw)
135                 errx(1, "Could not open %s", fname);
136
137         /* Replace \n by actual line breaks, and split it. */
138         lines = tal_strsplit(raw, replace(raw, raw, "\\n", "\n"), "\n",
139                              STR_EMPTY_OK);
140
141         deps = tal_arr(ctx, char *, tal_count(lines));
142
143         for (n = i = 0; lines[i]; i++) {
144                 char *str;
145                 unsigned int len;
146
147                 /* Ignore lines starting with # (e.g. #include) */
148                 if (lines[i][0] == '#')
149                         continue;
150
151                 if (strstr(lines[i], "\"testdepends\""))
152                         correct_style = streq(style, "testdepends");
153                 else if (strstr(lines[i], "\"depends\""))
154                         correct_style = streq(style, "depends");
155
156                 if (!correct_style)
157                         continue;
158
159                 /* Start of line, or after ". */
160                 if (strstarts(lines[i], "ccan/"))
161                         str = lines[i];
162                 else {
163                         str = strstr(lines[i], "\"ccan/");
164                         if (!str)
165                                 continue;
166                         str++;
167                 }
168                 
169                 len = strspn(str, "/abcdefghijklmnopqrstuvxwyz12345678980_");
170                 if (len == 5)
171                         continue;
172                 deps[n++] = tal_strndup(deps, str, len);
173         }
174         deps[n] = NULL;
175         tal_free(fname);
176
177         /* Make sure tal_array_length() works */
178         tal_resize(&deps, n + 1);
179         return deps;
180 }
181
182 static bool have_dep(char **deps, const char *dep)
183 {
184         unsigned int i;
185
186         for (i = 0; deps[i]; i++)
187                 if (streq(deps[i], dep))
188                         return true;
189         return false;
190 }
191
192
193
194 /* Gets all the dependencies, recursively. */
195 static char **
196 get_all_deps(const void *ctx, const char *dir, const char *style,
197              char *(*get_info)(const void *ctx, const char *dir),
198              char **(*get_one)(const void *, const char *, const char *,
199                                char *(*get_info)(const void *, const char *)))
200 {
201         char **deps;
202         unsigned int i;
203
204         deps = get_one(ctx, dir, style, get_info);
205         if (!deps)
206                 return NULL;
207         for (i = 0; i < tal_count(deps)-1; i++) {
208                 char **newdeps;
209                 unsigned int j;
210                 char *subdir;
211
212                 if (!strstarts(deps[i], "ccan/"))
213                         continue;
214
215                 subdir = path_join(ctx, find_ccan_dir(dir), deps[i]);
216                 newdeps = get_one(ctx, subdir, "depends", get_info);
217
218                 /* Should be short, so brute-force out dups. */
219                 for (j = 0; j < tal_count(newdeps)-1; j++) {
220                         unsigned int num;
221
222                         if (have_dep(deps, newdeps[j]))
223                                 continue;
224
225                         num = tal_count(deps)-1;
226                         tal_resize(&deps, num + 2);
227                         deps[num] = newdeps[j];
228                         deps[num+1] = NULL;
229                 }
230         }
231         return deps;
232 }
233
234 /* Can return NULL: _info may not support prop. */
235 static char **get_one_prop(const void *ctx, const char *dir, const char *prop,
236                            char *(*get_info)(const void *ctx, const char *dir))
237 {
238         char *cmd, **lines;
239
240         cmd = tal_fmt(ctx, "%s %s", get_info(ctx, dir), prop);
241         lines = lines_from_cmd(cmd, "%s", cmd);
242         /* Strip final NULL. */
243         if (lines)
244                 tal_resize(&lines, tal_count(lines)-1);
245         return lines;
246 }
247
248 static char **get_one_libs(const void *ctx, const char *dir,
249                            char *(*get_info)(const void *ctx, const char *dir))
250 {
251         return get_one_prop(ctx, dir, "libs", get_info);
252 }
253
254 static char **get_one_cflags(const void *ctx, const char *dir,
255                            char *(*get_info)(const void *ctx, const char *dir))
256 {
257         return get_one_prop(ctx, dir, "cflags", get_info);
258 }
259
260 static char **get_one_ccanlint(const void *ctx, const char *dir,
261                                char *(*get_info)(const void *ctx, const char *dir))
262 {
263         return get_one_prop(ctx, dir, "ccanlint", get_info);
264 }
265
266 /* O(n^2) but n is small. */
267 static char **add_deps(char **deps1, char **deps2)
268 {
269         unsigned int i, len;
270
271         len = tal_count(deps1);
272
273         for (i = 0; deps2[i]; i++) {
274                 if (have_dep(deps1, deps2[i]))
275                         continue;
276                 tal_resize(&deps1, len + 1);
277                 deps1[len-1] = tal_strdup(deps1, deps2[i]);
278                 deps1[len++] = NULL;
279         }
280         return deps1;
281 }
282
283 char **get_cflags(const void *ctx, const char *dir,
284         char *(*get_info)(const void *ctx, const char *dir))
285 {
286         char **flags;
287         unsigned int len;
288         flags = get_one_cflags(ctx, dir, get_info);
289         len = tal_count(flags);
290         tal_resize(&flags, len + 1);
291         flags[len] = NULL;
292         return flags;
293 }
294
295 char **get_ccanlint(const void *ctx, const char *dir,
296                     char *(*get_info)(const void *ctx, const char *dir))
297 {
298         char **ccanlint;
299         unsigned int len;
300         ccanlint = get_one_ccanlint(ctx, dir, get_info);
301         len = tal_count(ccanlint);
302         tal_resize(&ccanlint, len + 1);
303         ccanlint[len] = NULL;
304         return ccanlint;
305 }
306
307 static char *get_one_ported(const void *ctx, const char *dir,
308                             char *(*get_info)(const void *ctx, const char *dir))
309 {
310         char **ported = get_one_prop(ctx, dir, "ported", get_info);
311
312         /* No news is good news. */
313         if (tal_count(ported) == 0)
314                 return NULL;
315
316         if (tal_count(ported) != 1)
317                 errx(1, "%s/_info ported gave %zu lines, not one",
318                      dir, tal_count(ported));
319
320         if (streq(ported[0], ""))
321                 return NULL;
322         else
323                 return ported[0];
324 }
325
326 char *get_ported(const void *ctx, const char *dir, bool recurse,
327                 char *(*get_info)(const void *ctx, const char *dir))
328 {
329         char *msg;
330
331         msg = get_one_ported(ctx, dir, get_info);
332         if (msg)
333                 return msg;
334
335         if (recurse) {
336                 size_t i;
337                 char **deps = get_deps(ctx, dir, "depends", true, get_info);
338                 for (i = 0; deps[i]; i++) {
339                         char *subdir;
340                         if (!strstarts(deps[i], "ccan/"))
341                                 continue;
342
343                         subdir = path_join(ctx, find_ccan_dir(dir), deps[i]);
344                         msg = get_one_ported(ctx, subdir, get_info);
345                         if (msg)
346                                 return msg;
347                 }
348         }
349         return NULL;
350 }
351
352 char **get_libs(const void *ctx, const char *dir, const char *style,
353                 char *(*get_info)(const void *ctx, const char *dir))
354 {
355         char **deps, **libs;
356         unsigned int i, len;
357
358         libs = get_one_libs(ctx, dir, get_info);
359         len = tal_count(libs);
360
361         if (style) {
362                 deps = get_deps(ctx, dir, style, true, get_info);
363                 if (streq(style, "testdepends"))
364                         deps = add_deps(deps,
365                                         get_deps(ctx, dir, "depends", true,
366                                                  get_info));
367
368                 for (i = 0; deps[i]; i++) {
369                         char **newlibs, *subdir;
370                         size_t newlen;
371
372                         if (!strstarts(deps[i], "ccan/"))
373                                 continue;
374
375                         subdir = path_join(ctx, find_ccan_dir(dir), deps[i]);
376
377                         newlibs = get_one_libs(ctx, subdir, get_info);
378                         newlen = tal_count(newlibs);
379                         tal_resize(&libs, len + newlen);
380                         memcpy(&libs[len], newlibs,
381                                sizeof(newlibs[0])*newlen);
382                         len += newlen;
383                 }
384         }
385
386         /* Append NULL entry. */
387         tal_resize(&libs, len + 1);
388         libs[len] = NULL;
389         return libs;
390 }
391
392 /* FIXME: This is O(n^2), which is dumb. */
393 static char **uniquify_deps(char **deps)
394 {
395         unsigned int i, j, num;
396
397         if (!deps)
398                 return NULL;
399
400         num = tal_count(deps) - 1;
401         for (i = 0; i < num; i++) {
402                 for (j = i + 1; j < num; j++) {
403                         if (streq(deps[i], deps[j])) {
404                                 memmove(&deps[j], &deps[j+1],
405                                         (num - j - 1) * sizeof(char *));
406                                 num--;
407                         }
408                 }
409         }
410         deps[num] = NULL;
411         /* Make sure tal_count() works */
412         tal_resize(&deps, num + 1);
413         return deps;
414 }
415
416 char **get_deps(const void *ctx, const char *dir, const char *style,
417                 bool recurse,
418                 char *(*get_info)(const void *ctx, const char *dir))
419 {
420         char **ret;
421
422         if (!recurse) {
423                 ret = get_one_deps(ctx, dir, style, get_info);
424         } else
425                 ret = get_all_deps(ctx, dir, style, get_info, get_one_deps);
426
427         return uniquify_deps(ret);
428 }
429
430 char **get_safe_ccan_deps(const void *ctx, const char *dir, const char *style,
431                           bool recurse)
432 {
433         char **ret;
434         if (!recurse) {
435                 ret = get_one_safe_deps(ctx, dir, style, NULL);
436         } else {
437                 ret = get_all_deps(ctx, dir, style, NULL, get_one_safe_deps);
438         }
439         return uniquify_deps(ret);
440 }