git.ozlabs.org Git - ccan/blob - ccan/timer/timer.c

   1 /* LGPL (v2.1 or any later version) - see LICENSE file for details */
   2 #include <ccan/timer/timer.h>
   3 #include <ccan/array_size/array_size.h>
   4 #include <ccan/ilog/ilog.h>
   5 #include <stdlib.h>
   6 #include <stdio.h>
   7
   8 #define PER_LEVEL (1ULL << TIMER_LEVEL_BITS)
   9
  10 struct timer_level {
  11         struct list_head list[PER_LEVEL];
  12 };
  13
  14 static uint64_t time_to_grains(struct timemono t)
  15 {
  16         return t.ts.tv_sec * ((uint64_t)1000000000 / TIMER_GRANULARITY)
  17                 + (t.ts.tv_nsec / TIMER_GRANULARITY);
  18 }
  19
  20 static struct timemono grains_to_time(uint64_t grains)
  21 {
  22         struct timemono t;
  23
  24         t.ts.tv_sec = grains / (1000000000 / TIMER_GRANULARITY);
  25         t.ts.tv_nsec = (grains % (1000000000 / TIMER_GRANULARITY))
  26                 * TIMER_GRANULARITY;
  27         return t;
  28 }
  29
  30 void timers_init(struct timers *timers, struct timemono start)
  31 {
  32         unsigned int i;
  33
  34         list_head_init(&timers->far);
  35         timers->base = time_to_grains(start);
  36         timers->first = -1ULL;
  37         memset(timers->firsts, 0xFF, sizeof(timers->firsts));
  38         for (i = 0; i < ARRAY_SIZE(timers->level); i++)
  39                 timers->level[i] = NULL;
  40 }
  41
  42 static unsigned int level_of(const struct timers *timers, uint64_t time)
  43 {
  44         uint64_t diff;
  45
  46         /* Level depends how far away it is. */
  47         diff = time - timers->base;
  48         return ilog64(diff / 2) / TIMER_LEVEL_BITS;
  49 }
  50
  51 static void timer_add_raw(struct timers *timers, struct timer *t)
  52 {
  53         struct list_head *l;
  54         unsigned int level = level_of(timers, t->time);
  55         uint64_t *first;
  56
  57         if (!timers->level[level]) {
  58                 l = &timers->far;
  59                 first = &timers->firsts[ARRAY_SIZE(timers->level)];
  60         } else {
  61                 int off = (t->time >> (level*TIMER_LEVEL_BITS)) & (PER_LEVEL-1);
  62                 l = &timers->level[level]->list[off];
  63                 first = &timers->firsts[level];
  64         }
  65
  66         list_add_tail(l, &t->list);
  67         if (t->time < *first)
  68                 *first = t->time;
  69 }
  70
  71 void timer_init(struct timer *t)
  72 {
  73         list_node_init(&t->list);
  74 }
  75
  76 static bool list_node_initted(const struct list_node *n)
  77 {
  78         return n->prev == n;
  79 }
  80
  81 void timer_addrel(struct timers *timers, struct timer *t, struct timerel rel)
  82 {
  83         assert(list_node_initted(&t->list));
  84
  85         t->time = time_to_grains(timemono_add(time_mono(), rel));
  86
  87 #if TIME_HAVE_MONOTONIC
  88         assert(t->time >= timers->base);
  89 #else
  90         /* Added in the past?  Treat it as imminent. */
  91         if (t->time < timers->base)
  92                 t->time = timers->base;
  93 #endif
  94         if (t->time < timers->first)
  95                 timers->first = t->time;
  96
  97         timer_add_raw(timers, t);
  98 }
  99
 100 void timer_addmono(struct timers *timers, struct timer *t, struct timemono when)
 101 {
 102         assert(list_node_initted(&t->list));
 103
 104         t->time = time_to_grains(when);
 105
 106         /* Added in the past?  Treat it as imminent. */
 107         if (t->time < timers->base)
 108                 t->time = timers->base;
 109         if (t->time < timers->first)
 110                 timers->first = t->time;
 111
 112         timer_add_raw(timers, t);
 113 }
 114
 115 /* FIXME: inline */
 116 void timer_del(struct timers *timers UNNEEDED, struct timer *t)
 117 {
 118         list_del_init(&t->list);
 119 }
 120
 121 static void timers_far_get(struct timers *timers,
 122                            struct list_head *list,
 123                            uint64_t when)
 124 {
 125         struct timer *i, *next;
 126
 127         list_for_each_safe(&timers->far, i, next, list) {
 128                 if (i->time <= when) {
 129                         list_del_from(&timers->far, &i->list);
 130                         list_add_tail(list, &i->list);
 131                 }
 132         }
 133 }
 134
 135 static void add_level(struct timers *timers, unsigned int level)
 136 {
 137         struct timer_level *l;
 138         struct timer *t;
 139         unsigned int i;
 140         struct list_head from_far;
 141
 142         l = malloc(sizeof(*l));
 143         if (!l)
 144                 return;
 145
 146         for (i = 0; i < ARRAY_SIZE(l->list); i++)
 147                 list_head_init(&l->list[i]);
 148         timers->level[level] = l;
 149
 150         list_head_init(&from_far);
 151         timers_far_get(timers, &from_far,
 152                        timers->base + (1ULL << ((level+1)*TIMER_LEVEL_BITS)) - 1);
 153
 154         while ((t = list_pop(&from_far, struct timer, list)) != NULL)
 155                 timer_add_raw(timers, t);
 156 }
 157
 158 /* We don't need to search past the first at level 0, since the
 159  * bucket range is 1; they're all the same. */
 160 static const struct timer *find_first(const struct list_head *list,
 161                                       unsigned int level,
 162                                       const struct timer *prev)
 163 {
 164         struct timer *t;
 165
 166         list_for_each(list, t, list) {
 167                 if (!prev || t->time < prev->time)
 168                         prev = t;
 169                 if (level == 0)
 170                         break;
 171         }
 172         return prev;
 173 }
 174
 175 /* Update level's first watermark, and return overall first. */
 176 static const struct timer *first_for_level(struct timers *timers,
 177                                            size_t level,
 178                                            const struct timer *level_first,
 179                                            const struct timer *first)
 180 {
 181         if (level_first) {
 182                 timers->firsts[level] = level_first->time;
 183                 if (!first || level_first->time < first->time)
 184                         first = level_first;
 185         } else {
 186                 timers->firsts[level] = -1ULL;
 187         }
 188         return first;
 189 }
 190
 191 static bool level_may_beat(const struct timers *timers, size_t level,
 192                            const struct timer *first)
 193 {
 194         return !first || timers->firsts[level] < first->time;
 195 }
 196
 197 /* FIXME: Suboptimal */
 198 static const struct timer *brute_force_first(struct timers *timers)
 199 {
 200         unsigned int l, i;
 201         const struct timer *found = NULL;
 202
 203         for (l = 0; l < ARRAY_SIZE(timers->level) && timers->level[l]; l++) {
 204                 const struct timer *t = NULL;
 205
 206                 /* Do we know they don't have a better one? */
 207                 if (!level_may_beat(timers, l, found))
 208                         continue;
 209
 210                 /* Find first timer on this level. */
 211                 for (i = 0; i < PER_LEVEL; i++)
 212                         t = find_first(&timers->level[l]->list[i], l, t);
 213
 214                 found = first_for_level(timers, l, t, found);
 215         }
 216
 217         /* Check (and update) far list if there's a chance. */
 218         l = ARRAY_SIZE(timers->level);
 219         if (level_may_beat(timers, l, found)) {
 220                 const struct timer *t = find_first(&timers->far, l, NULL);
 221                 found = first_for_level(timers, l, t, found);
 222         }
 223
 224         return found;
 225 }
 226
 227 static const struct timer *get_first(struct timers *timers)
 228 {
 229         /* We can have just far timers, for example. */
 230         if (timers->level[0]) {
 231                 /* First search rest of lower buckets; we've already spilled
 232                  * so if we find one there we don't need to search further. */
 233                 unsigned int i, off = timers->base % PER_LEVEL;
 234
 235                 for (i = off; i < PER_LEVEL; i++) {
 236                         struct list_head *h = &timers->level[0]->list[i];
 237                         if (!list_empty(h))
 238                                 return find_first(h, 0, NULL);
 239                 }
 240         }
 241
 242         /* From here on, we're searching non-normalized parts of the
 243          * data structure, which is much subtler.
 244          *
 245          * So we brute force. */
 246         return brute_force_first(timers);
 247 }
 248
 249 static bool update_first(struct timers *timers)
 250 {
 251         const struct timer *found = get_first(timers);
 252
 253         if (!found) {
 254                 timers->first = -1ULL;
 255                 return false;
 256         }
 257
 258         timers->first = found->time;
 259         return true;
 260 }
 261
 262 bool timer_earliest(struct timers *timers, struct timemono *first)
 263 {
 264         if (!update_first(timers))
 265                 return false;
 266
 267         *first = grains_to_time(timers->first);
 268         return true;
 269 }
 270
 271 /* Assume no timers before 'time', cascade down and update base time. */
 272 static void timer_fast_forward(struct timers *timers, uint64_t time)
 273 {
 274         unsigned int level, changed;
 275         int need_level = -1;
 276         struct list_head list;
 277         struct timer *i;
 278
 279         /* How many bits changed between base and time?
 280          * Each time we wrap, we need to empty buckets from above. */
 281         if (time == timers->base)
 282                 return;
 283
 284         changed = ilog64_nz(time ^ timers->base);
 285         level = (changed - 1) / TIMER_LEVEL_BITS;
 286
 287         /* Buckets always empty downwards, so we could cascade manually,
 288          * but it's rarely very many so we just remove and re-add */
 289         list_head_init(&list);
 290
 291         do {
 292                 if (!timers->level[level]) {
 293                         /* We need any which belong on this level. */
 294                         timers_far_get(timers, &list,
 295                                        timers->base
 296                                        + (1ULL << ((level+1)*TIMER_LEVEL_BITS))-1);
 297                         need_level = level;
 298                 } else {
 299                         unsigned src;
 300
 301                         /* Get all timers from this bucket. */
 302                         src = (time >> (level * TIMER_LEVEL_BITS)) % PER_LEVEL;
 303                         list_append_list(&list,
 304                                          &timers->level[level]->list[src]);
 305                 }
 306         } while (level--);
 307
 308         /* Did we hit the last level?  If so, add. */
 309         if (need_level != -1)
 310                 add_level(timers, need_level);
 311
 312         /* Fast-forward the time, and re-add everyone. */
 313         timers->base = time;
 314         while ((i = list_pop(&list, struct timer, list)) != NULL)
 315                 timer_add_raw(timers, i);
 316 }
 317
 318 /* Returns an expired timer. */
 319 struct timer *timers_expire(struct timers *timers, struct timemono expire)
 320 {
 321         uint64_t now = time_to_grains(expire);
 322         unsigned int off;
 323         struct timer *t;
 324
 325         assert(now >= timers->base);
 326
 327         if (!timers->level[0]) {
 328                 if (list_empty(&timers->far))
 329                         return NULL;
 330                 add_level(timers, 0);
 331         }
 332
 333         do {
 334                 if (timers->first > now) {
 335                         timer_fast_forward(timers, now);
 336                         return NULL;
 337                 }
 338
 339                 timer_fast_forward(timers, timers->first);
 340                 off = timers->base % PER_LEVEL;
 341
 342                 /* This *may* be NULL, if we deleted the first timer */
 343                 t = list_pop(&timers->level[0]->list[off], struct timer, list);
 344                 if (t)
 345                         list_node_init(&t->list);
 346         } while (!t && update_first(timers));
 347
 348         return t;
 349 }
 350
 351 static bool timer_list_check(const struct list_head *l,
 352                              uint64_t min, uint64_t max, uint64_t first,
 353                              const char *abortstr)
 354 {
 355         const struct timer *t;
 356
 357         if (!list_check(l, abortstr))
 358                 return false;
 359
 360         list_for_each(l, t, list) {
 361                 if (t->time < min || t->time > max) {
 362                         if (abortstr) {
 363                                 fprintf(stderr,
 364                                         "%s: timer %p %llu not %llu-%llu\n",
 365                                         abortstr, t, (long long)t->time,
 366                                         (long long)min, (long long)max);
 367                                 abort();
 368                         }
 369                         return false;
 370                 }
 371                 if (t->time < first) {
 372                         if (abortstr) {
 373                                 fprintf(stderr,
 374                                         "%s: timer %p %llu < minimum %llu\n",
 375                                         abortstr, t, (long long)t->time,
 376                                         (long long)first);
 377                                 abort();
 378                         }
 379                         return false;
 380                 }
 381         }
 382         return true;
 383 }
 384
 385 struct timers *timers_check(const struct timers *timers, const char *abortstr)
 386 {
 387         unsigned int l, i, off;
 388         uint64_t base;
 389
 390         l = 0;
 391         if (!timers->level[0])
 392                 goto past_levels;
 393
 394         /* First level is simple. */
 395         off = timers->base % PER_LEVEL;
 396         for (i = 0; i < PER_LEVEL; i++) {
 397                 struct list_head *h;
 398
 399                 h = &timers->level[l]->list[(i+off) % PER_LEVEL];
 400                 if (!timer_list_check(h, timers->base + i, timers->base + i,
 401                                       timers->firsts[l], abortstr))
 402                         return NULL;
 403         }
 404
 405         /* For other levels, "current" bucket has been emptied, and may contain
 406          * entries for the current + level_size bucket. */
 407         for (l = 1; l < ARRAY_SIZE(timers->level) && timers->level[l]; l++) {
 408                 uint64_t per_bucket = 1ULL << (TIMER_LEVEL_BITS * l);
 409
 410                 off = ((timers->base >> (l*TIMER_LEVEL_BITS)) % PER_LEVEL);
 411                 /* We start at *next* bucket. */
 412                 base = (timers->base & ~(per_bucket - 1)) + per_bucket;
 413
 414                 for (i = 1; i <= PER_LEVEL; i++) {
 415                         struct list_head *h;
 416
 417                         h = &timers->level[l]->list[(i+off) % PER_LEVEL];
 418                         if (!timer_list_check(h, base, base + per_bucket - 1,
 419                                               timers->firsts[l], abortstr))
 420                                 return NULL;
 421                         base += per_bucket;
 422                 }
 423         }
 424
 425 past_levels:
 426         base = (timers->base & ~((1ULL << (TIMER_LEVEL_BITS * l)) - 1))
 427                 + (1ULL << (TIMER_LEVEL_BITS * l)) - 1;
 428         if (!timer_list_check(&timers->far, base, -1ULL,
 429                               timers->firsts[ARRAY_SIZE(timers->level)],
 430                               abortstr))
 431                 return NULL;
 432
 433         return (struct timers *)timers;
 434 }
 435
 436 #ifdef CCAN_TIMER_DEBUG
 437 static void dump_bucket_stats(FILE *fp, const struct list_head *h)
 438 {
 439         unsigned long long min, max, num;
 440         struct timer *t;
 441
 442         if (list_empty(h)) {
 443                 printf("\n");
 444                 return;
 445         }
 446
 447         min = -1ULL;
 448         max = 0;
 449         num = 0;
 450         list_for_each(h, t, list) {
 451                 if (t->time < min)
 452                         min = t->time;
 453                 if (t->time > max)
 454                         max = t->time;
 455                 num++;
 456         }
 457         fprintf(fp, " %llu (%llu-%llu)\n",
 458                 num, min, max);
 459 }
 460
 461 void timers_dump(const struct timers *timers, FILE *fp)
 462 {
 463         unsigned int l, i, off;
 464         unsigned long long base;
 465
 466         if (!fp)
 467                 fp = stderr;
 468
 469         fprintf(fp, "Base: %llu\n", (unsigned long long)timers->base);
 470
 471         if (!timers->level[0])
 472                 goto past_levels;
 473
 474         fprintf(fp, "Level 0:\n");
 475
 476         /* First level is simple. */
 477         off = timers->base % PER_LEVEL;
 478         for (i = 0; i < PER_LEVEL; i++) {
 479                 const struct list_head *h;
 480
 481                 fprintf(fp, "  Bucket %llu (%lu):",
 482                         (i+off) % PER_LEVEL, timers->base + i);
 483                 h = &timers->level[0]->list[(i+off) % PER_LEVEL];
 484                 dump_bucket_stats(fp, h);
 485         }
 486
 487         /* For other levels, "current" bucket has been emptied, and may contain
 488          * entries for the current + level_size bucket. */
 489         for (l = 1; l < ARRAY_SIZE(timers->level) && timers->level[l]; l++) {
 490                 uint64_t per_bucket = 1ULL << (TIMER_LEVEL_BITS * l);
 491
 492                 off = ((timers->base >> (l*TIMER_LEVEL_BITS)) % PER_LEVEL);
 493                 /* We start at *next* bucket. */
 494                 base = (timers->base & ~(per_bucket - 1)) + per_bucket;
 495
 496                 fprintf(fp, "Level %u:\n", l);
 497                 for (i = 1; i <= PER_LEVEL; i++) {
 498                         const struct list_head *h;
 499
 500                         fprintf(fp, "  Bucket %llu (%llu - %llu):",
 501                                 (i+off) % PER_LEVEL,
 502                                 base, base + per_bucket - 1);
 503
 504                         h = &timers->level[l]->list[(i+off) % PER_LEVEL];
 505                         dump_bucket_stats(fp, h);
 506                         base += per_bucket;
 507                 }
 508         }
 509
 510 past_levels:
 511         if (!list_empty(&timers->far)) {
 512                 fprintf(fp, "Far timers:");
 513                 dump_bucket_stats(fp, &timers->far);
 514         }
 515 }
 516 #endif
 517
 518 void timers_cleanup(struct timers *timers)
 519 {
 520         unsigned int l;
 521
 522         for (l = 0; l < ARRAY_SIZE(timers->level); l++)
 523                 free(timers->level[l]);
 524 }