fix MT stuff; add DEBUG to compile command line for now
[ppp.git] / NeXT / bsd-comp.c
1 /* Because this code is derived from the 4.3BSD compress source:
2  *
3  *
4  * Copyright (c) 1985, 1986 The Regents of the University of California.
5  * All rights reserved.
6  *
7  * This code is derived from software contributed to Berkeley by
8  * James A. Woods, derived from original work by Spencer Thomas
9  * and Joseph Orost.
10  *
11  * Redistribution and use in source and binary forms, with or without
12  * modification, are permitted provided that the following conditions
13  * are met:
14  * 1. Redistributions of source code must retain the above copyright
15  *    notice, this list of conditions and the following disclaimer.
16  * 2. Redistributions in binary form must reproduce the above copyright
17  *    notice, this list of conditions and the following disclaimer in the
18  *    documentation and/or other materials provided with the distribution.
19  * 3. All advertising materials mentioning features or use of this software
20  *    must display the following acknowledgement:
21  *      This product includes software developed by the University of
22  *      California, Berkeley and its contributors.
23  * 4. Neither the name of the University nor the names of its contributors
24  *    may be used to endorse or promote products derived from this software
25  *    without specific prior written permission.
26  *
27  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
28  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
29  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
30  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
31  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
32  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
33  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
34  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
35  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
36  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
37  * SUCH DAMAGE.
38  *
39  * Rewritten for NextStep's funky kernel functions, I/O threads,
40  * and netbufs (instead of real mbufs).  Also, ifnets don't install
41  * into the kernel under NS as they do under BSD.  We have tried to
42  * make the code remain as similar to the NetBSD version without
43  * incurring too much hassle.  This code is the merge of 
44  * Philip Prindeville's <philipp@res.enst.fr>/Pete French's <pete@ohm.york.ac.uk>
45  * and Stephen Perkins'  <perkins@cps.msu.edu> independent ports.
46  *
47  */
48
49 /*
50  * This version is for use with mbufs on BSD-derived systems.
51  *
52  * $Id: bsd-comp.c,v 1.5 1998/03/26 02:51:45 paulus Exp $
53  */
54
55 #include <sys/types.h>
56 #include <sys/param.h>
57 #include <sys/socket.h>
58
59 #define KERNEL 1
60 #include <net/netbuf.h>
61 #include <net/if.h>
62
63 #include <net/ppp_defs.h>
64
65 #include <net/if_ppp.h>
66
67 #include "nbq.h"
68
69 #define PACKETPTR       NETBUF_T
70 #include <net/ppp-comp.h>
71
72
73 /*
74  * We align with this number of bits zero. The code makes the somewhat
75  * suspect assumption that an address can be held in an unsigned long.
76  * Sadly this is necessary to do bit operations on it.
77  */
78
79 #define Z_ALIGN 3       /* 8 byte boudary */
80 #define Z_EXTRA ((unsigned long)((1<<Z_ALIGN)-1))
81 #define ALIGN(x) ((x+Z_EXTRA) & ~Z_EXTRA)
82
83 #if DO_BSD_COMPRESS
84
85 /*
86  * The following includes are necessary to correctly
87  * support BYTE_ORDER.  -SJP
88  */
89
90 #include <netinet/in.h>
91 #include <netinet/in_systm.h>
92 #include <netinet/in_var.h>
93 #include <netinet/ip.h>
94
95 #define mtod(m,type)    ((type)NB_MAP(m))
96
97 /*
98  * PPP "BSD compress" compression
99  *  The differences between this compression and the classic BSD LZW
100  *  source are obvious from the requirement that the classic code worked
101  *  with files while this handles arbitrarily long streams that
102  *  are broken into packets.  They are:
103  *
104  *      When the code size expands, a block of junk is not emitted by
105  *          the compressor and not expected by the decompressor.
106  *
107  *      New codes are not necessarily assigned every time an old
108  *          code is output by the compressor.  This is because a packet
109  *          end forces a code to be emitted, but does not imply that a
110  *          new sequence has been seen.
111  *
112  *      The compression ratio is checked at the first end of a packet
113  *          after the appropriate gap.  Besides simplifying and speeding
114  *          things up, this makes it more likely that the transmitter
115  *          and receiver will agree when the dictionary is cleared when
116  *          compression is not going well.
117  */
118
119 /*
120  * A dictionary for doing BSD compress.
121  */
122 struct bsd_db {
123     void    *kbase;                     /* actual kalloc'd address for struct */
124     void    *klens;                     /* actual kalloc'd address for lens */
125     int     totlen;                     /* length of this structure */
126     u_int   hsize;                      /* size of the hash table */
127     u_char  hshift;                     /* used in hash function */
128     u_char  n_bits;                     /* current bits/code */
129     u_char  maxbits;
130     u_char  debug;
131     u_char  unit;
132     u_int16_t seqno;                    /* sequence # of next packet */
133     u_int   hdrlen;                     /* header length to preallocate */
134     u_int   mru;
135     u_int   maxmaxcode;                 /* largest valid code */
136     u_int   max_ent;                    /* largest code in use */
137     u_int   in_count;                   /* uncompressed bytes, aged */
138     u_int   bytes_out;                  /* compressed bytes, aged */
139     u_int   ratio;                      /* recent compression ratio */
140     u_int   checkpoint;                 /* when to next check the ratio */
141     u_int   clear_count;                /* times dictionary cleared */
142     u_int   incomp_count;               /* incompressible packets */
143     u_int   incomp_bytes;               /* incompressible bytes */
144     u_int   uncomp_count;               /* uncompressed packets */
145     u_int   uncomp_bytes;               /* uncompressed bytes */
146     u_int   comp_count;                 /* compressed packets */
147     u_int   comp_bytes;                 /* compressed bytes */
148     u_int16_t *lens;                    /* array of lengths of codes */
149     struct bsd_dict {
150         union {                         /* hash value */
151             u_int32_t   fcode;
152             struct {
153 #if BYTE_ORDER == LITTLE_ENDIAN
154                 u_int16_t prefix;               /* preceding code */
155                 u_char  suffix;         /* last character of new code */
156                 u_char  pad;
157 #else
158                 u_char  pad;
159                 u_char  suffix;         /* last character of new code */
160                 u_int16_t prefix;               /* preceding code */
161 #endif
162             } hs;
163         } f;
164         u_int16_t codem1;                       /* output of hash table -1 */
165         u_int16_t cptr;                 /* map code to hash table entry */
166     } dict[1];
167 };
168
169 #define BSD_OVHD        2               /* BSD compress overhead/packet */
170 #define BSD_INIT_BITS   BSD_MIN_BITS
171
172 static void     *bsd_comp_alloc __P((u_char *options, int opt_len));
173 static void     *bsd_decomp_alloc __P((u_char *options, int opt_len));
174 static void     bsd_free __P((void *state));
175 static int      bsd_comp_init __P((void *state, u_char *options, int opt_len,
176                                    int unit, int hdrlen, int debug));
177 static int      bsd_decomp_init __P((void *state, u_char *options, int opt_len,
178                                      int unit, int hdrlen, int mru, int debug));
179 static int      bsd_compress __P((void *state, NETBUF_T *mret,
180                                   NETBUF_T mp, int slen, int maxolen));
181 static void     bsd_incomp __P((void *state, NETBUF_T dmsg));
182 static int      bsd_decompress __P((void *state, NETBUF_T cmp, NETBUF_T *dmpp));
183 static void     bsd_reset __P((void *state));
184 static void     bsd_comp_stats __P((void *state, struct compstat *stats));
185
186 /*
187  * Procedures exported to if_ppp.c.
188  */
189 struct compressor ppp_bsd_compress = {
190     CI_BSD_COMPRESS,            /* compress_proto */
191     bsd_comp_alloc,             /* comp_alloc */
192     bsd_free,                   /* comp_free */
193     bsd_comp_init,              /* comp_init */
194     bsd_reset,                  /* comp_reset */
195     bsd_compress,               /* compress */
196     bsd_comp_stats,             /* comp_stat */
197     bsd_decomp_alloc,           /* decomp_alloc */
198     bsd_free,                   /* decomp_free */
199     bsd_decomp_init,            /* decomp_init */
200     bsd_reset,                  /* decomp_reset */
201     bsd_decompress,             /* decompress */
202     bsd_incomp,                 /* incomp */
203     bsd_comp_stats,             /* decomp_stat */
204 };
205
206 /*
207  * the next two codes should not be changed lightly, as they must not
208  * lie within the contiguous general code space.
209  */
210 #define CLEAR   256                     /* table clear output code */
211 #define FIRST   257                     /* first free entry */
212 #define LAST    255
213
214 #define MAXCODE(b)      ((1 << (b)) - 1)
215 #define BADCODEM1       MAXCODE(BSD_MAX_BITS)
216
217 #define BSD_HASH(prefix,suffix,hshift)  ((((u_int32_t)(suffix)) << (hshift)) \
218                                          ^ (u_int32_t)(prefix))
219 #define BSD_KEY(prefix,suffix)          ((((u_int32_t)(suffix)) << 16) \
220                                          + (u_int32_t)(prefix))
221
222 #define CHECK_GAP       10000           /* Ratio check interval */
223
224 #define RATIO_SCALE_LOG 8
225 #define RATIO_SCALE     (1<<RATIO_SCALE_LOG)
226 #define RATIO_MAX       (0x7fffffff>>RATIO_SCALE_LOG)
227
228 /* Could include inlines.h */
229 #ifndef IOLog
230 #define IOLog printf
231 #define IOLogDbg        if (db->debug) printf
232 #else
233 #define IOLogDbg        if (db->debug) IOLog
234 #endif
235
236 /*
237  * clear the dictionary
238  */
239 static void
240 bsd_clear(db)
241     struct bsd_db *db;
242 {
243     db->clear_count++;
244     db->max_ent = FIRST-1;
245     db->n_bits = BSD_INIT_BITS;
246     db->ratio = 0;
247     db->bytes_out = 0;
248     db->in_count = 0;
249     db->incomp_count = 0;
250     db->checkpoint = CHECK_GAP;
251 }
252
253 /*
254  * If the dictionary is full, then see if it is time to reset it.
255  *
256  * Compute the compression ratio using fixed-point arithmetic
257  * with 8 fractional bits.
258  *
259  * Since we have an infinite stream instead of a single file,
260  * watch only the local compression ratio.
261  *
262  * Since both peers must reset the dictionary at the same time even in
263  * the absence of CLEAR codes (while packets are incompressible), they
264  * must compute the same ratio.
265  */
266 static int                              /* 1=output CLEAR */
267 bsd_check(db)
268     struct bsd_db *db;
269 {
270     u_int new_ratio;
271
272     if (db->in_count >= db->checkpoint)
273       {
274
275         /* age the ratio by limiting the size of the counts */
276         if (db->in_count >= RATIO_MAX
277             || db->bytes_out >= RATIO_MAX) {
278             db->in_count -= db->in_count/4;
279             db->bytes_out -= db->bytes_out/4;
280         }
281
282         db->checkpoint = db->in_count + CHECK_GAP;
283
284         if (db->max_ent >= db->maxmaxcode) {
285             /* Reset the dictionary only if the ratio is worse,
286              * or if it looks as if it has been poisoned
287              * by incompressible data.
288              *
289              * This does not overflow, because
290              *  db->in_count <= RATIO_MAX.
291              */
292             new_ratio = db->in_count << RATIO_SCALE_LOG;
293             if (db->bytes_out != 0)
294                 new_ratio /= db->bytes_out;
295
296             if (new_ratio < db->ratio || new_ratio < 1 * RATIO_SCALE)
297               {
298                 bsd_clear(db);
299                 return 1;
300               }
301             db->ratio = new_ratio;
302         }
303     }
304     return 0;
305 }
306
307 /*
308  * Return statistics.
309  */
310 static void
311 bsd_comp_stats(state, stats)
312     void *state;
313     struct compstat *stats;
314 {
315     struct bsd_db *db = (struct bsd_db *) state;
316     u_int out;
317
318     stats->unc_bytes = db->uncomp_bytes;
319     stats->unc_packets = db->uncomp_count;
320     stats->comp_bytes = db->comp_bytes;
321     stats->comp_packets = db->comp_count;
322     stats->inc_bytes = db->incomp_bytes;
323     stats->inc_packets = db->incomp_count;
324     stats->ratio = db->in_count;
325     out = db->bytes_out;
326     if (stats->ratio <= 0x7fffff)
327       stats->ratio <<= 8;
328     else
329       out >>= 8;
330     if (out != 0)
331       stats->ratio /= out;
332 }
333
334 /*
335  * Reset state, as on a CCP ResetReq.
336  */
337 static void
338 bsd_reset(state)
339     void *state;
340 {
341     struct bsd_db *db = (struct bsd_db *) state;
342
343     db->seqno = 0;
344     bsd_clear(db);
345     db->clear_count = 0;
346 }
347
348 /*
349  * Allocate space for a (de) compressor.
350  */
351 static void *
352 bsd_alloc(options, opt_len, decomp)
353     u_char *options;
354     int opt_len, decomp;
355 {
356     int bits;
357     u_int newlen, hsize, hshift, maxmaxcode;
358     struct bsd_db *db;
359
360     if (opt_len != CILEN_BSD_COMPRESS || options[0] != CI_BSD_COMPRESS
361         || options[1] != CILEN_BSD_COMPRESS
362         || BSD_VERSION(options[2]) != BSD_CURRENT_VERSION)
363         return NULL;
364     bits = BSD_NBITS(options[2]);
365     switch (bits) {
366     case 9:                     /* needs 82152 for both directions */
367     case 10:                    /* needs 84144 */
368     case 11:                    /* needs 88240 */
369     case 12:                    /* needs 96432 */
370         hsize = 5003;
371         hshift = 4;
372         break;
373     case 13:                    /* needs 176784 */
374         hsize = 9001;
375         hshift = 5;
376         break;
377     case 14:                    /* needs 353744 */
378         hsize = 18013;
379         hshift = 6;
380         break;
381     case 15:                    /* needs 691440 */
382         hsize = 35023;
383         hshift = 7;
384         break;
385     case 16:                    /* needs 1366160--far too much, */
386         /* hsize = 69001; */    /* and 69001 is too big for cptr */
387         /* hshift = 8; */       /* in struct bsd_db */
388         /* break; */
389     default:
390         return NULL;
391     }
392
393     maxmaxcode = MAXCODE(bits);
394     newlen = sizeof(*db) + (hsize-1) * (sizeof(db->dict[0]));
395     {
396     unsigned long kret;
397     kret = (unsigned long) kalloc(Z_EXTRA + newlen);
398     if (!kret)
399         return NULL;
400     db = (struct bsd_db *) ALIGN(kret);
401     bzero(db, sizeof(*db) - sizeof(db->dict));
402     db->kbase = (void *)kret;
403     }
404
405     if (!decomp) {
406         db->lens = NULL;
407     } else {
408         unsigned long kret;
409         kret = (unsigned long) kalloc(Z_EXTRA +
410                                ((maxmaxcode+1) * sizeof(db->lens[0])));
411         if (!kret) {
412             kfree(db->kbase, newlen + Z_EXTRA);
413             return NULL;
414         }
415         db->lens = (u_int16_t *) ALIGN(kret);
416         db->klens = (void *) kret;
417     }
418
419     db->totlen = newlen;
420     db->hsize = hsize;
421     db->hshift = hshift;
422     db->maxmaxcode = maxmaxcode;
423     db->maxbits = bits;
424
425     return (void *) db;
426 }
427
428 static void
429 bsd_free(state)
430     void *state;
431 {
432     struct bsd_db *db = (struct bsd_db *) state;
433
434     if (db->lens)
435         kfree(db->klens, ((db->maxmaxcode+1) * sizeof(db->lens[0])) + Z_EXTRA);
436     kfree(db->kbase, db->totlen + Z_EXTRA);
437 }
438
439 static void *
440 bsd_comp_alloc(options, opt_len)
441     u_char *options;
442     int opt_len;
443 {
444     return bsd_alloc(options, opt_len, 0);
445 }
446
447 static void *
448 bsd_decomp_alloc(options, opt_len)
449     u_char *options;
450     int opt_len;
451 {
452     return bsd_alloc(options, opt_len, 1);
453 }
454
455 /*
456  * Initialize the database.
457  */
458 static int
459 bsd_init(db, options, opt_len, unit, hdrlen, mru, debug, decomp)
460     struct bsd_db *db;
461     u_char *options;
462     int opt_len, unit, hdrlen, mru, debug, decomp;
463 {
464     int i;
465
466     if (opt_len < CILEN_BSD_COMPRESS || options[0] != CI_BSD_COMPRESS
467         || options[1] != CILEN_BSD_COMPRESS
468         || BSD_VERSION(options[2]) != BSD_CURRENT_VERSION
469         || BSD_NBITS(options[2]) != db->maxbits
470         || decomp && db->lens == NULL)
471         return 0;
472
473     if (decomp) {
474         i = LAST+1;
475         while (i != 0)
476             db->lens[--i] = 1;
477     }
478     i = db->hsize;
479     while (i != 0) {
480         db->dict[--i].codem1 = BADCODEM1;
481         db->dict[i].cptr = 0;
482     }
483
484     db->unit = unit;
485     db->hdrlen = hdrlen;
486     db->mru = mru;
487 #ifndef DEBUG
488     if (debug)
489 #endif
490         db->debug = 1;
491
492     bsd_reset(db);
493
494     return 1;
495 }
496
497 static int
498 bsd_comp_init(state, options, opt_len, unit, hdrlen, debug)
499     void *state;
500     u_char *options;
501     int opt_len, unit, hdrlen, debug;
502 {
503     return bsd_init((struct bsd_db *) state, options, opt_len,
504                     unit, hdrlen, 0, debug, 0);
505 }
506
507 static int
508 bsd_decomp_init(state, options, opt_len, unit, hdrlen, mru, debug)
509     void *state;
510     u_char *options;
511     int opt_len, unit, hdrlen, mru, debug;
512 {
513     return bsd_init((struct bsd_db *) state, options, opt_len,
514                     unit, hdrlen, mru, debug, 1);
515 }
516
517
518 /*
519  * compress a packet
520  *      One change from the BSD compress command is that when the
521  *      code size expands, we do not output a bunch of padding.
522  */
523 int                                     /* new slen */
524 bsd_compress(state, mret, mp, slen, maxolen)
525     void *state;
526     NETBUF_T *mret;             /* return compressed netbuf here */
527     NETBUF_T mp;                /* from here */
528     int slen;                   /* uncompressed length */
529     int maxolen;                /* max compressed length */
530 {
531     struct bsd_db *db = (struct bsd_db *) state;
532     int hshift = db->hshift;
533     u_int max_ent = db->max_ent;
534     u_int n_bits = db->n_bits;
535     u_int bitno = 32;
536     u_int32_t accm = 0, fcode;
537     struct bsd_dict *dictp;
538     u_char c;
539     int hval, disp, ent, ilen;
540     u_char *rptr, *wptr;
541     u_char *cp_end;
542     int olen;
543     NETBUF_T m;
544
545 #define PUTBYTE(v) {                                    \
546     ++olen;                                             \
547     if (wptr) {                                         \
548         *wptr++ = (v);                                  \
549         if (wptr >= cp_end)                             \
550             wptr = NULL;                                \
551     }                                                   \
552 }
553
554 #define OUTPUT(ent) {                                   \
555     bitno -= n_bits;                                    \
556     accm |= ((ent) << bitno);                           \
557     do {                                                \
558         PUTBYTE(accm >> 24);                            \
559         accm <<= 8;                                     \
560         bitno += 8;                                     \
561     } while (bitno <= 24);                              \
562 }
563
564     /*
565      * If the protocol is not in the range we're interested in,
566      * just return without compressing the packet.  If it is,
567      * the protocol becomes the first byte to compress.
568      */
569     rptr = mtod(mp, u_char *);
570     ent = PPP_PROTOCOL(rptr);
571     if (ent < CI_BSD_COMPRESS || ent > 0xf9) {
572         *mret = NULL;
573         return slen;
574     }
575
576     /* Don't generate compressed packets which are larger than
577        the uncompressed packet. */
578     if (maxolen > slen)
579         maxolen = slen;
580
581     /* Allocate one mbuf to start with. (don't forget space for the FCS!) */
582     m = NB_ALLOC(maxolen + db->hdrlen + PPP_FCSLEN);
583     *mret = m;
584     if (m != NULL) {
585       if (db->hdrlen > 0)
586         NB_SHRINK_TOP(m, db->hdrlen);
587       NB_SHRINK_BOT(m, PPP_FCSLEN);  /* grown by pppstart() */
588         wptr = mtod(m, u_char *);
589         cp_end = wptr + maxolen;
590     } else
591         wptr = cp_end = NULL;
592
593     /*
594      * Copy the PPP header over, changing the protocol,
595      * and install the 2-byte packet sequence number.
596      */
597     if (wptr) {
598         *wptr++ = PPP_ADDRESS(rptr);    /* assumes the ppp header is */
599         *wptr++ = PPP_CONTROL(rptr);    /* all in one mbuf */
600         *wptr++ = 0;                    /* change the protocol */
601         *wptr++ = PPP_COMP;
602         *wptr++ = db->seqno >> 8;
603         *wptr++ = db->seqno;
604     }
605     ++db->seqno;
606
607     olen = 0;
608     rptr += PPP_HDRLEN;
609     slen = NB_SIZE(mp) - PPP_HDRLEN;
610     ilen = slen + 1;
611     while (slen > 0) {
612         slen--;
613         c = *rptr++;
614         fcode = BSD_KEY(ent, c);
615         hval = BSD_HASH(ent, c, hshift);
616         dictp = &db->dict[hval];
617
618         /* Validate and then check the entry. */
619         if (dictp->codem1 >= max_ent)
620             goto nomatch;
621         if (dictp->f.fcode == fcode) {
622             ent = dictp->codem1+1;
623             continue;   /* found (prefix,suffix) */
624         }
625
626         /* continue probing until a match or invalid entry */
627         disp = (hval == 0) ? 1 : hval;
628         do {
629             hval += disp;
630             if (hval >= db->hsize)
631                 hval -= db->hsize;
632             dictp = &db->dict[hval];
633             if (dictp->codem1 >= max_ent)
634                 goto nomatch;
635         } while (dictp->f.fcode != fcode);
636         ent = dictp->codem1 + 1;        /* finally found (prefix,suffix) */
637         continue;
638
639     nomatch:
640         OUTPUT(ent);            /* output the prefix */
641
642         /* code -> hashtable */
643         if (max_ent < db->maxmaxcode) {
644             struct bsd_dict *dictp2;
645             /* expand code size if needed */
646             if (max_ent >= MAXCODE(n_bits))
647                 db->n_bits = ++n_bits;
648
649             /* Invalidate old hash table entry using
650              * this code, and then take it over.
651              */
652             dictp2 = &db->dict[max_ent+1];
653             if (db->dict[dictp2->cptr].codem1 == max_ent)
654                 db->dict[dictp2->cptr].codem1 = BADCODEM1;
655             dictp2->cptr = hval;
656             dictp->codem1 = max_ent;
657             dictp->f.fcode = fcode;
658
659             db->max_ent = ++max_ent;
660         }
661         ent = c;
662     }
663
664     OUTPUT(ent);                /* output the last code */
665     db->bytes_out += olen;
666     db->in_count += ilen;
667     if (bitno < 32)
668         ++db->bytes_out;        /* count complete bytes */
669
670     if (bsd_check(db))
671         OUTPUT(CLEAR);          /* do not count the CLEAR */
672
673     /*
674      * Pad dribble bits of last code with ones.
675      * Do not emit a completely useless byte of ones.
676      */
677     if (bitno != 32)
678         PUTBYTE((accm | (0xff << (bitno-8))) >> 24);
679
680     /*
681      * Increase code size if we would have without the packet
682      * boundary and as the decompressor will.
683      */
684     if (max_ent >= MAXCODE(n_bits) && max_ent < db->maxmaxcode)
685         db->n_bits++;
686
687     db->uncomp_bytes += ilen;
688     ++db->uncomp_count;
689     if (olen + PPP_HDRLEN + BSD_OVHD > maxolen || wptr == NULL) {
690         /* throw away the compressed stuff if it is longer than uncompressed */
691         if (*mret != NULL) {
692             NB_FREE(*mret);
693             *mret = NULL;
694         }
695         ++db->incomp_count;
696         db->incomp_bytes += ilen;
697     } else {
698         NB_SHRINK_BOT(m, NB_SIZE(m) - (wptr - mtod(m, u_char *)));
699         ++db->comp_count;
700         db->comp_bytes += olen + BSD_OVHD;
701     }
702
703     return olen + PPP_HDRLEN + BSD_OVHD;
704 #undef OUTPUT
705 #undef PUTBYTE
706 }
707
708
709 /*
710  * Update the "BSD Compress" dictionary on the receiver for
711  * incompressible data by pretending to compress the incoming data.
712  */
713 static void
714 bsd_incomp(state, dmsg)
715     void *state;
716     NETBUF_T dmsg;
717 {
718     struct bsd_db *db = (struct bsd_db *) state;
719     u_int hshift = db->hshift;
720     u_int max_ent = db->max_ent;
721     u_int n_bits = db->n_bits;
722     struct bsd_dict *dictp;
723     u_int32_t fcode;
724     u_char c;
725     u_int32_t hval, disp;
726     int slen, ilen;
727     u_int bitno = 7;
728     u_char *rptr;
729     u_int ent;
730
731     /*
732      * If the protocol is not in the range we're interested in,
733      * just return without looking at the packet.  If it is,
734      * the protocol becomes the first byte to "compress".
735      */
736     rptr = mtod(dmsg, u_char *);
737     ent = PPP_PROTOCOL(rptr);
738     if (ent < CI_BSD_COMPRESS || ent > 0xf9)
739         return;
740
741     db->incomp_count++;
742     db->seqno++;
743     ilen = 1;           /* count the protocol as 1 byte */
744     rptr += PPP_HDRLEN;
745     slen = NB_SIZE(dmsg) - PPP_HDRLEN;
746     ilen += slen;
747
748     do {
749         c = *rptr++;
750         fcode = BSD_KEY(ent, c);
751         hval = BSD_HASH(ent, c, hshift);
752         dictp = &db->dict[hval];
753
754         /* validate and then check the entry */
755         if (dictp->codem1 >= max_ent)
756             goto nomatch;
757         if (dictp->f.fcode == fcode) {
758             ent = dictp->codem1+1;
759             continue;   /* found (prefix,suffix) */
760         }
761
762         /* continue probing until a match or invalid entry */
763         disp = (hval == 0) ? 1 : hval;
764         do {
765             hval += disp;
766             if (hval >= db->hsize)
767                 hval -= db->hsize;
768             dictp = &db->dict[hval];
769             if (dictp->codem1 >= max_ent)
770                 goto nomatch;
771         } while (dictp->f.fcode != fcode);
772         ent = dictp->codem1+1;
773         continue;       /* finally found (prefix,suffix) */
774
775     nomatch:            /* output (count) the prefix */
776         bitno += n_bits;
777
778         /* code -> hashtable */
779         if (max_ent < db->maxmaxcode) {
780             struct bsd_dict *dictp2;
781             /* expand code size if needed */
782             if (max_ent >= MAXCODE(n_bits))
783                 db->n_bits = ++n_bits;
784
785             /* Invalidate previous hash table entry
786              * assigned this code, and then take it over.
787              */
788             dictp2 = &db->dict[max_ent+1];
789             if (db->dict[dictp2->cptr].codem1 == max_ent)
790                 db->dict[dictp2->cptr].codem1 = BADCODEM1;
791             dictp2->cptr = hval;
792             dictp->codem1 = max_ent;
793             dictp->f.fcode = fcode;
794
795             db->max_ent = ++max_ent;
796             db->lens[max_ent] = db->lens[ent]+1;
797         }
798         ent = c;
799     } while (--slen != 0);
800     bitno += n_bits;            /* output (count) the last code */
801     db->bytes_out += bitno/8;
802     db->in_count += ilen;
803     (void)bsd_check(db);
804
805     ++db->incomp_count;
806     db->incomp_bytes += ilen;
807     ++db->uncomp_count;
808     db->uncomp_bytes += ilen;
809
810     /* Increase code size if we would have without the packet
811      * boundary and as the decompressor will.
812      */
813     if (max_ent >= MAXCODE(n_bits) && max_ent < db->maxmaxcode)
814         db->n_bits++;
815 }
816
817
818 /*
819  * Decompress "BSD Compress".
820  *
821  * Because of patent problems, we return DECOMP_ERROR for errors
822  * found by inspecting the input data and for system problems, but
823  * DECOMP_FATALERROR for any errors which could possibly be said to
824  * be being detected "after" decompression.  For DECOMP_ERROR,
825  * we can issue a CCP reset-request; for DECOMP_FATALERROR, we may be
826  * infringing a patent of Motorola's if we do, so we take CCP down
827  * instead.
828  *
829  * Given that the frame has the correct sequence number and a good FCS,
830  * errors such as invalid codes in the input most likely indicate a
831  * bug, so we return DECOMP_FATALERROR for them in order to turn off
832  * compression, even though they are detected by inspecting the input.
833  */
834 int
835 bsd_decompress(state, cmp, dmpp)
836     void *state;
837     NETBUF_T cmp, *dmpp;
838 {
839     struct bsd_db *db = (struct bsd_db *) state;
840     u_int max_ent = db->max_ent;
841     u_int32_t accm = 0;
842     u_int bitno = 32;           /* 1st valid bit in accm */
843     u_int n_bits = db->n_bits;
844     u_int tgtbitno = 32-n_bits; /* bitno when we have a code */
845     struct bsd_dict *dictp;
846     int explen, seq, len;
847     u_int incode, oldcode, finchar;
848     u_char *p, *rptr, *wptr;
849     NETBUF_T dmp, mret;
850     int adrs, ctrl, ilen;
851     int space, codelen, extra, maxilen;
852
853     /*
854      * Save the address/control from the PPP header
855      * and then get the sequence number.
856      */
857     *dmpp = NULL;
858     rptr = mtod(cmp, u_char *);
859     adrs = PPP_ADDRESS(rptr);
860     ctrl = PPP_CONTROL(rptr);
861     rptr += PPP_HDRLEN;
862     len = NB_SIZE(cmp) - PPP_HDRLEN;
863     seq = (rptr[0] << 8) + rptr[1];
864     rptr += BSD_OVHD;
865     len -= BSD_OVHD;
866
867     /*
868      * Check the sequence number and give up if it differs from
869      * the value we're expecting.
870      */
871     if (seq != db->seqno) {
872         IOLogDbg("bsd_decomp%d: bad sequence # %d, expected %d\n",
873                    db->unit, seq, db->seqno - 1);
874         return DECOMP_ERROR;
875     }
876     ++db->seqno;
877
878     /*
879      * Allocate an netbuf large enough for all the data.
880      */
881     maxilen = db->mru + db->hdrlen + PPP_HDRLEN;        /* no FCS */
882     dmp = NB_ALLOC(maxilen);                    /* XXX */
883     if (dmp == NULL)
884         return DECOMP_ERROR;
885     if (db->hdrlen > 0)
886         NB_SHRINK_TOP(dmp, db->hdrlen);
887     mret = dmp;
888     wptr = mtod(dmp, u_char *);
889     space = NB_SIZE(dmp) - PPP_HDRLEN + 1;
890
891     /*
892      * Fill in the ppp header, but not the last byte of the protocol
893      * (that comes from the decompressed data).
894      */
895     wptr[0] = adrs;
896     wptr[1] = ctrl;
897     wptr[2] = 0;
898     wptr += PPP_HDRLEN - 1;
899
900     ilen = len;
901     oldcode = CLEAR;
902     explen = 0;
903     while (len > 0) {
904         /*
905          * Accumulate bytes until we have a complete code.
906          * Then get the next code, relying on the 32-bit,
907          * unsigned accm to mask the result.
908          */
909         bitno -= 8;
910         accm |= *rptr++ << bitno;
911         --len;
912         if (tgtbitno < bitno)
913             continue;
914         incode = accm >> tgtbitno;
915         accm <<= n_bits;
916         bitno += n_bits;
917
918         if (incode == CLEAR) {
919             /*
920              * The dictionary must only be cleared at
921              * the end of a packet.  But there could be an
922              * empty mbuf at the end.
923              */
924             if (len > 0) {
925                 NB_FREE(mret);
926                 IOLogDbg("bsd_decomp%d: bad CLEAR\n", db->unit);
927                 return DECOMP_FATALERROR;       /* probably a bug */
928             }
929             bsd_clear(db);
930             explen = ilen = 0;
931             break;
932         }
933
934         if (incode > max_ent + 2 || incode > db->maxmaxcode
935             || incode > max_ent && oldcode == CLEAR) {
936             NB_FREE(mret);
937             IOLogDbg("bsd_decomp%d: bad code 0x%x oldcode=0x%x max_ent=0x%x explen=%d seqno=%d\n",
938                      db->unit, incode, oldcode, max_ent, explen, db->seqno);
939             return DECOMP_FATALERROR;   /* probably a bug */
940         }
941
942         /* Special case for KwKwK string. */
943         if (incode > max_ent) {
944             finchar = oldcode;
945             extra = 1;
946         } else {
947             finchar = incode;
948             extra = 0;
949         }
950
951         codelen = db->lens[finchar];
952         explen += codelen + extra;
953         if (explen > db->mru + 1) {
954             NB_FREE(mret);
955             IOLogDbg("bsd_decomp%d: ran out of mru\n  len=%d, finchar=0x%x, codelen=%d, explen=%d\n",
956                        db->unit, len, finchar, codelen, explen);
957             return DECOMP_FATALERROR;
958         }
959
960         /*
961          * If we have no space left, then we've overflowed...
962          */
963         if ((space -= codelen + extra) < 0) {
964             IOLog("bsd_decompress%d: no space left in netbuf (need %d bytes)\n",
965                   db->unit, (codelen + extra) - space);
966             NB_FREE(mret);
967             return DECOMP_ERROR;
968         }
969
970         /*
971          * Decode this code and install it in the decompressed buffer.
972          */
973         p = (wptr += codelen);
974         while (finchar > LAST) {
975             dictp = &db->dict[db->dict[finchar].cptr];
976 #ifdef DEBUG
977             if (--codelen <= 0 || dictp->codem1 != finchar-1)
978                 goto bad;
979 #endif
980             *--p = dictp->f.hs.suffix;
981             finchar = dictp->f.hs.prefix;
982         }
983         *--p = finchar;
984
985 #ifdef DEBUG
986         if (--codelen != 0)
987             IOLog("bsd_decomp%d: short by %d after code 0x%x, max_ent=0x%x\n",
988                    db->unit, codelen, incode, max_ent);
989 #endif
990
991         if (extra)              /* the KwKwK case again */
992             *wptr++ = finchar;
993
994         /*
995          * If not first code in a packet, and
996          * if not out of code space, then allocate a new code.
997          *
998          * Keep the hash table correct so it can be used
999          * with uncompressed packets.
1000          */
1001         if (oldcode != CLEAR && max_ent < db->maxmaxcode) {
1002             struct bsd_dict *dictp2;
1003             u_int32_t fcode;
1004             u_int32_t hval, disp;
1005
1006             fcode = BSD_KEY(oldcode,finchar);
1007             hval = BSD_HASH(oldcode,finchar,db->hshift);
1008             dictp = &db->dict[hval];
1009
1010             /* look for a free hash table entry */
1011             if (dictp->codem1 < max_ent) {
1012                 disp = (hval == 0) ? 1 : hval;
1013                 do {
1014                     hval += disp;
1015                     if (hval >= db->hsize)
1016                         hval -= db->hsize;
1017                     dictp = &db->dict[hval];
1018                 } while (dictp->codem1 < max_ent);
1019             }
1020
1021             /*
1022              * Invalidate previous hash table entry
1023              * assigned this code, and then take it over
1024              */
1025             dictp2 = &db->dict[max_ent+1];
1026             if (db->dict[dictp2->cptr].codem1 == max_ent) {
1027                 db->dict[dictp2->cptr].codem1 = BADCODEM1;
1028             }
1029             dictp2->cptr = hval;
1030             dictp->codem1 = max_ent;
1031             dictp->f.fcode = fcode;
1032
1033             db->max_ent = ++max_ent;
1034             db->lens[max_ent] = db->lens[oldcode]+1;
1035
1036             /* Expand code size if needed. */
1037             if (max_ent >= MAXCODE(n_bits) && max_ent < db->maxmaxcode) {
1038                 db->n_bits = ++n_bits;
1039                 tgtbitno = 32-n_bits;
1040             }
1041         }
1042         oldcode = incode;
1043     }
1044     NB_SHRINK_BOT(dmp, NB_SIZE(dmp) - (wptr - mtod(dmp, u_char *)));
1045
1046     /*
1047      * Keep the checkpoint right so that incompressible packets
1048      * clear the dictionary at the right times.
1049      */
1050     db->bytes_out += ilen;
1051     db->in_count += explen;
1052     if (bsd_check(db)) {
1053         IOLogDbg("bsd_decomp%d: peer should have cleared dictionary\n",
1054                db->unit);
1055     }
1056
1057     ++db->comp_count;
1058     db->comp_bytes += ilen + BSD_OVHD;
1059     ++db->uncomp_count;
1060     db->uncomp_bytes += explen;
1061
1062     *dmpp = mret;
1063     return DECOMP_OK;
1064
1065 #ifdef DEBUG
1066  bad:
1067     if (codelen <= 0) {
1068         IOLog("bsd_decomp%d: fell off end of chain 0x%x at 0x%x by 0x%x, max_ent=0x%x\n",
1069               db->unit, incode, finchar, db->dict[finchar].cptr, max_ent);
1070     } else if (dictp->codem1 != finchar-1) {
1071         IOLog("bsd_decomp%d: bad code chain 0x%x finchar=0x%x oldcode=0x%x cptr=0x%x codem1=0x%x\n",
1072               db->unit, incode, finchar, oldcode, db->dict[finchar].cptr,
1073               dictp->codem1);
1074     }
1075     NB_FREE(mret);
1076     return DECOMP_FATALERROR;
1077 #endif /* DEBUG */
1078 }
1079 #endif /* DO_BSD_COMPRESS */