1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* gzjoin -- command to join gzip files into one gzip file
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync Copyright (C) 2004 Mark Adler, all rights reserved
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync version 1.0, 11 Dec 2004
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync This software is provided 'as-is', without any express or implied
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync warranty. In no event will the author be held liable for any damages
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync arising from the use of this software.
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync Permission is granted to anyone to use this software for any purpose,
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync including commercial applications, and to alter it and redistribute it
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync freely, subject to the following restrictions:
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync 1. The origin of this software must not be misrepresented; you must not
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync claim that you wrote the original software. If you use this software
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in a product, an acknowledgment in the product documentation would be
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync appreciated but is not required.
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync 2. Altered source versions must be plainly marked as such, and must not be
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync misrepresented as being the original software.
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync 3. This notice may not be removed or altered from any source distribution.
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync Mark Adler madler@alumni.caltech.edu
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/*
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync * Change history:
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync *
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync * 1.0 11 Dec 2004 - First version
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync * 1.1 12 Jun 2005 - Changed ssize_t to long for portability
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/*
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync gzjoin takes one or more gzip files on the command line and writes out a
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync single gzip file that will uncompress to the concatenation of the
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync uncompressed data from the individual gzip files. gzjoin does this without
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync having to recompress any of the data and without having to calculate a new
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync crc32 for the concatenated uncompressed data. gzjoin does however have to
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync decompress all of the input data in order to find the bits in the compressed
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync data that need to be modified to concatenate the streams.
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync gzjoin does not do an integrity check on the input gzip files other than
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync checking the gzip header and decompressing the compressed data. They are
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync otherwise assumed to be complete and correct.
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync Each joint between gzip files removes at least 18 bytes of previous trailer
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync and subsequent header, and inserts an average of about three bytes to the
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync compressed data in order to connect the streams. The output gzip file
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync has a minimal ten-byte gzip header with no file name or modification time.
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync This program was written to illustrate the use of the Z_BLOCK option of
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync inflate() and the crc32_combine() function. gzjoin will not compile with
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync versions of zlib earlier than 1.2.3.
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync#include <stdio.h> /* fputs(), fprintf(), fwrite(), putc() */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync#include <stdlib.h> /* exit(), malloc(), free() */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync#include <fcntl.h> /* open() */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync#include <unistd.h> /* close(), read(), lseek() */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync#include "zlib.h"
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* crc32(), crc32_combine(), inflateInit2(), inflate(), inflateEnd() */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync#define local static
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* exit with an error (return a value to allow use in an expression) */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal int bail(char *why1, char *why2)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync fprintf(stderr, "gzjoin error: %s%s, output incomplete\n", why1, why2);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync exit(1);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* -- simple buffered file input with access to the buffer -- */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync#define CHUNK 32768 /* must be a power of two and fit in unsigned */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* bin buffered input file type */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynctypedef struct {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync char *name; /* name of file for error messages */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync int fd; /* file descriptor */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync unsigned left; /* bytes remaining at next */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync unsigned char *next; /* next byte to read */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync unsigned char *buf; /* allocated buffer of length CHUNK */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync} bin;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* close a buffered file and free allocated memory */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal void bclose(bin *in)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in != NULL) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in->fd != -1)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync close(in->fd);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in->buf != NULL)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync free(in->buf);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync free(in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* open a buffered file for input, return a pointer to type bin, or NULL on
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync failure */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal bin *bopen(char *name)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bin *in;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in = malloc(sizeof(bin));
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in == NULL)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return NULL;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->buf = malloc(CHUNK);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->fd = open(name, O_RDONLY, 0);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in->buf == NULL || in->fd == -1) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bclose(in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return NULL;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->left = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->next = in->buf;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->name = name;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return in;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* load buffer from file, return -1 on read error, 0 or 1 on success, with
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync 1 indicating that end-of-file was reached */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal int bload(bin *in)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync long len;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in == NULL)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return -1;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in->left != 0)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->next = in->buf;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync do {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync len = (long)read(in->fd, in->buf + in->left, CHUNK - in->left);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (len < 0)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return -1;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->left += (unsigned)len;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync } while (len != 0 && in->left < CHUNK);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return len == 0 ? 1 : 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* get a byte from the file, bail if end of file */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync#define bget(in) (in->left ? 0 : bload(in), \
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->left ? (in->left--, *(in->next)++) : \
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail("unexpected end of file on ", in->name))
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* get a four-byte little-endian unsigned integer from file */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal unsigned long bget4(bin *in)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync unsigned long val;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync val = bget(in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync val += (unsigned long)(bget(in)) << 8;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync val += (unsigned long)(bget(in)) << 16;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync val += (unsigned long)(bget(in)) << 24;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return val;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* skip bytes in file */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal void bskip(bin *in, unsigned skip)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* check pointer */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in == NULL)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* easy case -- skip bytes in buffer */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (skip <= in->left) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->left -= skip;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->next += skip;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* skip what's in buffer, discard buffer contents */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync skip -= in->left;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->left = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* seek past multiples of CHUNK bytes */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (skip > CHUNK) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync unsigned left;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync left = skip & (CHUNK - 1);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (left == 0) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* exact number of chunks: seek all the way minus one byte to check
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync for end-of-file with a read */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync lseek(in->fd, skip - 1, SEEK_CUR);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (read(in->fd, in->buf, 1) != 1)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail("unexpected end of file on ", in->name);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* skip the integral chunks, update skip with remainder */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync lseek(in->fd, skip - left, SEEK_CUR);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync skip = left;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* read more input and skip remainder */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bload(in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (skip > in->left)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail("unexpected end of file on ", in->name);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->left -= skip;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->next += skip;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* -- end of buffered input functions -- */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* skip the gzip header from file in */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal void gzhead(bin *in)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync int flags;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* verify gzip magic header and compression method */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (bget(in) != 0x1f || bget(in) != 0x8b || bget(in) != 8)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail(in->name, " is not a valid gzip file");
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* get and verify flags */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync flags = bget(in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if ((flags & 0xe0) != 0)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail("unknown reserved bits set in ", in->name);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* skip modification time, extra flags, and os */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bskip(in, 6);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* skip extra field if present */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (flags & 4) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync unsigned len;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync len = bget(in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync len += (unsigned)(bget(in)) << 8;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bskip(in, len);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* skip file name if present */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (flags & 8)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync while (bget(in) != 0)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync ;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* skip comment if present */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (flags & 16)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync while (bget(in) != 0)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync ;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* skip header crc if present */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (flags & 2)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bskip(in, 2);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* write a four-byte little-endian unsigned integer to out */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal void put4(unsigned long val, FILE *out)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc(val & 0xff, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc((val >> 8) & 0xff, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc((val >> 16) & 0xff, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc((val >> 24) & 0xff, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* Load up zlib stream from buffered input, bail if end of file */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal void zpull(z_streamp strm, bin *in)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in->left == 0)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bload(in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in->left == 0)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail("unexpected end of file on ", in->name);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm->avail_in = in->left;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm->next_in = in->next;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* Write header for gzip file to out and initialize trailer. */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal void gzinit(unsigned long *crc, unsigned long *tot, FILE *out)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync fwrite("\x1f\x8b\x08\0\0\0\0\0\0\xff", 1, 10, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync *crc = crc32(0L, Z_NULL, 0);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync *tot = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* Copy the compressed data from name, zeroing the last block bit of the last
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync block if clr is true, and adding empty blocks as needed to get to a byte
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync boundary. If clr is false, then the last block becomes the last block of
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync the output, and the gzip trailer is written. crc and tot maintains the
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync crc and length (modulo 2^32) of the output for the trailer. The resulting
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync gzip file is written to out. gzinit() must be called before the first call
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync of gzcopy() to write the gzip header and to initialize crc and tot. */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsynclocal void gzcopy(char *name, int clr, unsigned long *crc, unsigned long *tot,
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync FILE *out)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync int ret; /* return value from zlib functions */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync int pos; /* where the "last block" bit is in byte */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync int last; /* true if processing the last block */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bin *in; /* buffered input file */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync unsigned char *start; /* start of compressed data in buffer */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync unsigned char *junk; /* buffer for uncompressed data -- discarded */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync z_off_t len; /* length of uncompressed data (support > 4 GB) */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync z_stream strm; /* zlib inflate stream */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* open gzip file and skip header */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in = bopen(name);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (in == NULL)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail("could not open ", name);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync gzhead(in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* allocate buffer for uncompressed data and initialize raw inflate
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync stream */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync junk = malloc(CHUNK);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.zalloc = Z_NULL;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.zfree = Z_NULL;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.opaque = Z_NULL;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.avail_in = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.next_in = Z_NULL;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync ret = inflateInit2(&strm, -15);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (junk == NULL || ret != Z_OK)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail("out of memory", "");
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* inflate and copy compressed data, clear last-block bit if requested */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync len = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync zpull(&strm, in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync start = strm.next_in;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync last = start[0] & 1;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (last && clr)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync start[0] &= ~1;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.avail_out = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync for (;;) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* if input used and output done, write used input and get more */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (strm.avail_in == 0 && strm.avail_out != 0) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync fwrite(start, 1, strm.next_in - start, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync start = in->buf;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->left = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync zpull(&strm, in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* decompress -- return early when end-of-block reached */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.avail_out = CHUNK;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.next_out = junk;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync ret = inflate(&strm, Z_BLOCK);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync switch (ret) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync case Z_MEM_ERROR:
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail("out of memory", "");
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync case Z_DATA_ERROR:
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bail("invalid compressed data in ", in->name);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* update length of uncompressed data */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync len += CHUNK - strm.avail_out;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* check for block boundary (only get this when block copied out) */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (strm.data_type & 128) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* if that was the last block, then done */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (last)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync break;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* number of unused bits in last byte */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync pos = strm.data_type & 7;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* find the next last-block bit */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (pos != 0) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* next last-block bit is in last used byte */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync pos = 0x100 >> pos;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync last = strm.next_in[-1] & pos;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (last && clr)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.next_in[-1] &= ~pos;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync else {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* next last-block bit is in next unused byte */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (strm.avail_in == 0) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* don't have that byte yet -- get it */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync fwrite(start, 1, strm.next_in - start, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync start = in->buf;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->left = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync zpull(&strm, in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync last = strm.next_in[0] & 1;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (last && clr)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync strm.next_in[0] &= ~1;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* update buffer with unused input */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->left = strm.avail_in;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync in->next = strm.next_in;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* copy used input, write empty blocks to get to byte boundary */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync pos = strm.data_type & 7;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync fwrite(start, 1, in->next - start - 1, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync last = in->next[-1];
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (pos == 0 || !clr)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* already at byte boundary, or last file: write last byte */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc(last, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync else {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* append empty blocks to last byte */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync last &= ((0x100 >> pos) - 1); /* assure unused bits are zero */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (pos & 1) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* odd -- append an empty stored block */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc(last, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (pos == 1)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc(0, out); /* two more bits in block header */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync fwrite("\0\0\xff\xff", 1, 4, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync else {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* even -- append 1, 2, or 3 empty fixed blocks */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync switch (pos) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync case 6:
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc(last | 8, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync last = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync case 4:
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc(last | 0x20, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync last = 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync case 2:
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc(last | 0x80, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync putc(0, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* update crc and tot */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync *crc = crc32_combine(*crc, bget4(in), len);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync *tot += (unsigned long)len;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* clean up */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync inflateEnd(&strm);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync free(junk);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync bclose(in);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* write trailer if this is the last gzip file */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (!clr) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync put4(*crc, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync put4(*tot, out);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync/* join the gzip files on the command line, write result to stdout */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsyncint main(int argc, char **argv)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync{
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync unsigned long crc, tot; /* running crc and total uncompressed length */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* skip command name */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync argc--;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync argv++;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* show usage if no arguments */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync if (argc == 0) {
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync fputs("gzjoin usage: gzjoin f1.gz [f2.gz [f3.gz ...]] > fjoin.gz\n",
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync stderr);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync }
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* join gzip files on command line and write to stdout */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync gzinit(&crc, &tot, stdout);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync while (argc--)
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync gzcopy(*argv++, argc, &crc, &tot, stdout);
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync /* done */
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync return 0;
1b33c96954667ba382fa595baf7b31290bfdd517vboxsync}