iChange snapshot format - dedup - deduplicating backup program Err bitreich.org 70
hgit clone git://bitreich.org/dedup/ git://enlrupgkhuxnvlhsf6lc3fziv5h2hhfrinws65d7roiv6bfj7d652fid.onion/dedup/ URL:git://bitreich.org/dedup/ git://enlrupgkhuxnvlhsf6lc3fziv5h2hhfrinws65d7roiv6bfj7d652fid.onion/dedup/ bitreich.org 70
1Log /scm/dedup/log.gph bitreich.org 70
1Files /scm/dedup/files.gph bitreich.org 70
1Refs /scm/dedup/refs.gph bitreich.org 70
1Tags /scm/dedup/tag bitreich.org 70
1README /scm/dedup/file/README.gph bitreich.org 70
1LICENSE /scm/dedup/file/LICENSE.gph bitreich.org 70
i--- Err bitreich.org 70
1commit 03aa3e43c5b81940bab9e6990d71bf036a188f27 /scm/dedup/commit/03aa3e43c5b81940bab9e6990d71bf036a188f27.gph bitreich.org 70
1parent 14a97f465c31b9e0c707730ca8798dfd4140cb03 /scm/dedup/commit/14a97f465c31b9e0c707730ca8798dfd4140cb03.gph bitreich.org 70
hAuthor: sin <sin@2f30.org> URL:mailto:sin@2f30.org bitreich.org 70
iDate: Tue, 7 May 2019 20:56:44 +0100 Err bitreich.org 70
i Err bitreich.org 70
iChange snapshot format Err bitreich.org 70
i Err bitreich.org 70
iInclude a header at the front so we can store the nonce etc. Err bitreich.org 70
i Err bitreich.org 70
iDiffstat: Err bitreich.org 70
i M snap.c | 136 +++++++++++++++++++++++++++++-- Err bitreich.org 70
i Err bitreich.org 70
i1 file changed, 128 insertions(+), 8 deletions(-) Err bitreich.org 70
i--- Err bitreich.org 70
1diff --git a/snap.c b/snap.c /scm/dedup/file/snap.c.gph bitreich.org 70
i@@ -2,6 +2,7 @@ Err bitreich.org 70
i #include <sys/types.h> Err bitreich.org 70
i #include <sys/stat.h> Err bitreich.org 70
i Err bitreich.org 70
i+#include <assert.h> Err bitreich.org 70
i #include <errno.h> Err bitreich.org 70
i #include <fcntl.h> Err bitreich.org 70
i #include <limits.h> Err bitreich.org 70
i@@ -12,13 +13,37 @@ Err bitreich.org 70
i #include <string.h> Err bitreich.org 70
i #include <unistd.h> Err bitreich.org 70
i Err bitreich.org 70
i+#include <sodium.h> Err bitreich.org 70
i+ Err bitreich.org 70
i #include "config.h" Err bitreich.org 70
i #include "misc.h" Err bitreich.org 70
i #include "queue.h" Err bitreich.org 70
i #include "snap.h" Err bitreich.org 70
i Err bitreich.org 70
i+#define SHDRMAGIC "SNAPSNAPPYSNOOP" Err bitreich.org 70
i+#define NSHDRMAGIC sizeof(SHDRMAGIC) Err bitreich.org 70
i+#define VMIN 0 Err bitreich.org 70
i+#define VMAJ 1 Err bitreich.org 70
i+#define VMINMASK 0xff Err bitreich.org 70
i+#define VMAJSHIFT 8 Err bitreich.org 70
i+#define VMAJMASK 0xff Err bitreich.org 70
i+#define SHDRSIZE (NSHDRMAGIC + 24 + 24 + 8 + 8) Err bitreich.org 70
i+ Err bitreich.org 70
i #define NERRBUF 128 Err bitreich.org 70
i Err bitreich.org 70
i+/* misc helpers */ Err bitreich.org 70
i+extern int pack(unsigned char *, char *, ...); Err bitreich.org 70
i+extern int unpack(unsigned char *, char *, ...); Err bitreich.org 70
i+ Err bitreich.org 70
i+/* Snapshot header structure */ Err bitreich.org 70
i+struct shdr { Err bitreich.org 70
i+ char magic[NSHDRMAGIC]; /* magic number for file(1) */ Err bitreich.org 70
i+ unsigned char nonce[crypto_aead_xchacha20poly1305_ietf_NPUBBYTES]; Err bitreich.org 70
i+ unsigned char header[crypto_secretstream_xchacha20poly1305_HEADERBYTES]; Err bitreich.org 70
i+ uint64_t flags; /* version number */ Err bitreich.org 70
i+ uint64_t nbd; /* number of block hashes */ Err bitreich.org 70
i+}; Err bitreich.org 70
i+ Err bitreich.org 70
i struct mdnode { Err bitreich.org 70
i unsigned char md[MDSIZE]; /* hash of block */ Err bitreich.org 70
i TAILQ_ENTRY(mdnode) e; /* mdhead link node */ Err bitreich.org 70
i@@ -29,10 +54,54 @@ struct sctx { Err bitreich.org 70
i struct mdnode *mdnext; /* next hash to be returned via sget() */ Err bitreich.org 70
i int fd; /* underlying snapshot file descriptor */ Err bitreich.org 70
i int rdonly; /* when set to 1, the ssync() operation is a no-op */ Err bitreich.org 70
i+ struct shdr shdr; Err bitreich.org 70
i }; Err bitreich.org 70
i Err bitreich.org 70
i static char errbuf[NERRBUF]; Err bitreich.org 70
i Err bitreich.org 70
i+/* Read snapshot header */ Err bitreich.org 70
i+static int Err bitreich.org 70
i+unpackshdr(int fd, struct shdr *shdr) Err bitreich.org 70
i+{ Err bitreich.org 70
i+ unsigned char buf[SHDRSIZE]; Err bitreich.org 70
i+ int n; Err bitreich.org 70
i+ Err bitreich.org 70
i+ if (xread(fd, buf, sizeof(buf)) != sizeof(buf)) { Err bitreich.org 70
i+ sseterr("failed to read snapshot header: %s", strerror(errno)); Err bitreich.org 70
i+ return -1; Err bitreich.org 70
i+ } Err bitreich.org 70
i+ Err bitreich.org 70
i+ n = unpack(buf, "'16'24qq", Err bitreich.org 70
i+ shdr->magic, Err bitreich.org 70
i+ shdr->nonce, Err bitreich.org 70
i+ &shdr->flags, Err bitreich.org 70
i+ &shdr->nbd); Err bitreich.org 70
i+ Err bitreich.org 70
i+ assert(n == sizeof(buf)); Err bitreich.org 70
i+ return n; Err bitreich.org 70
i+} Err bitreich.org 70
i+ Err bitreich.org 70
i+/* Write snapshot header */ Err bitreich.org 70
i+static int Err bitreich.org 70
i+packshdr(int fd, struct shdr *shdr) Err bitreich.org 70
i+{ Err bitreich.org 70
i+ unsigned char buf[SHDRSIZE]; Err bitreich.org 70
i+ int n; Err bitreich.org 70
i+ Err bitreich.org 70
i+ n = pack(buf, "'16'24qq", Err bitreich.org 70
i+ shdr->magic, Err bitreich.org 70
i+ shdr->nonce, Err bitreich.org 70
i+ shdr->flags, Err bitreich.org 70
i+ shdr->nbd); Err bitreich.org 70
i+ Err bitreich.org 70
i+ assert(n == SHDRSIZE); Err bitreich.org 70
i+ if (xwrite(fd, buf, n) != n) { Err bitreich.org 70
i+ sseterr("failed to write snapshot header: %s", strerror(errno)); Err bitreich.org 70
i+ return -1; Err bitreich.org 70
i+ } Err bitreich.org 70
i+ return n; Err bitreich.org 70
i+} Err bitreich.org 70
i+ Err bitreich.org 70
i static int Err bitreich.org 70
i loadmd(struct sctx *sctx) Err bitreich.org 70
i { Err bitreich.org 70
i@@ -55,15 +124,11 @@ loadmd(struct sctx *sctx) Err bitreich.org 70
i static int Err bitreich.org 70
i initmdhead(struct sctx *sctx) Err bitreich.org 70
i { Err bitreich.org 70
i- struct stat st; Err bitreich.org 70
i- uint64_t i, n; Err bitreich.org 70
i+ struct shdr *shdr; Err bitreich.org 70
i+ uint64_t i; Err bitreich.org 70
i Err bitreich.org 70
i- if (fstat(sctx->fd, &st) < 0) { Err bitreich.org 70
i- sseterr("fstat: %s", strerror(errno)); Err bitreich.org 70
i- return -1; Err bitreich.org 70
i- } Err bitreich.org 70
i- n = st.st_size / MDSIZE; Err bitreich.org 70
i- for (i = 0; i < n; i++) { Err bitreich.org 70
i+ shdr = &sctx->shdr; Err bitreich.org 70
i+ for (i = 0; i < shdr->nbd; i++) { Err bitreich.org 70
i if (loadmd(sctx) == 0) Err bitreich.org 70
i continue; Err bitreich.org 70
i Err bitreich.org 70
i@@ -83,6 +148,7 @@ initmdhead(struct sctx *sctx) Err bitreich.org 70
i int Err bitreich.org 70
i screat(char *path, int mode, struct sctx **sctx) Err bitreich.org 70
i { Err bitreich.org 70
i+ struct shdr *shdr; Err bitreich.org 70
i int fd; Err bitreich.org 70
i Err bitreich.org 70
i if (path == NULL || sctx == NULL) { Err bitreich.org 70
i@@ -90,6 +156,11 @@ screat(char *path, int mode, struct sctx **sctx) Err bitreich.org 70
i return -1; Err bitreich.org 70
i } Err bitreich.org 70
i Err bitreich.org 70
i+ if (sodium_init() < 0) { Err bitreich.org 70
i+ sseterr("sodium_init: failed"); Err bitreich.org 70
i+ return -1; Err bitreich.org 70
i+ } Err bitreich.org 70
i+ Err bitreich.org 70
i fd = open(path, O_RDWR | O_CREAT | O_EXCL, mode); Err bitreich.org 70
i if (fd < 0) { Err bitreich.org 70
i sseterr("open: %s", strerror(errno)); Err bitreich.org 70
i@@ -106,12 +177,25 @@ screat(char *path, int mode, struct sctx **sctx) Err bitreich.org 70
i TAILQ_INIT(&(*sctx)->mdhead); Err bitreich.org 70
i (*sctx)->mdnext = NULL; Err bitreich.org 70
i (*sctx)->fd = fd; Err bitreich.org 70
i+ Err bitreich.org 70
i+ shdr = &(*sctx)->shdr; Err bitreich.org 70
i+ memcpy(shdr->magic, SHDRMAGIC, NSHDRMAGIC); Err bitreich.org 70
i+ shdr->flags = (VMAJ << VMAJSHIFT) | VMIN; Err bitreich.org 70
i+ shdr->nbd = 0; Err bitreich.org 70
i+ Err bitreich.org 70
i+ if (packshdr(fd, shdr) < 0) { Err bitreich.org 70
i+ free(*sctx); Err bitreich.org 70
i+ close(fd); Err bitreich.org 70
i+ return -1; Err bitreich.org 70
i+ } Err bitreich.org 70
i+ Err bitreich.org 70
i return 0; Err bitreich.org 70
i } Err bitreich.org 70
i Err bitreich.org 70
i int Err bitreich.org 70
i sopen(char *path, int flags, int mode, struct sctx **sctx) Err bitreich.org 70
i { Err bitreich.org 70
i+ struct shdr *shdr; Err bitreich.org 70
i int fd; Err bitreich.org 70
i Err bitreich.org 70
i if (path == NULL || sctx == NULL) { Err bitreich.org 70
i@@ -125,6 +209,11 @@ sopen(char *path, int flags, int mode, struct sctx **sctx) Err bitreich.org 70
i return -1; Err bitreich.org 70
i } Err bitreich.org 70
i Err bitreich.org 70
i+ if (sodium_init() < 0) { Err bitreich.org 70
i+ sseterr("sodium_init: failed"); Err bitreich.org 70
i+ return -1; Err bitreich.org 70
i+ } Err bitreich.org 70
i+ Err bitreich.org 70
i fd = open(path, O_RDONLY, mode); Err bitreich.org 70
i if (fd < 0) { Err bitreich.org 70
i sseterr("open: %s", strerror(errno)); Err bitreich.org 70
i@@ -143,6 +232,29 @@ sopen(char *path, int flags, int mode, struct sctx **sctx) Err bitreich.org 70
i (*sctx)->fd = fd; Err bitreich.org 70
i (*sctx)->rdonly = 1; Err bitreich.org 70
i Err bitreich.org 70
i+ shdr = &(*sctx)->shdr; Err bitreich.org 70
i+ Err bitreich.org 70
i+ if (unpackshdr(fd, shdr) < 0) { Err bitreich.org 70
i+ free(sctx); Err bitreich.org 70
i+ close(fd); Err bitreich.org 70
i+ return -1; Err bitreich.org 70
i+ } Err bitreich.org 70
i+ Err bitreich.org 70
i+ if (memcmp(shdr->magic, SHDRMAGIC, NSHDRMAGIC) != 0) { Err bitreich.org 70
i+ free(sctx); Err bitreich.org 70
i+ close(fd); Err bitreich.org 70
i+ sseterr("unknown snapshot header magic"); Err bitreich.org 70
i+ return -1; Err bitreich.org 70
i+ } Err bitreich.org 70
i+ Err bitreich.org 70
i+ /* If the major version is different, the format is incompatible */ Err bitreich.org 70
i+ if (((shdr->flags >> VMAJSHIFT) & VMAJMASK) != VMAJ) { Err bitreich.org 70
i+ free(sctx); Err bitreich.org 70
i+ close(fd); Err bitreich.org 70
i+ sseterr("snapshot header version mismatch"); Err bitreich.org 70
i+ return -1; Err bitreich.org 70
i+ } Err bitreich.org 70
i+ Err bitreich.org 70
i if (initmdhead(*sctx) < 0) { Err bitreich.org 70
i free(*sctx); Err bitreich.org 70
i close(fd); Err bitreich.org 70
i@@ -154,6 +266,7 @@ sopen(char *path, int flags, int mode, struct sctx **sctx) Err bitreich.org 70
i int Err bitreich.org 70
i sput(struct sctx *sctx, unsigned char *md) Err bitreich.org 70
i { Err bitreich.org 70
i+ struct shdr *shdr; Err bitreich.org 70
i struct mdnode *mdnode; Err bitreich.org 70
i Err bitreich.org 70
i if (sctx == NULL || md == NULL) { Err bitreich.org 70
i@@ -166,6 +279,8 @@ sput(struct sctx *sctx, unsigned char *md) Err bitreich.org 70
i sseterr("calloc: %s", strerror(errno)); Err bitreich.org 70
i return -1; Err bitreich.org 70
i } Err bitreich.org 70
i+ shdr = &sctx->shdr; Err bitreich.org 70
i+ shdr->nbd++; Err bitreich.org 70
i memcpy(mdnode->md, md, MDSIZE); Err bitreich.org 70
i TAILQ_INSERT_TAIL(&sctx->mdhead, mdnode, e); Err bitreich.org 70
i return 0; Err bitreich.org 70
i@@ -208,6 +323,7 @@ srewind(struct sctx *sctx) Err bitreich.org 70
i int Err bitreich.org 70
i ssync(struct sctx *sctx) Err bitreich.org 70
i { Err bitreich.org 70
i+ struct shdr *shdr; Err bitreich.org 70
i struct mdnode *mdnode; Err bitreich.org 70
i Err bitreich.org 70
i if (sctx == NULL) { Err bitreich.org 70
i@@ -222,6 +338,10 @@ ssync(struct sctx *sctx) Err bitreich.org 70
i sseterr("lseek: %s", strerror(errno)); Err bitreich.org 70
i return -1; Err bitreich.org 70
i } Err bitreich.org 70
i+ Err bitreich.org 70
i+ shdr = &sctx->shdr; Err bitreich.org 70
i+ if (packshdr(sctx->fd, shdr) < 0) Err bitreich.org 70
i+ return -1; Err bitreich.org 70
i TAILQ_FOREACH(mdnode, &sctx->mdhead, e) { Err bitreich.org 70
i if (xwrite(sctx->fd, mdnode->md, MDSIZE) != MDSIZE) { Err bitreich.org 70
i sseterr("failed to write block hash: %s", Err bitreich.org 70
.
Response:
text/plain