iMove hashing to top layer - dedup - deduplicating backup program	Err	bitreich.org	70
hgit clone git://bitreich.org/dedup/ git://enlrupgkhuxnvlhsf6lc3fziv5h2hhfrinws65d7roiv6bfj7d652fid.onion/dedup/	URL:git://bitreich.org/dedup/ git://enlrupgkhuxnvlhsf6lc3fziv5h2hhfrinws65d7roiv6bfj7d652fid.onion/dedup/	bitreich.org	70
1Log	/scm/dedup/log.gph	bitreich.org	70
1Files	/scm/dedup/files.gph	bitreich.org	70
1Refs	/scm/dedup/refs.gph	bitreich.org	70
1Tags	/scm/dedup/tag	bitreich.org	70
1README	/scm/dedup/file/README.gph	bitreich.org	70
1LICENSE	/scm/dedup/file/LICENSE.gph	bitreich.org	70
i---	Err	bitreich.org	70
1commit 4d8c3d50ca614a40275ad223fdfd31fd897b9627	/scm/dedup/commit/4d8c3d50ca614a40275ad223fdfd31fd897b9627.gph	bitreich.org	70
1parent c3a040a2db7964be918a34acc35db912431757b1	/scm/dedup/commit/c3a040a2db7964be918a34acc35db912431757b1.gph	bitreich.org	70
hAuthor: sin <sin@2f30.org>	URL:mailto:sin@2f30.org	bitreich.org	70
iDate:   Tue, 14 May 2019 13:05:50 +0300	Err	bitreich.org	70
i	Err	bitreich.org	70
iMove hashing to top layer	Err	bitreich.org	70
i	Err	bitreich.org	70
iThe hash of the block should be the hash of the plaintext block.  This	Err	bitreich.org	70
iis because when encryption is enabled the final block is always	Err	bitreich.org	70
idifferent even if it contained the same data originally.  This is due	Err	bitreich.org	70
ito the fact that each encrypted block contains a unique nonce.	Err	bitreich.org	70
i	Err	bitreich.org	70
iDiffstat:	Err	bitreich.org	70
i  M bcompress.c                         |       9 ---------	Err	bitreich.org	70
i  M bencrypt.c                          |       9 ---------	Err	bitreich.org	70
i  M block.c                             |      58 ++++++++++++++++++++++++++++++-	Err	bitreich.org	70
i  M block.h                             |       1 -	Err	bitreich.org	70
i  M bstorage.c                          |      79 +------------------------------	Err	bitreich.org	70
i	Err	bitreich.org	70
i5 files changed, 58 insertions(+), 98 deletions(-)	Err	bitreich.org	70
i---	Err	bitreich.org	70
1diff --git a/bcompress.c b/bcompress.c	/scm/dedup/file/bcompress.c.gph	bitreich.org	70
i@@ -36,7 +36,6 @@ static int bcput(struct bctx *bctx, void *buf, size_t n, unsigned char *md);	Err	bitreich.org	70
i static int bcget(struct bctx *bctx, unsigned char *md, void *buf, size_t *n);	Err	bitreich.org	70
i static int bcrm(struct bctx *bctx, unsigned char *md);	Err	bitreich.org	70
i static int bcgc(struct bctx *bctx);	Err	bitreich.org	70
i-static int bccheck(struct bctx *bctx, unsigned char *md);	Err	bitreich.org	70
i static int bcsync(struct bctx *bctx);	Err	bitreich.org	70
i static int bcclose(struct bctx *bctx);	Err	bitreich.org	70
i 	Err	bitreich.org	70
i@@ -47,7 +46,6 @@ static struct bops bops = {	Err	bitreich.org	70
i         .get = bcget,	Err	bitreich.org	70
i         .rm = bcrm,	Err	bitreich.org	70
i         .gc = bcgc,	Err	bitreich.org	70
i-        .check = bccheck,	Err	bitreich.org	70
i         .sync = bcsync,	Err	bitreich.org	70
i         .close = bcclose,	Err	bitreich.org	70
i };	Err	bitreich.org	70
i@@ -318,13 +316,6 @@ bcgc(struct bctx *bctx)	Err	bitreich.org	70
i }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i static int	Err	bitreich.org	70
i-bccheck(struct bctx *bctx, unsigned char *md)	Err	bitreich.org	70
i-{	Err	bitreich.org	70
i-        return bencryptops()->check(bctx, md);	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-}	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-static int	Err	bitreich.org	70
i bcsync(struct bctx *bctx)	Err	bitreich.org	70
i {	Err	bitreich.org	70
i         return bencryptops()->sync(bctx);	Err	bitreich.org	70
1diff --git a/bencrypt.c b/bencrypt.c	/scm/dedup/file/bencrypt.c.gph	bitreich.org	70
i@@ -34,7 +34,6 @@ static int beput(struct bctx *bctx, void *buf, size_t n, unsigned char *md);	Err	bitreich.org	70
i static int beget(struct bctx *bctx, unsigned char *md, void *buf, size_t *n);	Err	bitreich.org	70
i static int berm(struct bctx *bctx, unsigned char *md);	Err	bitreich.org	70
i static int begc(struct bctx *bctx);	Err	bitreich.org	70
i-static int becheck(struct bctx *bctx, unsigned char *md);	Err	bitreich.org	70
i static int besync(struct bctx *bctx);	Err	bitreich.org	70
i static int beclose(struct bctx *bctx);	Err	bitreich.org	70
i 	Err	bitreich.org	70
i@@ -45,7 +44,6 @@ static struct bops bops = {	Err	bitreich.org	70
i         .get = beget,	Err	bitreich.org	70
i         .rm = berm,	Err	bitreich.org	70
i         .gc = begc,	Err	bitreich.org	70
i-        .check = becheck,	Err	bitreich.org	70
i         .sync = besync,	Err	bitreich.org	70
i         .close = beclose,	Err	bitreich.org	70
i };	Err	bitreich.org	70
i@@ -325,13 +323,6 @@ begc(struct bctx *bctx)	Err	bitreich.org	70
i }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i static int	Err	bitreich.org	70
i-becheck(struct bctx *bctx, unsigned char *md)	Err	bitreich.org	70
i-{	Err	bitreich.org	70
i-        return bstorageops()->check(bctx, md);	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-}	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-static int	Err	bitreich.org	70
i besync(struct bctx *bctx)	Err	bitreich.org	70
i {	Err	bitreich.org	70
i         return bstorageops()->sync(bctx);	Err	bitreich.org	70
1diff --git a/block.c b/block.c	/scm/dedup/file/block.c.gph	bitreich.org	70
i@@ -9,9 +9,18 @@	Err	bitreich.org	70
i #include <stdlib.h>	Err	bitreich.org	70
i #include <string.h>	Err	bitreich.org	70
i 	Err	bitreich.org	70
i+#include <sodium.h>	Err	bitreich.org	70
i+	Err	bitreich.org	70
i #include "block.h"	Err	bitreich.org	70
i+#include "config.h"	Err	bitreich.org	70
i #include "misc.h"	Err	bitreich.org	70
i 	Err	bitreich.org	70
i+static int	Err	bitreich.org	70
i+bhash(void *buf, size_t n, unsigned char *md)	Err	bitreich.org	70
i+{	Err	bitreich.org	70
i+        return crypto_generichash(md, MDSIZE, buf, n, NULL, 0);	Err	bitreich.org	70
i+}	Err	bitreich.org	70
i+	Err	bitreich.org	70
i int	Err	bitreich.org	70
i bcreat(char *path, int mode, struct bctx **bctx)	Err	bitreich.org	70
i {	Err	bitreich.org	70
i@@ -20,6 +29,11 @@ bcreat(char *path, int mode, struct bctx **bctx)	Err	bitreich.org	70
i                 return -1;	Err	bitreich.org	70
i         }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i+        if (sodium_init() < 0) {	Err	bitreich.org	70
i+                seterr("sodium_init: failed");	Err	bitreich.org	70
i+                return -1;	Err	bitreich.org	70
i+        }	Err	bitreich.org	70
i+	Err	bitreich.org	70
i         *bctx = calloc(1, sizeof(**bctx));	Err	bitreich.org	70
i         if (*bctx == NULL) {	Err	bitreich.org	70
i                 seterr("calloc: %s", strerror(errno));	Err	bitreich.org	70
i@@ -41,6 +55,11 @@ bopen(char *path, int flags, int mode, struct bctx **bctx)	Err	bitreich.org	70
i                 return -1;	Err	bitreich.org	70
i         }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i+        if (sodium_init() < 0) {	Err	bitreich.org	70
i+                seterr("sodium_init: failed");	Err	bitreich.org	70
i+                return -1;	Err	bitreich.org	70
i+        }	Err	bitreich.org	70
i+	Err	bitreich.org	70
i         *bctx = calloc(1, sizeof(**bctx));	Err	bitreich.org	70
i         if (*bctx == NULL) {	Err	bitreich.org	70
i                 seterr("calloc: %s", strerror(errno));	Err	bitreich.org	70
i@@ -62,6 +81,11 @@ bput(struct bctx *bctx, void *buf, size_t n, unsigned char *md)	Err	bitreich.org	70
i                 return -1;	Err	bitreich.org	70
i         }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i+        if (bhash(buf, n, md) < 0) {	Err	bitreich.org	70
i+                seterr("bhash: failed");	Err	bitreich.org	70
i+                return -1;	Err	bitreich.org	70
i+        }	Err	bitreich.org	70
i+	Err	bitreich.org	70
i         return bcompressops()->put(bctx, buf, n, md);	Err	bitreich.org	70
i }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i@@ -98,15 +122,47 @@ bgc(struct bctx *bctx)	Err	bitreich.org	70
i         return bcompressops()->gc(bctx);	Err	bitreich.org	70
i }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i+/*	Err	bitreich.org	70
i+ * Lookup the block given hash and rehash it.	Err	bitreich.org	70
i+ * Check that the hashes match.  It returns -1	Err	bitreich.org	70
i+ * on error, 0 on success and 1 if a block hash	Err	bitreich.org	70
i+ * mismatch is detected.	Err	bitreich.org	70
i+ */	Err	bitreich.org	70
i int	Err	bitreich.org	70
i bcheck(struct bctx *bctx, unsigned char *md)	Err	bitreich.org	70
i {	Err	bitreich.org	70
i+        unsigned char tmp[MDSIZE];	Err	bitreich.org	70
i+        void *buf;	Err	bitreich.org	70
i+        size_t n;	Err	bitreich.org	70
i+	Err	bitreich.org	70
i         if (bctx == NULL || md == NULL) {	Err	bitreich.org	70
i                 seterr("invalid params");	Err	bitreich.org	70
i                 return -1;	Err	bitreich.org	70
i         }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i-        return bcompressops()->check(bctx, md);	Err	bitreich.org	70
i+        buf = malloc(BSIZEMAX);	Err	bitreich.org	70
i+        if (buf == NULL) {	Err	bitreich.org	70
i+                seterr("malloc: out of memory");	Err	bitreich.org	70
i+                return -1;	Err	bitreich.org	70
i+        }	Err	bitreich.org	70
i+        n = BSIZEMAX;	Err	bitreich.org	70
i+	Err	bitreich.org	70
i+        if (bcompressops()->get(bctx, md, buf, &n) < 0) {	Err	bitreich.org	70
i+                free(buf);	Err	bitreich.org	70
i+                return -1;	Err	bitreich.org	70
i+        }	Err	bitreich.org	70
i+	Err	bitreich.org	70
i+        if (bhash(buf, n, tmp) < 0) {	Err	bitreich.org	70
i+                free(buf);	Err	bitreich.org	70
i+                return -1;	Err	bitreich.org	70
i+        }	Err	bitreich.org	70
i+	Err	bitreich.org	70
i+        if (memcmp(tmp, md, MDSIZE) != 0) {	Err	bitreich.org	70
i+                free(buf);	Err	bitreich.org	70
i+                return -1;	Err	bitreich.org	70
i+        }	Err	bitreich.org	70
i+        free(buf);	Err	bitreich.org	70
i+        return 0;	Err	bitreich.org	70
i }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i int	Err	bitreich.org	70
1diff --git a/block.h b/block.h	/scm/dedup/file/block.h.gph	bitreich.org	70
i@@ -21,7 +21,6 @@ struct bops {	Err	bitreich.org	70
i         int (*get)(struct bctx *, unsigned char *, void *, size_t *);	Err	bitreich.org	70
i         int (*rm)(struct bctx *, unsigned char *);	Err	bitreich.org	70
i         int (*gc)(struct bctx *);	Err	bitreich.org	70
i-        int (*check)(struct bctx *, unsigned char *);	Err	bitreich.org	70
i         int (*sync)(struct bctx *);	Err	bitreich.org	70
i         int (*close)(struct bctx *);	Err	bitreich.org	70
i };	Err	bitreich.org	70
1diff --git a/bstorage.c b/bstorage.c	/scm/dedup/file/bstorage.c.gph	bitreich.org	70
i@@ -22,8 +22,6 @@	Err	bitreich.org	70
i #include <strings.h>	Err	bitreich.org	70
i #include <unistd.h>	Err	bitreich.org	70
i 	Err	bitreich.org	70
i-#include <sodium.h>	Err	bitreich.org	70
i-	Err	bitreich.org	70
i #include "block.h"	Err	bitreich.org	70
i #include "config.h"	Err	bitreich.org	70
i #include "misc.h"	Err	bitreich.org	70
i@@ -56,7 +54,6 @@ static int bsput(struct bctx *, void *, size_t, unsigned char *);	Err	bitreich.org	70
i static int bsget(struct bctx *, unsigned char *, void *, size_t *);	Err	bitreich.org	70
i static int bsrm(struct bctx *, unsigned char *);	Err	bitreich.org	70
i static int bsgc(struct bctx *);	Err	bitreich.org	70
i-static int bscheck(struct bctx *, unsigned char *);	Err	bitreich.org	70
i static int bssync(struct bctx *);	Err	bitreich.org	70
i static int bsclose(struct bctx *);	Err	bitreich.org	70
i 	Err	bitreich.org	70
i@@ -67,7 +64,6 @@ static struct bops bops = {	Err	bitreich.org	70
i         .get = bsget,	Err	bitreich.org	70
i         .rm = bsrm,	Err	bitreich.org	70
i         .gc = bsgc,	Err	bitreich.org	70
i-        .check = bscheck,	Err	bitreich.org	70
i         .sync = bssync,	Err	bitreich.org	70
i         .close = bsclose,	Err	bitreich.org	70
i };	Err	bitreich.org	70
i@@ -116,12 +112,6 @@ bd_cmp(struct bd *b1, struct bd *b2)	Err	bitreich.org	70
i static RB_PROTOTYPE(bdcache, bd, rbe, bd_cmp)	Err	bitreich.org	70
i static RB_GENERATE(bdcache, bd, rbe, bd_cmp)	Err	bitreich.org	70
i 	Err	bitreich.org	70
i-static int	Err	bitreich.org	70
i-bhash(void *buf, size_t n, unsigned char *md)	Err	bitreich.org	70
i-{	Err	bitreich.org	70
i-        return crypto_generichash(md, MDSIZE, buf, n, NULL, 0);	Err	bitreich.org	70
i-}	Err	bitreich.org	70
i-	Err	bitreich.org	70
i /* Unpack block header */	Err	bitreich.org	70
i static int	Err	bitreich.org	70
i unpackbhdr(unsigned char *buf, struct bhdr *bhdr)	Err	bitreich.org	70
i@@ -283,11 +273,6 @@ bscreat(struct bctx *bctx, char *path, int mode)	Err	bitreich.org	70
i         struct bhdr *bhdr;	Err	bitreich.org	70
i         int fd;	Err	bitreich.org	70
i 	Err	bitreich.org	70
i-        if (sodium_init() < 0) {	Err	bitreich.org	70
i-                seterr("sodium_init: failed");	Err	bitreich.org	70
i-                return -1;	Err	bitreich.org	70
i-        }	Err	bitreich.org	70
i-	Err	bitreich.org	70
i         fd = open(path, O_RDWR | O_CREAT | O_EXCL, mode);	Err	bitreich.org	70
i         if (fd < 0) {	Err	bitreich.org	70
i                 seterr("open: %s", strerror(errno));	Err	bitreich.org	70
i@@ -342,11 +327,6 @@ bsopen(struct bctx *bctx, char *path, int flags, int mode)	Err	bitreich.org	70
i                 return -1;	Err	bitreich.org	70
i         }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i-        if (sodium_init() < 0) {	Err	bitreich.org	70
i-                seterr("sodium_init: failed");	Err	bitreich.org	70
i-                return -1;	Err	bitreich.org	70
i-        }	Err	bitreich.org	70
i-	Err	bitreich.org	70
i         fd = open(path, flags, mode);	Err	bitreich.org	70
i         if (fd < 0) {	Err	bitreich.org	70
i                 seterr("open: %s", strerror(errno));	Err	bitreich.org	70
i@@ -409,17 +389,13 @@ bsput(struct bctx *bctx, void *buf, size_t n, unsigned char *md)	Err	bitreich.org	70
i         struct bd key, *bd;	Err	bitreich.org	70
i         off_t offs;	Err	bitreich.org	70
i 	Err	bitreich.org	70
i-        if (bhash(buf, n, key.md) < 0) {	Err	bitreich.org	70
i-                seterr("bhash: failed");	Err	bitreich.org	70
i-                return -1;	Err	bitreich.org	70
i-        }	Err	bitreich.org	70
i-	Err	bitreich.org	70
i         /*	Err	bitreich.org	70
i          * If the block is already present in the cache	Err	bitreich.org	70
i          * just increment the reference count and write back	Err	bitreich.org	70
i          * the block descriptor associated for that block.	Err	bitreich.org	70
i          */	Err	bitreich.org	70
i         sctx = bctx->sctx;	Err	bitreich.org	70
i+        memcpy(key.md, md, MDSIZE);	Err	bitreich.org	70
i         bd = RB_FIND(bdcache, &sctx->bdcache, &key);	Err	bitreich.org	70
i         if (bd != NULL) {	Err	bitreich.org	70
i                 off_t bdoffs;	Err	bitreich.org	70
i@@ -605,59 +581,6 @@ bsgc(struct bctx *bctx)	Err	bitreich.org	70
i         return 0;	Err	bitreich.org	70
i }	Err	bitreich.org	70
i 	Err	bitreich.org	70
i-/*	Err	bitreich.org	70
i- * Lookup the block given hash and rehash it.	Err	bitreich.org	70
i- * Check that the hashes match.  It returns -1	Err	bitreich.org	70
i- * on error, 0 on success and 1 if a block hash	Err	bitreich.org	70
i- * mismatch is detected.	Err	bitreich.org	70
i- */	Err	bitreich.org	70
i-static int	Err	bitreich.org	70
i-bscheck(struct bctx *bctx, unsigned char *md)	Err	bitreich.org	70
i-{	Err	bitreich.org	70
i-        struct sctx *sctx;	Err	bitreich.org	70
i-        struct bd key, *bd;	Err	bitreich.org	70
i-        void *buf;	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-        sctx = bctx->sctx;	Err	bitreich.org	70
i-        memcpy(key.md, md, MDSIZE);	Err	bitreich.org	70
i-        bd = RB_FIND(bdcache, &sctx->bdcache, &key);	Err	bitreich.org	70
i-        if (bd == NULL) {	Err	bitreich.org	70
i-                seterr("unknown block");	Err	bitreich.org	70
i-                return -1;	Err	bitreich.org	70
i-        }	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-        buf = malloc(bd->size);	Err	bitreich.org	70
i-        if (buf == NULL) {	Err	bitreich.org	70
i-                seterr("malloc: %s", strerror(errno));	Err	bitreich.org	70
i-                return -1;	Err	bitreich.org	70
i-        }	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-        if (lseek(sctx->fd, bd->offset, SEEK_SET) < 0) {	Err	bitreich.org	70
i-                free(buf);	Err	bitreich.org	70
i-                seterr("lseek: %s", strerror(errno));	Err	bitreich.org	70
i-                return -1;	Err	bitreich.org	70
i-        }	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-        if (xread(sctx->fd, buf, bd->size) != bd->size) {	Err	bitreich.org	70
i-                free(buf);	Err	bitreich.org	70
i-                seterr("failed to read block: %s", strerror(errno));	Err	bitreich.org	70
i-                return -1;	Err	bitreich.org	70
i-        }	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-        if (bhash(buf, bd->size, key.md) < 0) {	Err	bitreich.org	70
i-                free(buf);	Err	bitreich.org	70
i-                seterr("bhash: failed");	Err	bitreich.org	70
i-                return -1;	Err	bitreich.org	70
i-        }	Err	bitreich.org	70
i-	Err	bitreich.org	70
i-        if (memcmp(key.md, md, MDSIZE) != 0) {	Err	bitreich.org	70
i-                free(buf);	Err	bitreich.org	70
i-                return 1;	Err	bitreich.org	70
i-        }	Err	bitreich.org	70
i-        free(buf);	Err	bitreich.org	70
i-        return 0;	Err	bitreich.org	70
i-}	Err	bitreich.org	70
i-	Err	bitreich.org	70
i /* Sync block header to storage file */	Err	bitreich.org	70
i static int	Err	bitreich.org	70
i bssync(struct bctx *bctx)	Err	bitreich.org	70
.