Além da compressão, o ZFS também possui o recurso de deduplicação, que faz com que dois (ou mais) arquivos extamente iguais ocupem apenas o espaço de um.
Irei habilitar este recurso no Pool test, que possui 10GB, e está vazio.
ricardo@solaris:~$ uname -a
SunOS solaris 5.11 11.0 i86pc i386 i86pc
ricardo@solaris:~$ ls -lh /test/
total 0
ricardo@solaris:~$ df -h /test/
Filesystem Size Used Available Capacity Mounted on
test 9.8G 31K 9.8G 1% /test
Antes de popular o Pool com uma massa de dados, verifico e habilito o parâmetro de deduplicação para o Pool.
ricardo@solaris:~$ sudo zfs get dedup test
NAME PROPERTY VALUE SOURCE
test dedup off local
ricardo@solaris:~$ sudo zfs set dedup=on test
ricardo@solaris:~$ sudo zfs get dedup test
NAME PROPERTY VALUE SOURCE
test dedup on local
Agora crio dois diretórios no Pool, e copio um conteúdo para um deles, verificando o espaço utilizado em seguida.
ricardo@solaris:~$ mkdir /test/Docs01
ricardo@solaris:~$ mkdir /test/Docs02
ricardo@solaris:~$ cp -rf Documents/Documentação/ /test/Docs01
ricardo@solaris:~$ du -sh /test/Docs01/
1.2G /test/Docs01
ricardo@solaris:~$ df -h /test/
Filesystem Size Used Available Capacity Mounted on
test 9.8G 1.2G 8.6G 13% /test
Em seguida copio o mesmo conteúdo para o outro diretório.
Com o comando du, verifico que cada um deles ocupa 1.3GB (antes o primeiro ocupava 1.2GB), mas o comando df me mostra que o sistema de arquivos está com 8.5GB livres (antes tinha 8.6GB livres), mas o espaço total cresceu (!) de 9.8GB para 11GB, assim como o espaço utilizado (de 1.2GB para 2.6GB).
ricardo@solaris:~$ cp -rf Documents/Documentação/ /test/Docs02
ricardo@solaris:~$ du -sh /test/Docs01/
1.3G /test/Docs01
ricardo@solaris:~$ du -sh /test/Docs02/
1.3G /test/Docs02
ricardo@solaris:~$ df -h /test/
Filesystem Size Used Available Capacity Mounted on
test 11G 2.6G 8.5G 24% /test
Executo a cópia mais uma vez, para um terceiro diretório. O sistema de arquivos continua com 8.5GB livres, mas agora ele “cresceu” para 12GB, e o espaço utilizado para 3.9GB.
ricardo@solaris:~$ mkdir /test/Docs03
ricardo@solaris:~$ cp -rf Documents/Documentação/ /test/Docs03
ricardo@solaris:~$ du -sh /test/Docs03/
1.3G /test/Docs03
ricardo@solaris:~$ df -h /test/
Filesystem Size Used Available Capacity Mounted on
test 12G 3.9G 8.5G 32% /test
Isto acontece porque os comandos du e df não são apropriados para tratar a deduplicação do ZFS. Esta verificação deve ser feita com os comandos zfs e zpool, como está abaixo. Veja que o tamanho do Pool está com o tamanho correto (9.94GB), o espaço alocado possui o tamanho de apenas um dos diretórios copiados, e a coluna DEDUP mostra que a deduplicação está em 3.13x (já que temos três diretórios com o mesmo conteúdo).
ricardo@solaris:~$ zfs list test
NAME USED AVAIL REFER MOUNTPOINT
test 3.92G 8.47G 3.91G /test
ricardo@solaris:~$ zpool list test
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
test 9.94G 1.27G 8.67G 12% 3.13x ONLINE -
E repetindo mais uma vez, com um quarto diretório, a análise continua incorreta pelos comandos du e df, mas correta pelo zlist e zpool. Veja que deduplicação passou para 4.18x.
ricardo@solaris:~$ mkdir /test/Docs04
ricardo@solaris:~$ cp -rf Documents/Documentação/ /test/Docs04
ricardo@solaris:~$ df -h /test/
Filesystem Size Used Available Capacity Mounted on
test 14G 5.2G 8.4G 39% /test
ricardo@solaris:~$ du -sh /test/Docs04
1.3G /test/Docs04
ricardo@solaris:~$ zfs list test
NAME USED AVAIL REFER MOUNTPOINT
test 5.22G 8.44G 5.21G /test
ricardo@solaris:~$ zpool list test
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
test 9.94G 1.28G 8.66G 12% 4.18x ONLINE -
ricardo@solaris:~$
Imagine os benefícios em um File Server de uma grande empresa, onde é comum existirem várias cópias de um mesmo documento.