Windows10で重複排除(Dedup)を使う(Part3.運用編)



Windows10で重複排除(Dedup)を使う(Part1.導入編)
Windows10で重複排除(Dedup)を使う(Part2.設定編)
Windows10で重複排除(Dedup)を使う(Part3.運用編)


前回までで、一通りの設定が終わりました。

実際の運用時には、任意のタイミングで重複排除関係の処理を実行できます。

(重複排除処理を実行、 完全+完了まで待機)
Start-DedupJob -Volume “D:” -Type Optimization
Start-DedupJob -Volume “D:” -Type Optimization -Full -Wait

(ガベージコレクションを実行、 完全+完了まで待機)
Start-DedupJob -Volume “D:” -Type GarbageCollection
Start-DedupJob -Volume “D:” -Type GarbageCollection -Full -Wait

(整合性チェックを実行、 完全+完了まで待機)
Start-DedupJob -Volume “D:” -Type Scrubbing
Start-DedupJob -Volume “D:” -Type Scrubbing -Full -Wait


なお上記コマンドはStart-をStop-に変更すれば、ジョブの終了コマンドになります。



(確認コマンド)
Get-DedupProperties D Dドライブの利用状況表示
Get-dedupjob       実行中の重複排除ジョブ表示
Get-dedupstatus      重複排除状況(ファイル数)表示
Get-DedupVolume     重複排除状況(重複排除による削減結果)表示
Get-DedupSchedule    設定されているスケジュール情報表示
Get-DedupMetadata    メタデータ情報表示


(設定変更)
Enable-DedupVolume -Volume “D:” -UsageType <重複排除タイプ>
Set-DedupVolume -Volume “D:”  -<パラメータ名 > <変更値>


(ドライブの重複排除無効化、データの重複排除無効化)
Disable-DedupVolume -Volume “D:”
Start-DedupJob -Volume “D:” -Type UnOptimization


これらのコマンドにより、重複排除処理を制御できます。

それでは、試しにいろいろ操作して、重複排除がどのように処理されるかをチェックしてみます。

1,Dドライブにファイル(ISOファイル)をコピーして空き容量を確認する。
2、重複排除をせずに、ファイルを複製して、空き容量を確認してみる。
3.2で複製した先ファイルを完全に削除して、空き容量を確認してみる。
4.重複排除を実施してみて、Disk利用状況を確認してみる。
5.同じISOファイルを同じフォルダに複製し、空き容量を確認してみる。
6.重複排除を実施してみて、Disk利用状況を確認してみる。
7.3で複製した元ファイルを完全に削除して、空き容量を確認してみる。
8.重複排除を実施してみて、Disk利用状況を確認してみる。
9.ガベージコレクション処理を実行して、Disk利用状況を確認してみる。
10.ISOファイルすべてを完全削除して、Disk利用状況を確認してみる。
11.ガベージコレクション処理を実行して、Disk利用状況を確認してみる。
12.ガベージコレクション処理(完全)を実行して、Disk利用状況を確認してみる。

1,Dドライブにファイル(ISOファイル)をコピーして空き容量を確認する。

ISOファイルをコピーしました。その分の容量が消費され、空き容量が減りました。
(495->491GB [-4.90GB] )
また重複排除処理は実施していないため、SavedSpaceは0です。


2.重複排除をせずに、ファイルを複製して、空き容量を確認してみる。

重複排除がされていないファイルについて、複製を行いました。
通常のファイルコピーになりますので、ISOファイル1つ分の空き容量が減っています、
(490.7GB -> 486.3GB [-4.55GB])
重複排除は実施していないので、SavedSpaceも変わらず0になっています。

3.2で複製した先ファイルを完全に削除して、空き容量を確認してみる。

2で複製した先ファイル(Windows10_21H2_x64 – コピー.iso)を完全に削除して、空き容量を確認しました。
重複排除されていない通常のファイル削除になりますので、ISOファイル1つ分の空き容量が増えていますっています、
(486.3GB -> 490.7GB [+4.55GB])
重複排除は実施していないので、SavedSpaceも変わらず0になっています。

4、重複排除を実施してみて、Disk利用状況を確認してみる。

重複排除(コピーしたSOファイル単体)を実施した結果、
ごく少数(155MB)ですが、重複排除が実施されました。
ただし、おそらく重複排除が実施されたデータがブロックデータとメタデータに分割されて保存されたことにより追加でDisk容量が消費され、この段階では空き容量は逆に減っています(490.7GB -> 489.4 [-1.28GB])。
重複排除されたファイル数は1になっています。


5.同じISOファイルを同じフォルダに複製し、空き容量を確認してみる。

同じISOファイルを同じフォルダに複製してみました。
空き容量を確認すると1つのISOファイル分と容量が減っています。
(489.4GB->486.5GB [-2.92GB])
なぜか、使用料が2.92GBと少ないのですが、もしかしたらReFSとの関係で使用量が削減されているのかも知れません。

今回複製したファイルに関しては、まだ重複排除は実施されていませんので
重複排除されたファイル数は変わらず1になっています。


6.重複排除を実施してみて、Disk利用状況を確認してみる。

重複排除(コピーしたISOファイル単体x2)を実施した結果、
ISOファイル1つ分(4.44GB)の重複排除が実施されました。

これは2つのファイルが全く同じものなので、すべて同一ブロックとなるファイルが2つあるということになります。
このため、ファイル1つ分の共通のブロックデータと、2ファイル分のメタデータに分割されます。メタデータはブロックデータと比べたらごく少量になります。
結果としてファイル1つ分の空き容量増加(489.4GB -> 490.8GB [+4.28GB])になります。

重複排除されたファイル数は2になっています。


7.3で複製した元ファイルを完全に削除して、空き容量を確認してみる。

3で複製した元ファイル(Windows10_21H2_x64.iso)を完全に削除しました。
このファイルはすべてのブロックが重複排除されているファイルになります。
ブロックデータとメタデータに分かれて保存されているので、削除はメタデータ分のみの削除となります。ブロックデータは削除されないので、空き容量にはほとんど変更ありません。
(490.77GB -> 490.78GB [+0.01GB])

削除後重複排除は実施していないので、重複排除ステータスは変わらず、
SavedSpaceはファイル1つ分(4.44GB)、重複排除されたファイル数は2になっています。

8.重複排除を実施してみて、Disk利用状況を確認してみる。

再度重複排除を実施しました。
削除された分が反映され、SavedSpaceはファイル1つを重複排除した結果(155.23MB)に戻っており、重複排除されたファイル数も2->1になっています。

なお、重複排除処理だけでは、ブロックデータの操作は行われませんので、空き容量はほぼ変わりません(490.78GB->490.77GB [-0.01GB])

9.ガベージコレクション処理を実行して、Disk利用状況を確認してみる。

ガベージコレクションを実施します。
ガベージコレクションは、変更したファイルのメタデータを確認して、未使用のブロックデータを削除する作業になります。
今回の場合、ブロックデータは残ったファイルで利用しているので、削除されません。
このため、空き容量もほぼ変わりません(490.77GB -> 490.78GB [+0.01GB])

10.ISOファイルすべてを完全削除して、Disk利用状況を確認してみる

残ったファイル(Windows10_21H2_x64 – コピー.iso)を完全に削除しました。
こちらもすべてのブロックが重複排除されているファイルになりますので、
削除はメタデータ分のみの削除となります。
ブロックデータは削除されないので、空き容量には変更ありません。
(490.78GB -> 490.78GB [+0GB])

削除後重複排除は実施していないので、重複排除ステータスは変わらず、
SavedSpaceはファイル1つの重複排除結果分(155.23GB)、重複排除されたファイル数は1のままです。

11.ガベージコレクション処理を実行して、Disk利用状況を確認してみる

再度ガベージコレクションを実施します。
今回の削除で、すべてのブロックデータも未使用になりましたので、今回のガベージコレクションで、そのブロックが削除されます。

空き容量は内部処理のためか1度減りましたが、少し待つとブロックデータ削除が反映され空き容量が増えたことが確認できました。
(490.78GB -> 470.18GB [-20.6G] -> 494.91GB [+24.73GB]、全体で[+4.13GB])
このため、SavedSpaceは 0、重複排除されたファイル数も0になります。

12.ガベージコレクション処理(完全)を実行して、Disk利用状況を確認してみる

最後にガベージコレクション(フル)を実施します。
今回シナリオでは、単純なファイル複製・削除しかしていないため、前回の通常のガベージコレクションで未使用ブロックがすべて削除されていました。
このためガベージコレクション(フル)を削除しても空き容量は減りませんでした。
(494.91GB -> 494.91GB [+0])

これで、1連のシナリオの完了になります。
各項目で、ステータスを比較してみます。

作業項目
________________
保存ファイル数
____
空き容量
_______
重複排除
容量
_______
重複排除
ファイル
_______
0.作業前0494.99GB00
1,Dドライブにファイル(ISOファイル)をコピー1490.69GB
(-4.90GB)
00
2、重複排除をせずに、ファイルを複製248635GB
(-4.55GB)
00
3.2で複製した先ファイルを完全に削除1490.69GB
(+4.55GB)
00
4.重複排除を実施1489.41GB
(-1.28GB)
0.155GB]
(+0.15GB)
1
5.同じISOファイルを同じフォルダに複製2486.49GB
(-2.92GB)
0.155GB1
6.重複排除を実施2490.77GB
(+4.28GB)
4.44GB
(+4.28GB)
2
7.3で複製した元ファイルを完全に削除1490.78GB
(+0.01GB)
4.44GB2
8.重複排除を実施1490.77GB
(-0.01GB)
0.155GB
(-4.28GB)
1
9.ガベージコレクション処理1490.78GB
(+0.01GB)
0.155GB1
10.ISOファイルすべてを完全削除0490.78GB0.155GB1
11.ガベージコレクション処理を実行9494.91GB
(+4.13GB)
0GB
(-0.15GB))
0
12.ガベージコレクション処理(完全)を実行9494.91GB0GB0


Windowsでの重複排除処理の動作が何となくでも分かったでしょうか?
簡単に言うとこんな感じです。

  • 重複排除をしていないファイルはファイル操作をしても、その場で重複排除処理は行われずに、そのままファイルが追加・変更・削除される。
  • 重複排除済ファイルは、ブロックデータとメタデータに分かれて保存される。(その分Disk容量は消費される)
  • 重複排除済ファイルの追加・変更は、そのまま保存される。
  • 重複排除済ファイルの削除は、メタデータのみ削除される。
  • 重複排除処理はアイドル時間やスケジュール実行、または任意のキックが必要。
  • 重複排除処理をしないと重複排除ステータスは変更されない。
  • 重複排除処理をしても未使用ブロックデータは削除されない。
  • ガベージコレクションはスケジュール実行、または任意キックが必要
  • ガベージコレクションをすると、未使用ブロックの削除が行わる。

重複排除の注意点としては、以下の通りです。

  • ファイルの更新(追加、変更)時、一時的にそのまま保存されるので、その分の空き容量が必要
  • 全く重複ブロックが存在しないようなデータを保存している場合は、逆にメタデータ分だけ容量使用量が増える結果となります。(除外設定を適切に設定すれば回避可能)
  • ファイルの削除をしてもその時点ではブロックデータは削除されない。
    Disk容量を開けるにはガベージコレクション処理が必要。
    (つまりDisk容量の枯渇が発生した場合には、ファイルを削除しただけでなくガベージコレクションを実行しないと回復しない)
  • Disk使用率が上下する場合があるため、Disk枯渇を防ぐためには定期的なDisk利用状況を推奨します。
  • Bobocopyを利用されている方もいると思いますが、重複排除領域で利用する場合は注意が必要です。(/B or /ZBを付ける。/XJD,/XKFオプションは使用しない。ドライブ全体をコピーする場合、/XD “\System Volume Information”を追加するなど)
    データ重複除去(Deduplication)が有効なドライブからRobocopyでファイルをコピーする際の注意点
  • Robocopy以外にも、併用する際に注意が必要なものもあります。(Windows Search)
    データ重複除去の相互運用性

Windowsでの重複排除は癖はありますが、Disk容量を有効活用することができます。
後処理タイプなので、暇な時間に重複排除処理をするなどすれば、CPU,メモり使用量の割り当てを比較的少なくできます。
(リアルタイムタイプだと、Disk1TBあたり物理メモリが1-2GB必要といったものも多いです。このため専用ハードウェアで提供されていることが多いです)

Win10での利用はイレギュラーの利用とはなりますが、WindowsServerではサポートされている機能ですが、ぜひ使ってみて下さい。
(今後Win10をバージョンアップが発生した場合に、問題が発生する可能性があります。)

それではよい重複排除ライフを!!



コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です