Deduplikatsioon on protsess, mida kasutatakse üleliigsete andmete kõrvaldamiseks. Protsessi käigus skannitakse arvuti kõvaketast võrdlusakendes suurte andmejadade leidmiseks. Dubleerivate andmete otsimisel valitakse tavaliselt välja kaheksa kilobaidi või enama pikkused jadad. Kui jada leitakse mujalt salvestussüsteemist, viidatakse dubleeritud failile, mitte ei salvestata seda uuesti.
Edukas dubleerimine võib kaotada arvutis mitu kilobaiti andmeid, mis toob kaasa ilmseid eeliseid. Andmete dubleerimine võtab süsteemis tarbetult ruumi ja kui kõrvalised andmed eemaldatakse, jääb kasutajale arvutisse rohkem salvestusruumi. See võimaldab süsteemil kiiremini ja tõhusamalt töötada, kuna see ei ole lisaandmetega takerdunud. Lisaks on ribalaiuse paranemine alati märgatavam, kui arvutil on rohkem vaba ruumi.
Deduplikatsioon hõlmab suure andmehulga viitamist esimesse asukohta ja andmete lisakoopiate kustutamist, mis aga vajaduse korral indekseeritakse. Sageli saab samu täpseid andmeid salvestada kõvakettal kuni 100 erinevasse kohta. Kui igaüks võtab ühe megabaidi ruumi, vähendab dubleerimine seda kõvakettaruumi 100 megabaidilt ühele. Protsess toimib andmete arhiveerimise teel ja saadav lisaruum on arvuti kõvakettale väga kasulik.
Dubleerimise lisaeelised hõlmavad vajaliku varuruumi vähendamist kuni 90 protsenti, kulude (nt toite-, ruumi- ja jahutusvajaduse) vähendamist, kõrgema teenindustaseme taastamist, paljude erinevate vigade kõrvaldamist ja andmete taastamist mitmel etapil. erinevad punktid. Deduplikatsiooni puuduseks on see, et see tuvastab dubleeritud andmed krüptograafiliste räsifunktsioonide abil, mis võivad olla ebausaldusväärsed ning kokkupõrge või muud tüüpi vead võivad põhjustada andmete kadumise. Samuti võib arvuti töökindlus halveneda, kui protseduuri volitanud isik ei ole teadlik koondamise vähendamisest.
Andmete dubleerimine toimub nii, et esmalt segmenteeritakse kõik töödeldavad andmed. Iga segment tuvastatakse ja võrreldakse juba süsteemis olevate andmetega. Kui andmed on unikaalsed, salvestatakse need kettale. Kui tegemist on dubleeritud andmetega, luuakse selle asemel viide. Deduplikatsiooni saab rakendada tarkvara nimega Data Domain, mis töötab andmete ja salvestussüsteemidega, et filtreerida andmeid, viidates, kõrvaldades või salvestades vastavalt vajadusele iga baiti.