Veebiroomaja on suhteliselt lihtne automatiseeritud programm või skript, mis otsib metoodiliselt Interneti-lehti või “roomab” läbi, et luua otsitavate andmete register; need programmid on tavaliselt mõeldud kasutamiseks ainult üks kord, kuid neid saab programmeerida ka pikaajaliseks kasutamiseks. Programmil on mitmeid kasutusviise, ehk kõige populaarsemad on otsingumootorid, mis kasutavad seda veebis surfajatele asjakohaste veebisaitide pakkumiseks. Teised kasutajad on keeleteadlased ja turu-uurijad või kõik, kes püüavad organiseeritud viisil Internetist teavet otsida. Veebiroomiku alternatiivsete nimede hulka kuuluvad veebiämblik, veebirobot, robot, roomaja ja automaatne indekseerija. Roomamisprogramme saab osta Internetist või paljudest arvutitarkvara müüvatest ettevõtetest ning programme saab alla laadida enamikesse arvutitesse.
ühine Kasutusalad
Veebiroomajaid kasutatakse mitmel erineval viisil, kuid sisuliselt võivad seda kasutada kõik, kes soovivad Internetist teavet koguda. Otsingumootorid kasutavad avalikel veebilehtedel saadaoleva teabe kogumiseks sageli veebiindeksoijaid. Nende esmane eesmärk on koguda andmeid, et kui Internetis surfajad sisestavad oma saidile otsingusõna, saaksid nad kiiresti pakkuda neile asjakohaseid veebisaite. Keeleteadlased võivad tekstianalüüsi tegemiseks kasutada veebiroomaja; see tähendab, et nad võivad Internetti läbi kammida, et teha kindlaks, milliseid sõnu tänapäeval tavaliselt kasutatakse. Turu-uurijad võivad antud turu suundumuste kindlaksmääramiseks ja hindamiseks kasutada veebiindeksoijat.
Veebis roomamine on oluline meetod kiiresti laieneva Interneti kohta andmete kogumiseks ja sellega sammu pidamiseks. Iga päev lisandub pidevalt suur hulk veebilehti ja teave muutub pidevalt. Veebiroomik on viis, kuidas otsingumootorid ja teised kasutajad saavad regulaarselt tagada, et nende andmebaasid on ajakohased. Veebiindeksoreid kasutatakse palju ebaseaduslikult, näiteks serverisse häkkimine, et saada rohkem teavet, kui on vabalt antud.
Mugav tellimus
Kui otsingumootori veebiroomik külastab veebilehte, “loeb” läbi nähtava teksti, hüperlinke ja saidil kasutatavate erinevate siltide (nt märksõnarikkad metasildid) sisu. Kasutades indekseerijalt kogutud teavet, määrab otsingumootor seejärel saidi sisu ja indekseerib teabe. Seejärel lisatakse veebisait otsingumootori andmebaasi ja selle lehtede järjestamise protsessi.
Veebiindeksoijad võivad töötada ainult ühe korra, näiteks konkreetse ühekordse projekti puhul. Kui selle eesmärk on midagi pikaajalist, nagu see on otsingumootorite puhul, võidakse veebiindeksoijad programmeerida perioodiliselt Internetti läbi kammima, et teha kindlaks, kas on toimunud olulisi muudatusi. Kui saidil on tihe liiklus või tehnilised probleemid, võib ämblik olla programmeeritud seda märkama ja saiti uuesti külastama, loodetavasti pärast tehniliste probleemide taandumist.