Veebi kogumine on protsess, mille käigus spetsiaalne tarkvara kogub Internetist andmeid ja paigutab need lõppkasutaja jaoks failidesse. See täidab funktsiooni, mis sarnaneb otsingumootori ülesannetega, kuid on neist keerukam. Veebi kogumine, mida tuntakse ka kui veebikraapimist, annab kasutajale automaatse juurdepääsu Internetis leiduvale teabele, mida otsingumootorid ei suuda töödelda, kuna see suudab HTML-koodi ümber töötada. Kolm peamist veebi kogumise tüüpi on veebisisu, -struktuuri ja -kasutuse jaoks.
Veebisisu kogumine hõlmab teabe hankimist nii otsingulehe tulemuste kui ka veebilehtedel peidetud sisu sügavama otsingu kaudu. See lisateave on sageli otsingumootorites varjatud, kuna seda varjab HTML-kood. Protsess skannib teavet sarnaselt inimese silmadega, jättes kasulike elementide eraldamiseks kõrvale tähemärgid, mis ei moodusta tähenduslikke fraase.
Sisu otsimise asemel kogub veebistruktuuride kogumine andmeid selle kohta, kuidas teave teatud Interneti-piirkondades on korraldatud. Kogutud andmed annavad väärtuslikku tagasisidet, mille põhjal saab teha parandusi sellistes valdkondades nagu teabe korraldamine ja otsimine. See on viis veebi struktuuri täpsustamiseks.
Veebikasutuse kogumine jälgib üldisi juurdepääsumustreid ja veebikasutajate kohandatud kasutust. Veebikasutust analüüsides võib kogumine aidata luua selgust selle kohta, kuidas kasutajad käituvad. See on veel üks viis veebi funktsiooni parandamiseks, kuid lõppkasutaja tasemel. See võib aidata disaineritel täiustada oma veebisaitide kasutajaliideseid maksimaalse tõhususe saavutamiseks. Protsess annab ka ülevaate sellest, millist teavet kasutajad otsivad ja kuidas nad seda leiavad, andes seega aimu, kuidas sisu edasi arendada.
HTML-failidest ja piltidest teksti- ja pildiandmeid kogudes võib veebikorje teostada keerukamat veebiroomamist, mis süveneb igasse dokumenti sügavamale. Samuti analüüsib see linke, mis viitavad sellele sisule, et teha kindlaks, kas teave on Internetis oluline ja asjakohane. See annab täielikuma pildi sellest, kuidas teave on seotud ülejäänud veebiga ja mõjutab seda.
Ettevõtted kasutavad veebikorjet paljudel eesmärkidel. See võib olla tõhus viis analüüsitavate andmete kogumiseks. Mõned levinumad koostatud andmekogumid on teave konkurentide kohta, erinevate tootehindade loendid ja finantsandmed. Andmeid võidakse koguda ka klientide käitumise analüüsimiseks.