Otsingumootor on arvutiprogramm, mis toimib teabe hankimise viisina andmebaasist, tuginedes teatud kasutaja määratud kriteeriumidele. Kaasaegsed otsivad andmebaasidest, mis sisaldavad tohutul hulgal andmeid, mis on kogutud veebist, uudistegruppidest ja kataloogiprojektidest.
Enne veebi olemasolu, kuid pärast Interneti tulekut ja sellele järgnenud populaarsust ülikoolide ringkonnas loodi esimene otsingumootor. Ajaloo praegusel hetkel – 1980. aastate lõpus ja 1990. aastate alguses – oli üks peamisi Internetis kasutatavaid protokolle failiedastusprotokoll (FTP). FTP-serverid eksisteerisid kogu maailmas, tavaliselt ülikoolilinnakutes, uurimisasutustes või valitsusasutustes. Mõned Montreali McGilli ülikooli tudengid otsustasid, et erinevates populaarsetes FTP-serverites saadaolevate failide tsentraliseeritud andmebaas aitaks säästa aega ja pakkuda teistele suurepärast teenust. Sellest sai alguse Archie otsingumootor.
Archie, mis oli lühend arhiivist, oli programm, mis logis regulaarselt oma loendis olevatesse FTP-serveritesse sisse ja koostas serveris olevate failide indeksi. Kuna protsessori aeg ja ribalaius olid endiselt üsna väärtuslik kaup, kontrollis Archie värskendusi ainult iga kuu. Alguses oli Archie loodud indeks mõeldud kontrollimiseks Unixi käsu grep abil, kuid peagi töötati välja parem kasutajaliides, mis võimaldab indeksist hõlpsat otsimist. Pärast Archie’t tekkis käputäis otsingumootoreid, et otsida sarnast Gopheri protokolli – kaks kuulsaimat on Jughead ja Veronica. Archie muutus World Wide Webi ja sellele järgnevate otsingumootorite tulekuga suhteliselt vananenuks, kuid Archie serverid on endiselt olemas.
1993. aastal, mitte kaua pärast World Wide Web loomist, töötas Matthew Gray välja World Wide Web Wandereri, mis oli esimene veebirobot. World Wide Web Wanderer indekseeris kõik Internetis eksisteerinud veebisaidid, jäädvustades nende URL-id, kuid ei jälginud veebisaitide tegelikku sisu. Wandereriga seotud indeks, mis oli varase otsingumootori tüüp, kandis nime Wandex.
Pärast Wandererit kasvasid välja veel mõned väikesed projektid, mis hakkasid lähenema kaasaegsele otsingumootorile. Nende hulka kuulusid World Wide Web Worm, Repository-Based Software Engineering (RBSE) ämblik ja JumpStation. Kõik need kolm kasutasid veebirobotite kogutud andmeid selle teabe kasutajatele tagastamiseks. Siiski tagastati teave enamasti filtreerimata, kuigi RBSE püüdis lehtede väärtust järjestada.
1993. aastal andis Stanfordi tudengite asutatud ettevõte nimega Excite välja selle, mis on vaieldamatult esimene otsingumootor, mis tegelikult hõlmas lehe sisu analüüsi. See esialgne pakkumine oli mõeldud otsimiseks saidil, mitte aga veebist tervikuna.
1994. aastal toimus otsingumootori maailmas aga suur läbimurre. Ettevõte nimega WebCrawler käivitas otsingumootori, mis mitte ainult ei jäädvustas Internetis olevate lehtede pealkirjad ja päised, vaid haaras ka kogu sisu. WebCrawler oli tohutult edukas – nii edukas, et suurt osa ajast ei saanud seda isegi kasutada, kuna kõik selle süsteemiressursid olid kasutusel.
Veidi hiljem samal aastal ilmus Lycos, mis sisaldas palju samu funktsioone, mis WebCrawler, ja neile tuginedes. Lycos järjestas oma tulemused asjakohasuse alusel ja võimaldas kasutajal kohandada mitmeid sätteid, et saada paremini sobivaid tulemusi. Lycos oli samuti tohutu – aasta jooksul oli sellel arhiveeritud tublisti üle miljoni veebisaidi ja kahe aastaga oli see jõudnud 60 miljonini.