Väike operatsioonisüsteem on selline, mis koosneb suhteliselt väikesest kogusest aluseks olevast koodist. Selle tulemusena nõuab see tavaliselt vähem ressursse masinalt, millel see töötab.
Väga üldistatud reeglina põhinevad enamik väikese operatsioonisüsteemina kirjeldatud süsteeme Linuxi tuumal. Tuum on sisuliselt arvuti aju ja otsustab täpselt, mida ta igal konkreetsel hetkel tegema peaks. Linuxit kasutatakse tavaliselt avatud lähtekoodiga süsteemides, mis on väga erinevad ja mõned on väiksemad kui teised. Microsofti Windowsi ja Apple’i OSX-i peetakse tavaliselt väga suurteks operatsioonisüsteemideks.
Kuna väikese operatsioonisüsteemi idee on pigem võrdlev kui absoluutne, on Windowsi väljaandeid, mida võiks nimetada väikeseks. Tuntuim neist on Windows CE, mis on mõeldud väga madala spetsifikatsiooniga arvutitele ja eraldiseisvatele seadmetele. Viimase puhul on süsteem tavaliselt otse seadmesse sisse ehitatud. Mõned seadmed, mis käitavad operatsioonisüsteemi Windows CE, sisaldavad mõne lennufirma interaktiivseid teabeekraane ja seljatoega meelelahutussüsteeme.
Väikese operatsioonisüsteemi peamiseks eeliseks on see, et see suudab töötada madala spetsifikatsiooniga arvutis ega vaja tavaliselt nii kiiret arvutit ega nii palju mälu kui suuremad süsteemid. See jätab rakenduste käitamiseks rohkem ressursse. Samuti võimaldab see vanemaid arvuteid kauem kasutada, enne kui need aegunuks loetakse.
Teine eelis on see, et väikesel operatsioonisüsteemil on definitsiooni järgi väiksem vigu sisaldav potentsiaal. See kehtib siiski ainult absoluutarvudes. Halvasti kirjutatud väike operatsioonisüsteem põhjustab tõenäoliselt sama palju või rohkem probleeme kui hästi kirjutatud suur.
Mõned operatsioonisüsteemid on nii väikesed, et neid saab salvestada kaasaskantavale seadmele ja isegi sellelt käivitada. See võib hõlmata USB-mälupulka. See tähendab, et operatsioonisüsteemi saab arvutis kohe käivitada, ilma et oleks vaja seda installida. See võib olla eriti kasulik, kui töötate arvutiga, mille installitud süsteem on rikutud.
Väikese operatsioonisüsteemi puudused sõltuvad sellest, miks see on väike. Näiteks võib see töötada ainult käsureal, mis tähendab, et teave sisestatakse ja kuvatakse puhtalt teksti kujul, mitte graafiliselt, mis võib olla paljudele kasutajatele tõrjuv. Väike süsteem võib olla ka ruumi säästnud, kuna sellel on riistvaraseadmete (nt printerid või modemid) piiratud tugi.