Pilvandmetöötluse arhitektuur viitab omavahel ühendatud serverite, salvestussüsteemide ja juhtsõlmede kogumile, mis võimaldavad hajutatud andmetöötlust. Igal pilvandmetöötlussüsteemil on tavaliselt nii esiots, klientarvuti kui ka tagaosa, mis koosneb rakendusserveritest, andmesalvestusest ja teatud tüüpi juhtsõlmedest. Kõike ühendav võrk on veel üks oluline tahk, mida saab pilvandmetöötluse arhitektuuriga seostada. Pilvandmetöötluse arhitektuuri komponendid võivad olla üksteisega ühendatud kohapeal või Interneti kaudu ning klient pääseb neile tavaliselt juurde Interneti kaudu.
Iga pilvandmetöötluse arhitektuuriga seotud riistvarakomponent suhtleb tavaliselt rakenduste programmeerimisliideste (API-de), näiteks erinevate veebiteenuste abil. Arhitektuuri esiosa, mida klient või kasutaja näeb ja millega suhtleb, võib olla mitmel erineval kujul. Mõned pilvandmetöötluse juhtumid kasutavad tavalisi liideseid, näiteks veebibrausereid, mis pääsevad juurde pilvepõhisele meilile või muudele teenustele. Pilvandmetöötluse muudel kasutusviisidel on patenteeritud tarkvarasüsteemid, mis on loodud konkreetsete ülesannete jaoks.
Arhitektuuri tagumine osa koosneb tavaliselt kolmest põhikomponendist. Üks neist komponentidest on andmehoidla, kuhu saab paigutada informatsiooni hilisemaks väljavõtmiseks. Andmeid võivad pilve salvestada kliendid või pilverakendused. Pilvesüsteemi andmemaht on koondamise võimaldamiseks tavaliselt üsna suur. Põhimõtteliselt tähendab see seda, et pilvarhitektuuri andmesalvestuskomponent on tavaliselt ette nähtud salvestama igast andmekogumist rohkem kui ühte koopiat juhuks, kui mõni süsteemi osa saab kahjustatud või ligipääsmatuks.
Rakendusserverid on veel üks oluline pilvandmetöötluse arhitektuuriga seotud komponent. Pilvearhitektuur hõlmab tavaliselt mitmeid erinevaid rakendusservereid, millest igaüks võib vastutada erineva funktsiooni eest. Kõik need serverid on tavaliselt ette nähtud ühe programmi või teenuse käitamiseks ja paljud neist võivad olla kliendile kättesaadavad kasutajaliidese kaudu. Selline hajutatud seadistus võimaldab süsteemil toimida sujuvamalt kui varasemad monoliitsed kujundused.
Viimased komponendid, mis võivad pilvandmetöötluse arhitektuuris oluliseks osutuda, on juhtsõlmed. Need spetsiaalsed arvutid võivad olla ühendatud andmesalvestus- ja rakendusserveritega Interneti või mõne muu võrgu kaudu. Esiosa liidestub tavaliselt juhtsõlmega, võimaldades kliendil suhelda rakendusserveritega. Juhtsõlmed ühendavad tavaliselt ka rakendusservereid ja kliente andmesalvestusega.