Datorită faptului că administraţia publică - ca activitate - se realizează printr-o multitudine de forme organizatorice, care grupează categorii întregi de oameni (personalul), sistemul administraţiei publice este unul de organizare socială, bazat pe relaţii care există între aceşti oameni ce realizează o activitate specifică.
Prin sistem al administraţiei publice înţelegem totalitatea organelor, autorităţilor, instituţiilor şi serviciilor care realizează activitatea de administraţie publică, de organizare a executării şi de executare în concret a legii şi între care se stabilesc raporturi juridice ce asigură funcţionalitatea, coerenţa întregului sistem.
În ceea ce priveşte administraţia publică, multitudinea autorităţilor administrative ale statului - şi ale colectivităţilor locale - determină ordonarea, în vederea realizării funcţiilor pe care acestea le au, în baza a două criterii şi anume: criteriul teritorial, căruia îi corespunde structura ierarhică şi criteriul competenţei materiale sau funcţional, căruia îi corespunde structura funcţională.
Criteriul teritorial presupune organizarea sistemului administraţiei publice în raport cu teritoriul statului şi al unităţilor administrativ-teritoriale, constituind, într-o viziune tradiţională, temeiul împărţirii organelor administraţiei publice în organe centrale şi organe locale, după raza teritorială în care pot acţiona.
Teritoriul element fundamental al statului este organizat, sub aspect administrativ, în comune, oraşe şi judeţe. Toate acestea sunt cunoscute generic sub titulatura de unităţi teritorial-administrative.
Comuna este unitatea administrativ-teritorială de bază care cuprinde populaţia rurală unită prin comunitate de interese şi tradiţii, fiind alcătuită din unul sau mai multe sate, în funcţie de condiţiile economice, social-culturale, geografice şi demografice.
Oraşul, ca unitate teritorial-administrativă de bază, este centrul de populaţie mai dezvoltat din punct de vedere economic, social-cultural şi edilitar-gospodăresc. Oraşele au un număr mai mare de locuitori, o însemnătate deosebită în viaţa economică, social-politică şi cultural-ştiinţifică a ţării sau care au condiţii de dezvoltare în aceste direcţii pot fi organizate, în condiţiile legii, ca municipii. În cazul municipiilor, prin lege se pot organiza şi delimita subdiviziuni administrativ-teritoriale, cum sunt în prezent sectoarele municipiului Bucureşti.
Judeţul, ca unitate teritorial-administrativă, este alcătuit din oraşe şi comune în funcţie de condiţiile geografice, de infrastructură, economice, social-politice, de legăturile culturale tradiţionale ale populaţiei.
Criteriul funcţional presupune organizarea administraţiei publice într-un sistem construit din organe formate în raport cu domeniile şi sectoarele de activitate în care îşi desfăşoară activitatea. Structura funcţională exprimă numărul de organe distincte cărora li s-au încredinţat sarcinile administraţiei publice şi, totodată, exprimă repartizarea sarcinilor administraţiei publice pe elementele componente ale acesteia.
Din acest punct de vedere, există organe ale administraţiei publice care au fost create cu o competenţă materială generală, care îşi desfăşoară activitatea în toate domeniile şi sectoarele vieţii sociale, cum este Guvernul, spre exemplu.