Kounellis begon zijn studie aan de kunstacademie in Athene en vervolgde deze vanaf 1956 aan de kunstacademie (Accademia di Belle Arti) in Rome. Sindsdien woonde en werkte hij in deze stad. In 1960 had hij zijn eerste solotentoonstelling. Vanaf ongeveer 1963 nam Kounellis gevonden voorwerpen en alledaagse materialen in zijn beeldobjecten op. Hij gebruikte bijvoorbeeld aarde, leem, steenkool, teer, jutezakken, ijzer. Zijn gebruik van containers, touwen, loden platen en scheepswrakken herinnerde aan zijn jeugd in de Griekse havenstad Piraeus. Hij maakte installaties met brandende gasvlammen. Naast tekeningen maakte hij veel ruimtelijk werk. Zijn ontwerpen voor de openbare ruimte werden door hun materiaalkeuze als provocatief ervaren en zorgden voor discussie.