Lata siedemdziesiąte przyniosły Carlowi nowe znajomości. Po spotkaniu Grega Lake’a i Keitha Emersona trio zdecydowało się na założenie zespołu. Zastanawiając się nad nazwą wpadli na pomysł wybrania inicjałów swych nazwisk i uporządkowania ich w kolejności alfabetycznej. Tak powstało ELP – najbardziej popularny zespół w karierze Palmera, będący źródłem jego narastającej sławy i rozwoju. Grupa tworząca rock, jazz, muzykę elektroniczną, pop rock oraz muzykę klasyczną zawiesiła działalność w roku 1980. Wydali wspólnie osiem albumów – „Emerson, Lake & Palmer”, „Tarkus”, „Picture At an Exhibition”, „Trilogy”, „Brain Salad Surgery”, „Works Volume 1”, „Works Volume 2”, oraz ostatni – „Love Beach” z roku 1978. W czasie współpracy z Emersonem i Lakem Carl nagrał jeden solowy utwór, pragnąc zaznaczyć swoje umiejętności w indywidualnej pracy. Po dekadzie ELP powróciło na scenę muzyczną wraz z nowym gatunkiem – progresywnym rockiem. Wkrótce wydali dwa kolejne albumy – „Black Moon” oraz „In The Hot Seat”. W roku 1998, cztery lata po wydaniu ostatniego krążka członkowie grupy pokłócili się i ostatecznie Greg opuścił zespół. ELP ponownie zawiesiło działalność.W późniejszych latach Palmer współpracował z Johnem Wettonem w zespole Qango oraz z członkami swojego zespołu (Carl Palmer Band) – Paulem Bielatowiczem i Stuartem Claytonem. Ponadto od roku 2006 był powiązany z zespołem Asia. Wspólnie nagrali dwa albumy – „Phoenix” w roku 2008 oraz „Omega” w 2010. Pojawiło się również nagranie DVD z trasy koncertowej grupy – „Fantasta” – wydany przez Eagle Rock Records. Na rok 2012 grupa zaplanowała wydanie krążka „XXX”.
Popularny i utalentowany muzyk miał w życiu wiele inspiracji, wielu muzyków wpłynęło na jego zamiłowania muzyczne, wielu ukierunkowało go ku kolejnym eksperymentom z wszelakimi gatunkami. Poczynając od Joe’a Morello, Philly Joego Jonesa, Arta Blakeya, Gene Krupy, kończąc na Buddym Richu. Perkusista zaczerpnął od nich wiele technik i brzmień, które wyraźnie usłyszeć można w jego stylu muzycznym. Przede wszystkim jednak jego gra na perkusji ukierunkowała się ku jazzie. Podczas współpracy z Asia miał okazję przyglądnąć się wielu innym artystom, co skłoniło go do eksperymentowania z podwójnym bębnem.
Jako jeden z pierwszych perkusistów Carl Palmer dodany został do Modern Drummers Magazine Hall of Fame. Uplasował się również na dziesiątym miejscu listy „100 najlepszych perkusistów wszechczasów” wg magazynu „Rolling Stone”.