Artysta ukończył Julliard w połowie lat czterdziestych. Dekadę później otworzył własną szkołę gry na perkusji u boku swojego bliskiego przyjaciela Gene Krupy. Początkowo grał z Bennym Carterem i jego pierwszym zespołem - Chu Berrym, Teddym Wilsonem i Dickiem Wellsem. Grupa nie zagrzała miejsca na scenie muzycznej i szybko zakończyła działalność. Przez większość swojej kariery artysta współpracował u boku wybitnych postaci, takich jak Willie Bryant, Cab Colloway, Lionel Hampton, czy Louis Armstrong. Muzyk był pierwszym czarnoskórym zatrudnionym w radiu CBS, gdzie w roku 1943 pracował z Raymondem Scottem. W roku 1985 Scott przyznał, że Cozy był najbardziej profesjonalnym muzykiem, z jakim miał okazję pracować. W roku 1943 pojawił się w "Carmen Jones".
"Myślę, że jestem jedynym perkusistą, który pojawił się w wielkim broadwayowskim przedstawieniu, z nazwiskiem w programie."
W roku 1944 Benny Goodman i Cozy Cole utworzyli zespół w Onyx Club w Nowym Jorku. Zespół okazjonalnie tworzył nagrania i koncertował. W czasie znalezionym pomiędzy koncertami Cozy rozwijał się jako artysta solowy, koncertując po Europie u boku Jacka Teagardena i Earl Hines. W 1953 wraz z Gene Krupa stworzył Szkołę Gry Na perkusji "The Krupa and Cole" w Nowym Jorku.
W latach sześćdziesiątych wraz z przyjacielem Jonahem Jonesem. Wraz ze Stuffem Smithem i Cabem Calloway'em. Przez kolejną dekadę koncertowali i nagrywali. W roku 1978 Cozy otrzymał tytuł doktora w Musical Arts na Uniwersytecie Kolumbijskim.
"Im więcej się uczysz, tym więcej nieznanych rzeczy odkrywasz. Im więcej się uczysz, tym bliżej jesteś sukcesu."
Muzyk zmarł w wieku siedemdziesięciu jeden lat w Kolumbii 31 stycznia 1981 roku.
"Cozy był dla mnie jak brat. Był najwspanialszą osobą, jaką kiedykolwiek poznałem. Po raz pierwszy spotkaliśmy się w roku 1936. Byłem nowicjuszem w Nowym Jorku, a Cozy wszystko mi pokazał. W tych czasach Harlem pełen był doskonałych muzyków, przechodziłem ciężki okres, ponieważ nikt mnie nie znał. Ale stary Cozy zauważył to i załatwił mi pracę. Pewnego dnia Teddy Wilson zaproponował Cozy'emu występ u boku nowego wokalisty. Cozy powiedział mu, że przyjmie posadę, jeśli Teddy zatrudni również mnie. Oto jaki był miły. (...) Nigdy nie będzie drugiego takiego, to pewne."
Jonah Jones, 1996