Talent muzyczny Woodyard przez długi czas szlifował samodzielnie. W latach czterdziestych pojawiał się u boku lokalnych zespołów. W kolejnej dekadzie grał z Paulem Gaytenem i jego zespołem r&b. Niedługo przed dołączeniem do Ellingtona współpracował z saksofonistą Joe Holidayem, trębaczem Royem Eldridge i pianistą Miltem Bucknerem.
W latach swojej kariery artysta współpracował z wieloma muzykami, jednak to występy u boku Duke'a Ellingtona zagwarantowały mu największy rozgłos. Muzyk miał ogromny wpływ na rozwój orkiestry Ellingtona. Pojawiwszy się w jego zespole w roku 1955, ukierunkował jego brzmienie w kolejnych latach. Współpraca trwała do roku 1966.Po rozstaniu z Dukem nawiązał zawodową relację z Ellą Fitzgerald. Przeprowadził się do Los Angeles. W latach siedemdziesiątych jego stan zdrowia uległ pogorszeniu przez co ograniczył aktywność muzyczną. Pojawiał się jednak w zespole Buddy'ego Richa, m.in. w albumie "Roar" i "Ease on Down The Road". Pod koniec tej dekady koncertował z pianistą Claudem Bollingiem.
Na początku lat osiemdziesiątych grywał z Teddym Wilsonem, Buddym Tatem i Slamem Stewartem. Mieszkając w Paryżu, w roku 1988 zagrał ze Stevem Lacym na jego albumie "The Door". Zmarł miesiąc później.