W tym czasie inspiracją oraz marzeniem było dla niego wstąpienie do AC/DC. Zaproponował koledze z Buster Brown – Geordie Leachowi – współpracę, jednak Leach odmówił mu. Nie zniechęciło to jednak Phillipa, który nieustannie ubiegał się o dołączenie do grupy. Wkrótce los uśmiechnął się do niego i stał się członkiem AC/DC. W zespole szybko się odnalazł, wprowadzając do ich stylu swoją niekonwencjonalną i perfekcyjną technikę gry na perkusji. Wraz z grupą pracował od 1975 do 1983 roku. Rok po jego dołączeniu do zespołu członkowie przenieśli się do Anglii, gdzie rozpoczęli regularne koncertowanie i nagrywanie albumów. W roku 1980 zmarł jeden z jego kolegów z AC/DC – Bon Scott. W tym czasie zespół przyjął na miejsce wokalisty Briana Johnsona, z którym nagrali najpopularniejszy i najlepiej oceniany album „Back In Black”. Choć Rudd przeżył śmierć Scotta, postanowił nie odchodzić z zespołu, ani nie zawieszać swojej działalności muzycznej. Grupę opuścił dopiero w roku 1983, podczas nagrań do „Flick of The Switch”. Na jego miejsce wstąpił wówczas przyszły perkusista Dio – Simon Wright. Decyzja o porzuceniu kariery tworzonej u bokuz AC/DC była skutkiem problemów Phillipa z narkotykami oraz konfliktów pomiędzy nim a Malcolmem Youngiem. Rozdział „AC/DC” został tymczasowo zamknięty. Wkrótce Rudd przeniósł się do Tauranga w Nowej Zelandii, gdzie etablował wynajem helikopterów. W tym czasie media bardzo zainteresowały się jego odejściem z zespołu w przeddzień trasy koncertowej po Ameryce Północnej oraz spekulowały, że w grupie wybuchła wojna.
„Jesteśmy nieco rozwydrzeni, ale nie walczymy ze sobą”
„Nie da się znaleźć bardziej wytrzymałego człowieka, czy perkusisty niż Phill Rudd. Żaden z nas nie musiał pracować, jeśli nie chciał. Phil wykorzystał ten wariant.”
Brian Johnson
“W tym czasie ścigałem się, latałem helikopterem, stałem się farmerem i uprawiałem rośliny. Żyłem w Nowej Zelandii, co był wspaniałe – cisza, spokój i nic, co by mnie niepokoiło.”
Phill Rudd
Ponadto Phill powrócił do gry na perkusji, jednak jak sam przyznał – tylko dlatego, że miał na to ochotę, a nie dlatego, że tak mu kazano. Stworzył własne studio, w którym pracował iczerpał radość z gry na ukochanym instrumencie. W roku 1991 podczas światowej trasy koncertowej „Razors Edge” członkowie AC/DC zaproponowali Ruddowi współpracę podczas koncertów. Phill zgodził się i tym samym powrócił do zespołu, zastępując Chrisa Slade’a. Choć grupa ceniła talent i możliwości Chrisa, to niejednokrotnie przyznawała, że od roku 1983 AC/DC utraciło istotną cząstkę ich muzyki. Od powrotu Rudda to zespołu, band wydał trzy albumy studyjne – „Ballbreaker”, „Stiff Upper Lip” oraz „Black Ice” (największy hit od czasów „For Those About To Rock We Salute You” w 1981 roku). Z zespołem Phill Rudd współpracuje po dzień dzisiejszy.
W roku 2003 dodano go do „Rock and Roll Hall of Fame”.