Z muzyką zaznajamiany był od najmłodszych lat - jego matka była nauczycielką gry na pianinie. Początkowo szkolił się w grze na perkusji pod okiem Cozy'ego Cole'a i Charlesa Wilcoxona, a także zgłębiając tajniki muzyczne u Arta Blakeya i Maxa Roacha.
W latach czterdziestych pojawił się na nowojorskich scenach, występując u boku jazzowych zespołów. Pierwszą grupą, z którą tworzył był kwintet Johnny'ego Griffina, Joe'go Morrisa, Matthewa Gee, Elmo Hope'a i Percy'ego Heatha. Gdy zespół powrócił do bluesa, Philly rozstał się z nim, dołączając do Lee Konitza, Zoota Simsa, Tony'ego Scotta, Tadda Damerona i Bena Webstera. Pracował w Filadelfii dla lokalnych zespołów i artystów, takich jak Dexter Gordon, czy Fats Navarro. W tym czasie przez krótki czas był w wojsku, a także pracował jako kierowca. Największy wpływ na uformowanie się dalszej kariery Josepha miała współpraca z Taddem Dameronem, którą rozpoczął pod koniec lat czterdziestych, a zakończył w roku 1953. Muzyk nauczył go gry zarówno w zespole, jak i solo. Ponadto sukces i popularność zdobył dzięki pracy u boku Milesa Davisa w latach 1952-1958. Wraz z trębaczem podróżował po Stanach Zjednoczonych, zatrzymując się w wybranych miastach w celu wystąpień u boku lokalnych talentów.
Ostatecznie Miles zatrudnił pianistę Red Garlanda, basistę Paula Chambersa i Johna Coltrane'a.
"Wraz z Phillym Joe Jonesem podróżowaliśmy od miasta do miasta, by grać z lokalnymi muzykami. (...) Jednak w większości przypadków działało mi to na nerwy, ponieważ często nie znali oni nawet utworów!"
"Gdy po raz pierwszy zagraliśmy razem, spojrzeliśmy na siebie i stwierdziliśmy "To jest to!". Mieliśmy do czynienia z muzyczną telepatią. Mieliśmy piątkę ludzi, którzy wiedzieli, co zdarzy się później."
Jones powiązany był z takimi wytwórniami płytowymi jak Blue Note, Riverside i Prestige. Jego muzyczny styl uważany był za "zbyt głośny". Pierwszym wydanym przez niego albumem był "Blue Train", nagrany dla Riverside. Na krążku pojawili się Nat Adderley, Julian Priester, Johnny Griffin i Tommy Flanagan. Tuż po pojawieniu się EPki artysta okrzyknięty został przez "Downbeat" nową gwiazdą perkusji.
W roku 1962 nastąpił w jego karierze moment krytyczny. Został właściwie zapomniany przez media i wytwórnie. Przeprowadził się do Anglii w roku 1968, gdzie rozpoczął pracę jako nauczyciel. Po powrocie do Nowego Jorku w 1977 wydał LP "Mean What You Say" dla Sonet. Regularnie pojawiał się także w pracy w rodzinnej Filadelfii. W latach osiemdziesiątych utworzył Dameronia, zespół który odtwarzał utwory Tadda Damerona. Wraz z grupą wydał dwie LP'ki - w roku 1982 i 1984. Obydwie zostały pozytywnie ocenione przez krytyków.
30 sierpnia 1985 artysta zmarł w wyniku ataku serca w rodzinnym domu w Filadelfii.