Jimmy urodził się w Cincinnati a dorastał w Memphis. Dzięki znajomościom z braćmi Dorsey'em i Johnnym Burnette wylądował w końcu w Los Angeles I tam podpisał kontrakt z wytwórnią Reprise. Jego solowy debiut płytowy, "Summer Holiday", ukazał się w 1963 roku. Sześć lat później stanął na czele grupy Bread, z którą osiągnął największe sukcesy (singel "Make It With You" zadebiutował na pierwszym miejscu listy "Billboardu"). Bread zakończył działalność w 1977 roku . Potem Griffin nagrywał jako solista lub z innymi grupami, m.in. The Hollies, The Remingtons.