Secondo la tradizione, nacque ad Efeso. A Roma fu battezzato, ordinato sacerdote e consacrato vescovo. Inviato a Rimini come pastore, combattè vigorosamente i residui di paganesimo e l'eresia. Partecipò al concilio di Rimini del 359, convocato per condannare Ario; allorchè se ne profilò la vittoria, Gaudenzio, con altri diciassette vescovi, abbandonò il concilio e si ritirò alla Cattolica. Rientrato a Rimini, attaccò apertamente le posizioni ariane. Arrestato dal preside dell'imperatore Costanzo, fu strappato dalle mani dei giudici e linciato dai seguaci di Ario, il 14 attobre del 360.
Ciò è quanto tramanda la tradizione agiografica: di fatto l'esistenza storica del santo non è certa ed è ignorata dalle fonti coeve. San Guadenzio - il cui culto è comunque molto antico - è il patrono di Rimini.