1975 wurde er als Ensemblemitglied an die Wiener Volksoper engagiert, bis er 1977 an die Wiener Staatsoper verpflichtet wurde, wo er langjähriges Ensemblemitglied und Betriebsrat war. Daneben gastierte er regelmäßig u. a. bei den Salzburger Festspielen, in München, Paris, Zürich und Barcelona. 1988 wurde er zum Österreichischen Kammersänger ernannt.
Sein Debüt im Haus am Ring gab KS Rudolf Mazzola 1977 als Osmin ("Entführung aus dem Serail"), es folgten Partien wie Sarastro ("Die Zauberflöte"), Basilio ("Il barbiere di Siviglia"), Kezal ("Die verkaufte Braut"), Frank ("Die Fledermaus"), Marchese di Calatrava ("La forza del destino"), Doktor ("Wozzeck"), Don Alfonso ("Così fan tutte"), Titurel ("Parsifal"), La Roche ("Capriccio") und Ochs ("Der Rosenkavalier"). Den Mesner in "Tosca" verkörperte er 90 Mal, den Bartolo in "Le nozze di Figaro" 82 Mal. Sein letzter Auftritt an der Wiener Staatsoper war der Schigolch ("Lulu") im November 2002. Insgesamt sang KS Rudolf Mazzola 46 Partien in 40 verschiedenen Opern in 996 Vorstellungen.
