Der in Dernbach geborene Kaspar wurde 1963 in Limburg zum Priester geweiht. Seinen kirchlichen Dienst begann Kaspar in Frankfurt: Als Seelsorge-Praktikant in Frankfurt-Zeilsheim (1964) und als Kaplan in Frankfurt-Sindlingen (1964 bis 1965). 1965 ging er als Kaplan nach Hadamar. Von dort aus wechselte er nach Bad Ems, wo er von 1967 bis 1968 als Kaplan und von 1968 bis 1970 als Schulpfarrer tätig war. Im Jahr 1970 wurde er Direktor des St. Vincenzstifts in Aulhausen. Papst Johannes Paul II. verlieh Kaspar im Oktober 1978 den Titel „Monsignore“ (Päpstlicher Ehrenkaplan) sowie 1982 den Titel „Päpstlicher Ehrenprälat“. Im Dezember 1979 ernannte ihn das Hessische Kultusministerium zudem zum „Honorarprofessor“ der Johann-Wolfgang-Goethe-Universität in Frankfurt. Fast 25 Jahre lang (1979 bis 2003) leitete Prälat Kaspar in Wiesbaden das Kommissariat der Katholischen Bischöfe im Lande Hessen. Seit 2006 ist er Ehrendomherr des Limburger Domkapitels und Mitglied der Kunstkommission im Bistum Limburg. Seit seinem Abschied von Aulhausen engagiert sich Dr. Kaspar - neben anderen Aufgaben - in der Seelsorge im Pastoralen Raum Limburg.