Das Patrozinium des hl. Stephanus & der Ortsname lassen auf eine frühe Gründung - möglicherweise - durch fränkische Missionare schließen.
1293 verkauft Markgraf Heinrich II. von Burgau und sein Enkel Heinrich III. den Ort an Bischof Wolfhart von Roth. Bis zur Säkularisation 1803 gehört Pfaffenhausen zum Hochstift Augsburg. 1734 wird die Pfarrei in das dort begründete Priesterseminar inkorporiert bis 1803.
Nach der Errichtung des Priesterseminars ließ der Bischof, Kurfürst Clemens Wenzeslaus, dem die bestehende Kirche zu klein war, Umbaupläne schmieden. Als diese nicht zum Ziel führten, wurde die bestehende gotische Kirche kurzerhand abgebrochen und durch einen Neubau ersetzt.
Im 19. Jahrhundert verliert die Pfarrei von den acht zugehörigen Filialen sechs, die bis auf Bronnen ( wurde eine Filiale Salgens) zu eigenständigen Pfarreien übergeführt wurden.