Der Ursprungsbau diente als Kastnerhaus. (Der Kastner überwachte und verwaltete die Naturalabgaben, die an die Eichstätter Fürstbischöfe zu entrichten waren.)
1758 bis 1759 wurde das Gebäude von Mauritio Pedetti barockisiert, seit 1812 ist es Pfarrhof. Im 1. Stock befinden sich beachtliche Stuckdecken.