Bauherr und Gründer der Einrichtung war Heinrich Brandt, welcher von 1831 bis 1847 Dekan in Windsbach war. Am 25. August 1836 fand die Grundsteinlegung für das Pfarrwaisenhaus statt, das vor allem Söhnen von Missionaren, die durch die ganze Welt reisten, ein Zuhause bieten sollte. Die Kinder wurden nach christlichen Werten und Normen zu frommen Mitgliedern der Kirche und des Staates erzogen.

Dekan Brandt bekam für sein Vorhaben von vielen Seiten Unterstützung. So stellte die Stadt Windsbach zum Beispiel den Bauplatz kostenfrei zur Verfügung. Darüber hinaus wurden weitere Flächen zur Anlage von Gärten zur Versorgung der Kinder und Bediensteten sowie ein Turnplatz zur sportlichen Ertüchtigung der Jungen abgetreten. Auch das zu Beginn sehr geringe Startkapital in Höhe von nur 35 Gulden konnte der Dekan durch zahlreiche Spenden schnell vervielfachen. Hinzu kamen noch weitere Sachspenden, wie Hausgeräte, Brennholz oder auch ganze Fuhren Getreide. Die hohen Baukosten von rund 12.000 Gulden konnten durch die Spendenbereitschaft gestemmt werden und nach nur einjähriger Bauzeit erfolgte 1837 die Einweihung. Am Festakt nahm neben etwa 50 Geistlichen und 2000 weiteren Gästen auch Pfarrer Löhe aus Neuendettelsau teil, der die Festpredigt verlas.

Die Zahl der Zöglinge steigerte sich in den ersten Jahren sehr schnell von zunächst sieben zu Betreuenden auf 92 Jungen im Jahr 1842. Um der anwachsenden Zahl Herr zu werden, erwarb Dekan Brandt 1841 schließlich ein weiteres Gebäude in der heutigen Heinrich-Brandt-Str. 8, bevor 1875 Erweiterungsbauten am Pfarrwaisenhaus umgesetzt wurde.

In einer Novembernacht 1908 wurde die stetige Fortentwicklung des Pfarrwaisenhauses jäh durch ein großes Feuer unterbrochen, das nur die Grundmauern des großen Gebäudes zurückließ. In der Folge der umfangreichen Zerstörung des Pfarrwaisenhauses war die dauerhafte Umsiedlung der Einrichtung ein Thema, bevor sich das Direktorium im April 1909 dazu entschloss den Wiederaufbau in Windsbach durchzuführen.

Um das Heim bei der Lebensmittelversorgung ein Stück weit unabhängig zu machen, gliederte man eine kleine Landwirtschaft mit Feldern, Waldflächen und Nutztieren an, welche nach dem zweiten Weltkrieg wieder aufgegeben wurde.

1941 schließlich, musste das Schülerheim seinen Betrieb auf Druck des NS-Regimes hin, einstellen und wurde nach der Vermietung an die Stadt, zunächst als städtisches Schülerheim weitergeführt. Nur zwei Jahre später wurde das Gebäude zunächst als nationalsozialistische Lehrerinnenausbildungsanstalt und kurz darauf als Lazarett genutzt.

Nach Ende des zweiten Weltkrieges konnte 1946 unter Dekan Bohrer das Pfarrwaisenhaus und das Progymnasium wieder eröffnet werden, bevor die Einrichtung noch im selben Jahr durch die Gründung des Windsbacher Knabenchors und die Aufwertung zu einem Vollgymnasium auch das Pfarrwaisenhaus eine immense Aufwertung erfuhr. In den folgenden Jahren fanden auf dem heutigen Gelände des Windsbacher Knabenchors weitere Bauprojekte, wie zum Beispiel das Chorhaus, Umsetzung.