Kontakte zwischen dem deutschen Sprachraum und dem Heiligen Land gab es bereits zu Zeiten Karls des Großen, als erste Wallfahrten nach Jerusalem begannen. Karl stiftete ein Hospiz in der Nähe der Grabeskirche, Pilger aus Amalfi bauten später neben dem Hospiz eine Kirche, Sancta Maria in Latina. Hier errichteten deutsche Kreuzfahrer dann auch während der Kreuzfahrerherrschaft eines ihrer Hauptquartiere. Um die deutsche Kirche und das Hospiz der Johanniter entstand das Deutsche Viertel der Stadt, deren Gebäude damals sogar die Grabeskirche überragten.
1198 entspross hier die Wurzel des Deutschen Ritterordens, der sich später, beim Verlust des Heiligen Landes, ab 1244 daran machte, das Baltikum zu christianisieren und zu germanisieren. Das deutsche Viertel und die deutschen Kirchen Jerusalems verfielen nach 1244 und wurden zur Müllhalde mitten in der Stadt.
Mitte des 19. Jahrhunderts begannen europäische Mächte im Gefolge Napoleons sich wieder für das Heilige Land zu interessieren. 1841 entstand ein englisch-preußisches protestantisches Bistum dort. Erster Bischof war der aus Schönlanke in Westpreußen stammende Michael Solomon Alexander (1799–1845), der 1825 in England zum Christentum konvertiert war.
Dem Bistum fehlte jedoch eine Bischofskirche. Der osmanische Sultan schenkte 1868 König Wilhelm von Preußen die Ruinen des Hospizes Karls des Großen mit der Kirche Sancta Maria Latina. Am 7. November 1869 unterzeichnete sein Sohn, Kronprinz Friedrich Wilhelm, mit der evangelischen Gemeinde und dem Pascha von Jerusalem die Urkunde von der Besitzergreifung des Ruinenhügels in der Nähe der Grabeskirche. In derselben Zeit strömten die ersten der später Tausenden von deutschen freikirchlichen Templern aus Württemberg ins Heilige Land und bauten in Jerusalem, Haifa und Jaffa ihre Siedlungen, wo sie die Wiederkunft des Messias erwarteten. Die Templer bauten auch ein funktionierendes und sicheres Straßen- und Herbergsnetz in Palästina, das später auch den ersten jüdischen Siedlungen zugutekam.
100.000 Eselsladungen von Schutt wurden abgetragen, bis Kreuzgänge und Refektorien des alten Hospizes und der Sancta Maria Latina-Kirche zum Vorschein kamen. 1871 baute man im Refektorium des Deutschen Ritterordens das erste evangelische Gotteshaus in Jerusalem und feierte dort den ersten deutschen Gottesdienst nach mehr als 600 Jahren.
