Jüdisches Leben im römischen Germanien, auf dem Gebiet des heutigen Deutschlands, ist bereits für das 4. Jahrhundert urkundlich belegt. Jüdinnen und Juden kamen im Gefolge der römischen Legionen an verschiedene Orte im römischen Reich, zuerst im Mittelmeerraum und dann auch andernorts, wie etwa in Köln, für das ein erster urkundlicher Beleg existiert. Kaiser Konstantin hatte zunächst um 312 das Christentum als Religion im Römischen Reich anerkannt und regelte in einem Dekret aus dem Jahr 321 die Rechte und Pflichten von Juden als Bürger der Stadt Köln. Dies gilt als erster schriftlicher Nachweis einer existierenden jüdischen Gemeindestruktur außerhalb des Mittelmeerraumes – mehr über diese Gemeinde ist allerdings nicht bekannt. Auch an anderen Orten entlang europäischer Handelswege deuten archäologische Funde, wie etwa der einer Lampe mit dem Bilder einer Menora (siebenarmiger Leuchter) in Trier, auf die Anwesenheit jüdischer Gemeinden hin. Doch für deren kontinuierliche Präsenz gibt es keine Belege.
Im Mittelalter lebten die fortan Aschkenasen genannten Jüdinnen und Juden als Minderheit vor allem in den Städten am Rhein, beginnend in Mainz bereits im 10. Jahrhundert, gefolgt von Trier, Worms und Speyer. Auch für Köln lassen sich wieder Aufzeichnungen jüdisches Leben betreffend finden. Seit dem 11. Jahrhundert also ist deutsch-jüdisches Leben bezeugt. Dabei entwickelten sich die sogenannten Schum-Städte (ein hebräisches Akronym der drei Anfangsbuchstaben von Speyer, Worms und Mainz) zu Orten jüdischer Gelehrsamkeit, die die Region nördlich der Alpen zu einem neuen jüdischen Zentrum werden ließ. Doch diese Blütezeit war nur von kurzer Dauer. Im Umfeld des Ersten Kreuzzugs 1096 kam es zu gewaltsamen Ausschreitungen gegen die jüdische Bevölkerung, bei denen zahlreiche von ihnen ermordet wurden und andere sich den Zwangstaufen durch Selbsttötung entzogen.
So stand die Situation von Jüdinnen und Juden im Mittelalter unter einem stetigen Wechsel von Verfolgung und erneuter Ansiedlung, wobei die Zahl jüdischer Gemeinden kontinuierlich stieg. Sie standen in der Regel unter dem Schutz der Bischöfe oder des Kaisers und lebten in enger räumlicher Nähe, allein schon, um den Zugang zur religiösen Infrastruktur, beispielsweise Synagogen und Mikwen (rituelle Tauchbäder), zu gewährleisten. Auf diese Weise entstanden lebendige jüdische Gemeinden und Zentren jüdischer Gelehrsamkeit.
Waren diese Orte einerseits Ausdruck religiöser Zugehörigkeit, mussten die Jüdinnen und Juden andererseits wiederholt religiös motivierte Verfolgungen erleiden. Häufig wurden sie vermeintlicher Ritualmorde verdächtigt, weil sie angeblich für das Pessachfest das Blut christlicher Jungen benötigten. Ebenso wurden sie während der Pest in der Mitte des 14. Jahrhunderts als vermeintlich Schuldige ausgemacht und als "Brunnenvergifter" ermordet. Diesen Pogromen fielen etwa zwei Drittel der damals in West- und Mitteleuropa lebenden Jüdinnen und Juden zum Opfer – von deutlich über 300 jüdischen Gemeinden überdauerten nur 58 diese bis dahin brutalste Ausschreitungswelle in der deutsch-jüdischen Geschichte.
Daher prägen diese Befunde bis heute die Sicht auf die jüdische Geschichte in der Vormoderne und lassen die europaweite Ausstrahlungskraft der jüdischen Gelehrsamkeit in den Schum-Städten fast verblassen. Zwar gab es vielerorts nach den Pogromen wieder jüdisches Leben, aber seine Blütephase war vorerst vorbei.