A origem da família Wormser é incerta, mas há registros de que o sobrenome tem origem judaica e acredita-se que tenha surgido na Alemanha. Acredita-se que a família Wormser tenha tomado seu sobrenome a partir da cidade alemã de Worms, onde havia uma comunidade judaica estabelecida desde a Idade Média. Durante a Idade Média, os judeus que viviam em Worms eram conhecidos por seus estudos religiosos e as escolas rabínicas da cidade eram famosas em toda a Europa. A cidade de Worms também foi o local onde ocorreu o concílio que condenou as ideias de Martinho Lutero, em 1521. A família Wormser era composta principalmente de comerciantes, e alguns de seus membros se estabeleceram em outras partes da Alemanha ao longo dos séculos. No entanto, muitos membros da família foram vítimas do Holocausto durante a Segunda Guerra Mundial, e muitos sobreviventes emigraram para outros países, como os Estados Unidos e Israel. Hoje, os descendentes da família Wormser podem ser encontrados em todo o mundo.