A origem e história da família Milman é um pouco incerta, mas é provável que a família tenha origem judaica e que tenha se estabelecido na Inglaterra no final do século XVIII. É possível que o primeiro membro da família a chegar à Inglaterra tenha sido Isaac Milman, um comerciante de Londres que nasceu em 1765. A partir daí, a família se desenvolveu em várias áreas, incluindo negócios, arte e literatura. Um dos membros mais conhecidos da família é o dramaturgo e historiador Samuel Milman (1779-1852), que escreveu as peças "Fazio" e "Anne Boleyn", bem como uma história da igreja cristã primitiva. Outro membro notável da família foi Francis Milman (1803-1863), que foi professor de literatura inglesa na Universidade de Oxford e escreveu vários livros sobre poesia e drama. A família Milman também se estabeleceu nos Estados Unidos, com membros que se destacaram em áreas como direito, medicina e negócios. Hoje em dia, a família é encontrada em vários países ao redor do mundo e inclui pessoas de diferentes origens e profissões.