A família Varnum tem origem inglesa e seu primeiro ancestral registrado foi Robert Varnum, que nasceu em York, Inglaterra, em 1608. Ele emigrou para Massachusetts em 1635 com sua esposa e dois filhos. Ao longo dos anos, a família se espalhou por diversas regiões dos Estados Unidos, incluindo Nova Hampshire, Vermont, Maine e Rhode Island. Muitos membros da família serviram nas forças armadas americanas, desde a Guerra Revolucionária até as guerras do século XX. Um membro notável da família Varnum foi Joseph Bradley Varnum, que foi membro do Congresso dos Estados Unidos por quase 25 anos, além de ter servido como vice-governador e governador de Massachusetts. Atualmente, a família Varnum ainda tem vários descendentes vivos em todo o país.