A origem da família Frazer é incerta e existem várias teorias sobre sua origem. Alguns acreditam que a família seja de origem escocesa, outros acreditam em origem irlandesa ou inglesa. Uma teoria sugere que a família Frazer se originou na Escócia e desceu para a Inglaterra em meados do século XII. Outra teoria sugere que a família Frazer foi fundada por um Norman chamado Fredenellus que chegou à Inglaterra em 1066 com Guilherme, o Conquistador. A família Frazer apareceu pela primeira vez na história da Escócia em 1160, quando um Sir Simon Fraser foi mencionado como testemunha em um documento real. Desde então, a família Frazer se tornou uma proeminente família escocesa, com muitos membros famosos, incluindo Simon Fraser, o "herói escocês" da Guerra da Independência Escocesa. A família Frazer também se destacou durante a Guerra Civil Inglesa, quando muitos membros apoiaram a causa dos Parlamentaristas. No início do século XVIII, muitos membros da família imigraram para a América, onde se estabeleceram em vários estados, incluindo Nova York e Virgínia. Hoje em dia, a família Frazer é encontrada em todo o mundo, e muitos membros continuam a se destacar em vários campos profissionais, incluindo política, negócios e arte.