A origem da família Duff remonta à Escócia medieval. O sobrenome deriva do gaélico escocês "dubh", que significa "preto" ou "escuro". Acredita-se que os primeiros Duffs eram descendentes de um guerreiro celta da tribo Pict, que vivia na região nordeste da Escócia. A família Duff ganhou proeminência no século XVIII, quando William Duff de Braco se tornou o primeiro Conde de Fife. Os Duffs eram proprietários de vastas propriedades na Escócia e estavam envolvidos em diversas atividades, incluindo agricultura, comércio, mineração e políticas. Outro membro notável da família Duff foi James Duff, que serviu como Primeiro-Ministro da Escócia entre 1764 e 1766. Além disso, vários membros da família Duff se destacaram nas áreas de ciência, arte, literatura e filantropia. Atualmente, a família Duff ainda possui propriedades na Escócia, incluindo o Castelo de Duffus e a propriedade de Auchindoun. Alguns membros da família ainda estão envolvidos em empresas e organizações, enquanto outros se dedicam a causas filantrópicas e sociais.