Son fils, Archibald, pour qui l'être humain n'a pas vocation à décider de la vie ou de la mort de son prochain, se dresse contre lui: lors d'une pendaison orchestrée par son père, il s'écrie publiquement: c'est un assassinat!. Un violent tête à tête oppose les deux hommes lors du retour du fils à la demeure, le soir, près de l'âtre. Le père exile son fils qu'il estime faible et inconséquent. Il chasse Archie et l'envoie s'occuper des terres familiales, sur la paroisse d'Hermiston, dans la la lande écossaise. Archibald, troublé par cet affrontement, y mène alors une vie solitaire et mélancolique, diverti toutefois par ses visites au pasteur et les récits pleins de verve que lui fait sa vieille servante énamourée, Kirstie. Elle lui conte les légendes du pays, la vie de ses ancêtres et les exploits de ses neveux hauts en couleurs, surnommés les quatre Frères Noirs.-

En désaccord avec son père le Lord Juge Hermiston, Archie est contraint de s'exiler dans le cottage familial, sur les terres d'Ecosse. Archie tombe amoureux de la belle Christina, sous le regard bienveillant de sa tante Kirstie, et la méfiance des quatre frères noirs.