Ministre puis chef du gouvernement sous Napoléon III, Emile Ollivier est charmé par Saint-Tropez, petit village de pêcheurs. En 1860, il y achète le château de la Moutte. Les beautés du parc et de la bibliothèque en font aujourd'hui un lieu rare de la presqu'île.