Nel 1897, l'allora spoglia Isola Rocciosa situata di fronte alla spiaggia di Dramont a Saint-Raphaël fu messa in vendita dallo Stato. Il suo primo acquirente, l'architetto locale Léon Sergent, lo acquistò per la modica cifra di 280 franchi, per poi perderla alle carte del 1905 durante una serata erotica e cederla al medico Auguste Lutaud, che decise di erigervi un'alta torre di 18 metri nel ventesimo secolo, e quando fu completato nel 1912, si autoproclamò re Augusto I, sovrano dell'Isola d'Oro e vi tenne una festa in onore della sua incoronazione.
Ma fu durante lo sbarco in Provenza nel 1944 che una granata arrivò a distruggere parte della costruzione dell'isola, che all'epoca era disabitata. Fu solo nel 1961 che un nuovo acquirente, François Bureau, un ex ufficiale di marina, decise di rinnovare la torre fino alla sua morte nel 1994.
La famille Bureau, ancora oggi proprietario dell'isola, issa una bandiera in cima alla torre quando vengono a trascorrervi qualche giorno, segnalando così la loro presenza