Nel XIV secolo i Borromeo, potenti feudatari della zona ma originari di San Miniato, divennero proprietari delle isole e iniziarono così la loro trasformazione. Tutt'oggi la famiglia possiede ancora l'Isola Bella e l'Isola Madre, oltre ai tre scogli emersi conosciuti come Castelli di Cannero per via delle rovine di fortificazioni medioevali. L'isola dei Pescatori è l'unica abitata stabilmente, anche se da una piccola comunità, mentre le due isole "sorelle" sono ambite tra i turisti che ammirano i due splendidi palazzi e i relativi giardini, famosi in tutta Europa per la qualità del paesaggio e per la cura e la varietà delle architetture vegetali, composte da oltre 2000 varietà di specie differenti.