Die beiden weißen Türmchen am Ende des Hafenbeckens wirken fast so alt wie die Basilika, und viele halten sie für Werke Palladios. Tatsächlich erzählen sie vom dunkelsten Abschnitt in der Geschichte der Insel, der Zeit nach dem Untergang der Republik. 1806 hob Napoleon das Kloster auf und ließ die Mönche nach Santa Giustina in Padua bringen.