Nel 1138, il Beato Simeone, quinto abate della Badia di Cava dei Tirreni, completata la fortezza dopo la morte, nel 1124, di Costabile Gentilcore, e costruito il porto per sviluppare i commerci, dona ai sudditi un diploma di privilegi larghissimi: concede loro le case e le terre e riduce le tasse. Grazie al castello che diventa sicuro rifugio per gli abitanti della zona e allo sviluppo dei traffici e dei commerci, Castellabate diventa nel tempo la più ricca baronia del Cilento.
Le torri costiere rappresentano il sistema difensivo di Castellabbate, costruite per difendersi dalle incursioni saracene che all’epoca affliggevano la popolazione del Cilento. La più visibile e maggiormente conservata è la “Torre Perrotti” o “della Pagliarola”, torre di epoca normanno-aragonese che, in un primo momento, era accorpata al Palazzo da cui la torre prende il nome, e aveva la funzione di difendere gli scambi commerciali che avvenivano nel vicino porticciolo. Ad oggi rimangono tracce di altri torri, come la “Mezzatorre” a Licosa, quella “di Ogliastro” a Ogliastro Marina e la “Torre del Semaforo”, che in epoca normanna rappresentavano postazioni strategiche per difendersi dagli assalti.
