Durante os meses de julho e agosto, as quartas-feiras são para visitar o Castelo de Paderne. As portas do Castelo abrem-se às 10h e fecham às 18h, sendo uma excelente oportunidade para conhecer um dos mais interessantes monumentos da história da região e que, por razões várias, esteve fechado à população. Agora, numa iniciativa do Município de Albufeira e da Direção Regional da Cultura, o Castelo de Paderne promete aguçar curiosidades, conhecer melhor a História e fazer sonhar os mais novos.
O castelo de Paderne, a 100 metros de altitude, marca bem a sua presença na paisagem. Situa-se numa espécie de península formada pela Ribeira de Quarteira e por vales férteis, com abundante produção agrícola, numa zona estratégica, entre o Litoral e o Barrocal algarvio e entre Loulé e Silves. Foi construído no século XII durante o domínio Almóada, um período no qual os árabes organizaram um forte sistema defensivo por forma a tentar impedir a política expansionista dos cristãos. Política iniciada com D. Afonso Henriques e seguida pelos seus sucessores.
No entanto, a primeira referência escrita sobre esta construção data precisamente de 1189. Com efeito, os trabalhos de arqueologia realizados demonstraram que a ocupação humana daquele «hisn» remonta a meados do século XII. No ano de 1189, D. Sancho I ataca, em duas grandes expedições, o Algarve e conquista a fortificação de Paderne. Porém, os muçulmanos de imediato recuperam o castelo, que só viria a ser conquistado, definitivamente, pelos cavaleiros da Ordem de Santiago liderados pelo seu mestre D. Paio Peres Correia, em 1240, ainda no reinado de D. Afonso III.
No início do século XVI, mais concretamente no ano de 1506, a povoação transfere-se do interior do recinto fortificado para a atual sede de freguesia, com a construção da nova igreja matriz, a de Nossa Senhora da Esperança.