Tem a sua origem no Baixo Império Romano. Após um período de abandono, ficou permenentemente ocupado após a sagração do bispo D. Pedro, em 1070. Dessa época, já nada resta. Foi reedificado pelos arcebispos Gonçalo Pereira e Fernando da Guerra dos séculos XIV-XV.
