Pertenceu inicialmente a Luís Pereira Velho de Moscoso, nascido em 1767. Não pertencendo à nobreza, Luís de Moscoso não podia construir um palácio com quatro torres e, para esse fim, pediu autorização ao rei para construir a terceira torre. As obras prosseguiram sob a direção do seu segundo filho, Simão (1805-1881).
Por volta de 1901, o palácio foi vendido a Pedro Maria da Fonseca Araújo, presidente da Associação Comercial do Porto, que lhe realizou amplas obras de restauro, quando enriqueceu o imóvel com uma capela palatina e um teatro, e empreendeu o revestimento das paredes do átrio e da escadaria com azulejos, a reforma dos jardins e do bosque, além da construção de um lago.
Encontra-se classificado como Monumento Nacional desde 23 de junho de 1910.
Em 1937, o imóvel foi vendido a Francisco de Oliveira Pais, de Lisboa. Na década de 1960, por falência deste, o palácio foi adquirido pelo companheiro de sua filha, Feliciano dos Anjos Pereira, que fez construir uma moderna adega e, em 1977, lançou no mercado, com grande sucesso, uma marca própria, o vinho Alvarinho "Palácio da Brejoeira".
Atualmente o Palácio pertence a Maria Herminia Oliveira Paes.
