A sua construção em 1728, foi obra de D. Francisco Paula Portugal, 8º Conde de Vimioso e 2º Marquês de Valença, para residência familiar e centro de uma pequena corte, onde imperava a arte e a cultura, tendo acolhido alguns convidados de destaque e inclusivamente os membros do Conselho de Ministros. O edifício veio mais tarde a ser usado como convento franciscano, adquirindo nessa altura o nome de Convento de São José de Ribamar.
Em 1834, na sequência da aplicação do decreto liberal determinando a extinção das ordens religiosas, o Convento é vendido. Nessa altura, grande parte dos seus terrenos foram integrados na então Quinta da Maruja, mais tarde conhecida por Quinta de São João do Rio.
O Palácio teve como proprietários os Condes de Lumiar, os Marqueses de Valença e o Conde Cabral, que o comprou em 1872 e o doou depois ao Conde da Foz.
O edifício acabou mesmo por ser utilizado como casino entre 1920 e 1928.
Também aqui funcionou uma escola primária, mas durante muitos anos o Convento esteve votado ao abandono.
Ao ser adquirido pela Câmara Municipal de Oeiras em 1962, iniciou-se a recuperação do edifício e da área circundante.
O conjunto inclui ainda espécies vegetais centenárias, tais como a araucária e o dragoeiro.
Actualmente, para além de albergar a biblioteca municipal também tem um posto de turismo, uma galeria municipal, o Centro de Dança de Oeiras, o CEDMA - Centro de Estudos e Difusão de Musica Antiga e desde 2007 a USILA - Universidade Sénior Intergeracional de Algés.
