Na segunda metade do século XIX, recebeu uma intensa campanha decorativa nos interiores patrocinada pelo proprietário José Maria da Silveira Meneses, deputado do círculo de Borba, Estremoz e Vila Viçosa. Neste palácio jantaram o rei D. Pedro V e os infantes D. Fernando e D. Augusto depois de terem visitado o campo da Batalha de Montes Claros e os principais edifícios históricos da vila, no ano de 1861. Foi este palácio habitação do jovem poeta borbense Humberto da Silveira Fernandes, que morreu prematuramente no início do século XX. Actualmente, o edifício pertence à Santa Casa da Misericórdia de Borba, preservando-se aí um magnífico espólio de mobiliário, tapeçarias, artes decorativas oitocentistas, que constitui um testemunho da vivência da elite burguesa alentejana.