Os primitivos Paços do Concelho situavam-se na Praça Velha que ainda hoje permanece no centro social da vila de Borba. Nos finais do século XVIII, no decorrer de um projecto de reordenamento urbano da vila, foram construídos os actuais Paços do Concelho. O projecto do novo edifício coube ao engenheiro militar Álvares de Barros e a construção durou entre 1789 e 1803. No seu interior destacam-se a escadaria nobre, efectuada em mármores brancos e negros da região, e os tectos pintados da Sala da Audiência, actual Salão Nobre, e da Sala da Câmara, actual Gabinete da Presidência. Ambos os tectos são da autoria do pintor José de Sousa de Carvalho e foram efectuados em 1795, ano da sua morte.

O actual edifício dos Paços do Concelho tem uma construção em U, típica dos palácios do século XVII e XVIII. No século XX o imóvel foi valorizado com a aplicação de azulejos da Fábrica Viúva Lamego, representando várias cenas alusivas à Batalha de Montes Claros.