Data de 1559 y cuenta con una portada renacentista en la que se pueden reconocer los blasones familiares y el escudo de armas de su constructor, el primer marqués de Tábara, Don Bernardino Pimentel y Enríquez.

El marqués recibió su título en 1541 del rey Carlos I, recogiendo la nobleza el testigo a la Corona y a la Iglesia, que durante siglos habían sido los señores de la villa extendiendo sus territorios en lo que se conoció como el «Señorío de Tábara».

Los Pimentel trataron de emular una corte aristocrática del Renacimiento. El Palacio contaba con grandes dimensiones que aún hoy se pueden observar en la estructura del edificio. Estaba dividido en zona de residencia, jardín con estanque y capilla, la actual iglesia de Nuestra Señora de la Asunción.

Aunque el régimen señorial fue abolido por las Cortes de Cádiz en 1811, los vecinos de la villa pleitearon ante la Corona, sin conseguirlo, la supresión de las rentas y prestaciones; incluida la reserva de montes y dehesas para pastos, labranza y leña, por las debían pagar una renta al marquesado. El poder y sometimiento que ejercían los señores sobre el pueblo generó tensiones, enfrentamientos y disputas a lo largo del siglo XIX, hasta que, como consecuencia de la fuerte crisis agraria que afectaba a todo el país a comienzos del siglo XX, los habitantes de Tábara salieron a la calle en febrero de 1911, en lo que se conoce como «Motín de Tábara».

Participó todo el pueblo, incluidos niños, para protestar ante este Palacio contra Agustín Alfageme, su propietario por entonces y dueño también del monte de El Encinar. La protesta se fue recrudeciendo hasta que los habitantes comenzaron a apedrear balcones y miradores, partieron las puertas de las paneras y se apoderaron de 800 fanegas de trigo; finalmente talaron los árboles del jardín, destrozaron los muebles e incendiaron parte del palacio y del antiguo convento.

A pesar de todo, Tábara ha conseguido mantener en la actualidad la estructura y presencia del palacio, dejando constancia de lo que fue en el pasado.