Fue mandado edificar, a mediados del siglo XVI, por don Antonio de Velasco y Rojas, camarero del príncipe Felipe y miembro de la familia de los Condestables de Castilla, diseñándolo el arquitecto Francisco de Salamanca. De la construcción original subsiste la fachada, el zaguán, el bello patio y la escalera de tipo castellano abierta al patio. Los torreones, posteriores, son del siglo XIX. En el siglo XVIII pertenecía a la Marquesa de Villena. Propiedad del Estado, es una de las sedes del Museo Nacional de Escultura, y en él se muestra el fabuloso Belén Napolitano. El pesebre o belén napolitano es una de la tradiciones navideñas más consolidadas y que se ha mantenido inalterada durante siglos. Pesebre deriva del vocablo latino praesepium. El primer pesebre en Nápoles es mencionado en un documento que habla de un pesebre en la iglesia de Santa María del Pesebre en el año 1025.