El 4 de noviembre de 1717, el rey Felipe V encargó al Marqués de Vadillo la construcción del cuartel del Conde Duque para alojar a sus Reales Guardias de Corps, la guardia personal del monarca, sin saber que siglos después sería reconvertido en uno de los centros culturales más importantes de la Villa.
