El solar que alberga las llamadas Cuevas de Hércules (callejón de San Gines, 3) presenta una rica historia arquitectónica, en cuanto ha sido ocupado por distintos edificios a lo largo de la historia: en época romana se había construido aquí un depósito de agua para el abastecimiento de la ciudad, que formaba parte de la red hidráulica romana de Toletum. Posteriormente, ya en época visigoda, parece que sobre el depósito de agua se levantó un templo cristiano. Después una mezquita. Más tarde, probablemente en el siglo XII, un nuevo templo se construyó en el mismo lugar, dedicado a San Ginés, sede de la parroquia homónima.
Con respecto a la cisterna romana (depósito de agua) se han obtenido nuevos e interesantes datos. La investigación ha podido constatar que el depósito fue construido en torno a la segunda mitad del siglo I d.C. con forma rectangular, de 6,00 m. de ancho por al menos 11,50 m. de largo y 4,00 de alto. Estaba realizado con pequeñas piedras cogidas con una fuerte mezcla de cal yeso y arena (opus caementicium) y revestido en su interior con un cemento hidráulico especial (opus signinum).
En un momento posterior, todavía por establecer (aunque siempre en el marco de la época romana), la construcción original fue parcialmente revestida en su interior con grandes sillares de granito y dividida en dos en sentido longitudinal por medio de tres grandes arcos igualmente de granito. Sobre las dos naves resultantes, comunicadas entre si por medio de los arcos, se construyeron sendas bóvedas con bloques de caliza blanca (sólo una de las dos naves es propiedad del Consorcio).
Como se sabe, las cuevas de Hércules han dado lugar a múltiples leyendas, recogidas ya en textos medievales. Según estos, las cuevas serían oquedales naturales, a las que Hércules, fundador de la ciudad, habría dado una estructura arquitectónica para instalar allí sus palacios, donde se practicaban artes mágicas y nigromancia.
Otras leyendas las relacionan con la desaparición del reino visigodo a manos de los árabes, pues habría sido el mismo Hércules quien, con sus dotes adivinatorias, dejó en un cofre cerrado la profecía de la destrucción del reino visigodo, dejando explicito que cada rey pusiera un candado más. Pero fue la curiosidad o codicia del rey Don Rodrigo quien abrió el cofre y puso en marcha la maldición de la profecía, perdiendo su reino en manos del Islam y quedando destruido el palacio por fuerzas sobrenaturales, del que sólo quedaron las cuevas. La asociación de los sótanos de San Ginés con las legendarias Cuevas de Hércules se produce en el siglo XVI y la primera exploración (en parte fallida) se debe al cardenal Siliceo.