En esta casa que pertenecía al comerciante y coleccionista riojano Sebastián Martínez pasó Goya un tiempo recuperándose de la grave enfermedad que le dejó sordo en 1793. Probablemente Francisco de Goya, ya enfermo, se habría trasladado a Cádiz desde Sevilla para ser tratado por los médicos del afamado Real Colegio de Cirugía.
Sebastián Martínez era una persona ilustrada, amante de las letras y las artes y poseía en su casa una gran biblioteca así como una importante colección de obras de arte. Entre él y Goya existía un fuerte vínculo de amistad y, durante la estancia gaditana del artista, este realizó un magnífico retrato que hoy se conserva en el Museo Metropolitano de Nueva York.