Fue la Casa del Conde de Bayona. Esta vivienda con su privilegiada ubicación frente a la Catedral, ofrece la posibilidad de apreciar una de las fachadas más elegantemente proporcionadas de la arquitectura colonial cubana, con su primitiva sencillez dada por la simétrica distribución de sus  dos plantas, sin entresuelo y el adecuado remate de la techumbre de tejas criollas. Es el inmueble más antiguo conservado en la Plaza de la Catedral, construido hacia 1720. Allí vivió don Luis Chacón, gobernador militar de Cuba.

En el patio interior de la casa el portal, para el que se obtuvo licencia en 1754, nunca llegó a construirse. El patio interior es cuadrado y lo rodea una sucesión de columnas toscanas de maciza presencia con arcos rebajados en la planta baja y un arquitrabe corrido en la alta. La escalera, inusual en su ubicación al fondo, también lo es en su diseño compuesto por dos ramas aisladas entre sí que ascienden en direcciones opuestas. En el siglo XIX ganó popularidad al instalarse el colegio de Escribanos y Notarios y en la siguiente centuria el periódico La Discusión.

 En 1969, después de restaurada, se inauguró en ella el Museo de Arte Colonia que funcional hasta la actualidad.