De agresiones con fuego a la ciudad, los historiadores hacen referencia al ataque del 3 de Diciembre de 1655 por parte del vicealmirante inglés William Goodson y Juan Cuchillo, un pirata y renegado español, quienes atacaron, quemaron y se tomaron la ciudad durante 15 largos días. Tres años después el corsario inglés Edward Doyley y el pirata Cristóbal Mings, repitieron exactamente la quema, como un dejá vu que deja casi dos siglos de historia samaria en un limbo de ruina y cenizas. La parte del convento de Santo Domingo, hoy lugar donde se erige Don Pepe, sobrevivió en forma increíble a pesar de los ataques piratas y del terremoto histórico de 1834: El 22 de mayo de ese año a las dos de la madrugada, el movimiento telúrico destruyó casi toda la ciudad, y la réplica del mismo el día 24 termino de arrasar con las construcciones. Pero la casa, continúo en pie. En 1837, siendo aún convento, sucedió un hecho histórico que hace parte de la magia y la cultura de esta casa: estuvieron los honorables restos del libertador Simón Bolívar resguardados de ser arrojados al mar.

De la historia moderna y conceptual de la construcción del hotel, retomaremos el hecho que Don José Benito Vives adquirió la casa en 1996. Tres meses después de la compra falleció, sin saber que se construiría el hermoso lugar que recibe a personas del mundo entero que quedan impresionados por la belleza de la construcción y las historias que encierra.