Il Palazzo è originariamente del XII secolo, come quasi tutte le costruzioni che si trovano lungo San Giovanni del Toro che era, durante il periodo medievale e rinascimentale, il quartiere dove risiedeva l'aristocrazia locale. Alcuni ambienti del Palazzo, come l’ingresso e un piccolo bagno che funge da cantina, sono del periodo medievale. Il palazzo prende il nome dalla famiglia Sasso di Scala, che attribuiva le sue origini a San Romoaldo, fondatore dell’ordine circestense e a San Domenico Sasso, il successore di San Domenico alla guida dell'ordine domenicano. Il più importante antenato era il leggendario Beato Gerardo, fondatore dell'ordine dei Cavalieri di Malta, da cui la presenza delle croci di Malta all'interno dello stemma di famiglia. Il ramo ravellese veniva detto del "cardinale" dal cardinale Ottavio, nominato da Carlo Borromeo, allora segretario di stato con Papa Pio III, governatore dell’Emilia Romagna.

I Sasso si stabilirono a Ravello intorno al 1710 quando Domenico Diego acquistò i resti del Palazzo dalla nobile famiglia Bonito, principi di Casapesena e lo restaurò. Nel 1756 il figlio di Domencio Diego, Andrea, costruì la cappella dedicata a Santa Maria Penitente e che oggi funge da ricevimento dell’albergo. Andrea morì nel 1758 senza eredi e il Palazzo rimase abbandonato fino agli inizi del 1800 quando fu acquistato da una ricca famiglia di industriali e latifondisti, I Camera. Intanto nella seconda metà del XIX secolo, i primi visitatori stranieri iniziarono ad arrivare a Ravello: tra questi Francis Neville Reid che comprò e restaurò Villa Rufolo e successivamente nel 1880, Richard Wagner. Quando nel 1905 Lord Grimphorpe comprò Villa Cimbrone, cominciarono ad arrivare personalità come Virginia Woolf, E.M. Forster, Maynard Keynes, D.H, Lawrence and Andre Gide. i Camera, sull'esempio delle altre famiglie locali, decisero di trasformare il Palazzo in albergo e nel 1928 lo affidarono in gestione alla famiglia Vulliemieur.

Per circa 50 anni Palazzo Sasso fu conosciuto come Hotel Palumbo. Vi alloggiarono numerose personalità sia del mondo dello spettacolo che del mondo della cultura. Il 10 giugno 1940, il giorno della dichiarazione di guerra, la duchessa Anna d’Aosta, moglie di Amedeo, in vacanza a Ravello, dovette accogliere gli applausi della popolazione ravellese, quando si affacciò dal balcone della sua camera che dava sui giardini della Principessa di Piemonte. Lei era francese di nascita e la guerra era stata dicharata alla Francia e all'Inghilterra. Le bellezze e la tranquillità di Palazzo Sasso hanno ispiriato vari artisti tra cui Eduardo De Filippo che vi scrisse parte della commedia “Sabato, Domenica e Lunedì". Il generale Eisenhower vi decise il bombardamento di Montecassino. Qualcuno ancora ricorda Ingrid Bergman e Roberto Rossellinis al Ristorante, Humphrey Bogart e altri giocare a carte fino all'alba durante la lavorazione del film " Il tesoro d'Africa". Improvvisamente nel 1978 la gestione dei Viullmieur fu terminata e il Palazzo fu chiuso. Per circa 20 anni il palazzo è rimasto chiuso, fino a quando nel 1997 è stato riaperto dopo un lavoro di ristrutturazione durato 3 anni.