Złośliwa plotka głosiła, że hrabina nie przejęła się ani trochę tym wydarzeniem – wręcz przeciwnie, perwersyjną przyjemność miało dać jej podobno skłonienie Buckinghama, by podczas łóżkowych igraszek wkładał zakrwawioną koszulę swej ofiary! Niedługo po śmierci męża młoda wdowa wywołała kolejny skandal i zamieszkała ze swoim kochankiem i jego żoną w ich londyńskim domu. Mary Fairfax, księżna Buckingham, wykazała się wyjątkową pokorą, godząc się na takie rozwiązanie, ale Anna Maria nie była chyba z niego do końca zadowolona. Zapragnęła miejsca, gdzie tylko ona byłaby panią
i gdzie Buckingham wyłącznie jej poświęcałby swą uwagę. Tym miejscem miało stać się właśnie Cliveden. Książę rozpoczął zatem budowę rezydencji godnej jego ukochanej.

Anna Maria planowała, że w jej apartamencie w Cliveden znajdzie się specjalny buduar, w którym mogłaby przyjmować gości tak, jak czyniły to największe damy na dworze. Jej marzenie nigdy się jednak nie spełniło. W 1674 roku rodzina jej zmarłego męża wniosła do Izby Lordów petycję domagającą się, by ci zajęli się w końcu nietypową sytuacją w domu księcia. Buckingham został zmuszony do odprawienia
kochanki – co przyszło mu chyba o tyle łatwo, że od pewnego czasu w związku nie działo się już najlepiej – a Anna Maria wyjechała do Francji. Wróciła po kilku latach i wyszła za niejakiego George’a Brygesa, dworzanina Karola II. Budowę domu jednak ukończono, a panią na Cliveden została ostatecznie... Mary Fairfax. Co ciekawe, częstym gościem w przesiąkniętych skandaliczną atmosferą murach Cliveden była w XIX wieku ikona moralności – królowa Wiktoria. Monarchini przyjaźniła się bowiem z jedną z kolejnych właścicielek, Harriet, księżną Southerland. Zapewne przy tej okazji ściany pałacu były świadkami niejednej intymnej rozmowy obu kobiet. To także tutaj po raz pierwszy wykonano publicznie utwór „Rule Britannia!”, najsłynniejszą pieśń z czasów Imperium Brytyjskiego. Stało się tak, ponieważ przez kilkanaście lat dom dzierżawił syn Jerzego II i ojciec Jerzego III, książę Walii Fryderyk, zapalony meloman. Dziś nie trzeba być władcą lub arystokratą, by móc cieszyć się splendorami Cliveden.
Ponieważ działa tu elegancki hotel, wystarczy wysupłać nieco ponad 500 funtów za noc (chyba że chcielibyśmy zatrzymać się w apartamencie, co kosztowałoby już ponad 1500 funtów) i na kilkanaście godzin będziemy mogli przenieść się do świata szpiegowskiej afery ze swingujących lat 60., lady Astor, Anny Marii Talbot i księcia Buckinghama oraz Elżbiety Villiers. Dla mniej zamożnych pozostaje zakup biletu do części domu otwartej dla publiczności.