只不過，有一個重要的問題必須留意。溫莎公爵年輕時是個聲名狼籍的浪蕩子。他在1920與30年代那段沉溺女色、風花雪月的過往，於公於私都不斷受到譴責，也令菁英圈中的某些人甚感厭惡。他與二度離婚的華莉絲之間的婚姻普遍上依舊不受祝福，但只要沒有出現新的醜聞，英國人或許還能習慣。因此，迪‧庫爾西建議：「應該謹言慎行，以免讓對手有一絲機會拿花花公子的形象借題發揮，大肆渲染。」此外，也不該讓那些關於公爵夫人過往私生活的嘲諷耳語傳開來。有太多人還清楚記得她與墨索里尼的女婿，義大利伯爵齊亞諾的戀情，或是納粹軍官馮‧李賓特洛普送過她17朵康乃馨的事情。
1949年，公爵又猶豫了。事實上，那是一項危險、敏感的行動，需要步步為營。1951年春天，新的機會似乎就快出現。國王此時的健康嚴重惡化。套句邱吉爾的知名說法，此時的他宛如「行屍走肉」。溫莎公爵的母親瑪麗王后（Queen Mary）身體漸衰，返鄉隨侍母親病榻旁是他回到英國的絕佳理由。於是在1951年6月3日，公爵由巴黎動身前往倫敦。
誰曉得在那個清新的六月早晨，公爵心裡在想什麼。或許他還抱著再度統治英國的幻想，畢竟那個王位無庸置疑是他天生就該擁有的。當然，許多歷史學家亦做如是想。他在那年春天出版了自我吹捧的回憶錄，大多是前一年在凡登廣場上的客房裡寫成的，而這本自傳嚴肅且自省的筆調正符合奪權計畫的要求。他認為自己已經啟動了重新掌權的計畫，這其實一點都無傷大雅。
不幸的是，隨著一件醜聞在他身邊成形，那些夢想便已破滅。那一週在巴黎，儘管他人不在當地，醜聞熱度卻急遽升高。在規劃恢復自己的政治名譽時，公爵就已經犯下第一個致命的策略失誤：他輕率地讓華莉絲單獨留在巴黎。在他離開的那六天當中，她對溫莎公爵的名譽造成了難以彌補的損害，同時摧毀了他任何東山再起的最後機會。
當然，這一切都得歸結到性愛與謹慎度上。溫莎公爵早已懷疑華莉絲多多少少與他們共同的朋友及長期夥伴，英俊富有的美國浪子吉米‧唐納修（Jimmy Donahue）眉來眼去。吉米的表姊兼堅貞好友卓貝茲科伊公主（Princess Troubetzkoy）直到最近才因為嫁給好萊塢男星卡萊‧葛倫（Cary Grant）而出名。世人大多只知道她是世界上最富有的女孩，女繼承人芭芭拉‧赫頓。芭芭拉和吉米的母親共同擁有伍爾沃斯（Woolworth）零售商店驚人財富的最大部分──其規模在1950年代的全球排名上名列前茅。想當然爾，芭芭拉‧赫頓一定住在巴黎麗池酒店的豪華套房裡。
