「華盛頓，異人也。起事勇於勝廣，割據雄於曹劉，既已提三尺劍，開疆萬里，乃不僭位號，不傳子孫，而創為推舉之法，幾於天下為公，駸駸乎三代之遺意。其治國崇讓善俗，不尚武功，亦迥與諸國異。余嘗見其畫像，氣貌雄毅絕倫，嗚呼，可不謂人傑矣哉！米利堅合眾國以為國，幅員萬里，不設王侯之號，不循世襲之規，公器付之公論，創古今未有之局，一何奇也！泰西古今人物，能不以華盛頓為稱首哉！」
道光皇帝駕崩後，與福建當地外國人交往甚密的徐繼畬，終於因此惹上麻煩了。在所謂的神光寺事件中因為對外國人態度不夠強硬，趕走轄區內外國人不夠堅決，還放任他們趴趴走。因此徐繼畬被扣上漢奸賣國賊的帽子，給人告到了朝廷。尤其是《瀛寰志略》一書中相關章節，徐繼畬作為清朝高官，公然表達傾慕西方政治制度優越於中國的立場實在太過明顯！於是他被革職並召回北京，接受咸豐帝的當面問詢。
與咸豐帝對答完畢後，咸豐帝評價他為只是一個很會讀書的老實人，並未太為難他。或許是因為年輕的皇帝明白放眼全中國，在他的政府裡懂西方事情的文武大臣，當時是太少了，而不是太多了。但終因言官彈劾勢重，而且與福州當地官場不洽，最後徐繼畬被降職為太僕寺少卿。
但他的同僚卻沒有想要放過他，次年即咸豐二年(1852年)，吏部追查徐繼畬在巡撫任內逮捕罪犯延遲一事，徐繼畬因此被徹底罷官，回到故里。此後的餘生雖還有起復，但他沒有再當上督撫這樣獨當一面的封疆大員。
如果以單獨僅以考慮愛新覺羅一族的皇位與前途來說，而不是從整個政權與國家的利弊出發，咸豐帝奕詝此生犯下的最大一個錯誤正在此處。一時心慈手軟放走了徐繼畬，與他一生心血所寄的《瀛寰志略》一書。繼續放任此書在市面流通，不單沒有查禁，甚至沒有刪節說到關於西方政治制度的部分。終於在中國知識界點燃了嚮往共和，進而走向共和的第一把火，一甲子後終於傾覆了清朝。
徐繼畬一生的宦海浮沉，其實現在整個華文世界已經少有人知道了。但是作為第一個以中文著作有系統，推薦介紹歐美各國政治制度的近代知識份子，他仍然開始了中國人在社會科學知識系統上的一個全新時代。使得更多中國人對美國政治制度從陌生到熟悉，進而傾慕嚮往，並且矢志要把自己的國家以美國為範本，改造成一個國富民樂的共和國。
自從19世紀中葉，徐繼畬打開了中美交通在知識系統上的那扇門，直到現在就再也沒有人能關上了。又尤其難得的是，不同於包含日本在內的其他列強，因為歷史上美國從未欠下中國人甚麼血債。殺我同胞占我土地，這頂沉重的帽子扣不到美國人頭上。因此少了這樣的心理包袱以後，認識美國，學習美國，成為幾代中國知識分子追求的最強音。
