他飽受澳門民眾批評用人唯親，安插親屬到政府機構，例如兒子賀建東、女兒賀凱琪分別在科學技術發展基金信託委員會和青年事務委員會，其「400億元宇宙」計劃也引起廣泛質疑，當局其後澄清沒有使用公帑進行該項目。
在他不連任的消息公布後，有澳門網民留言表示「賺夠了就走」、「不如交代一下400億」、「他不做，是不是廉署可以開工了」、「中央一定要好好調查這個家族，別讓賀一誠跑了」，也有人認為「不是民選，誰做都一樣」、「不要天真，制度不改變，只是換另一半人上位貪」。
岑浩輝曾擔任25年的終審法院院長，多次強調法官和司法人員須堅持廉潔自律，他審理過的大案包括歐文龍和何超明涉貪案。
「京人治澳」？
根據澳門《行政長官選舉法》，參選人須符合的條件包括：為澳門永久性居民中的中國公民、年滿40周歲、在澳門通常居住連續滿20年、不具有或承諾就任前放棄尚有的外國居留權等、擁護澳門《基本法》、效忠中華人民共和國及其澳門特別行政區等。
民主派區錦新指出，岑浩輝移居澳門四十年，在法律上無容置疑是「澳人」，但其政治背景顯然是「京人」，打破了傳統意義上「澳人治澳」的慣例。儘管如此，他認為澳門民眾對於「京人治澳」並不反感。
「澳門與香港情況完全不同，2019年之前的香港人不信任中央，對北京干預很反感，但澳門人是覺得澳門特區政府不行，希望中央出手，甚至會有人覺得，不如叫大陸直接派人來做特首更好。」
歷史上，早在1966年「一二．三事件」後，澳門的華人社會已被親中左派力量主導，成為「半個解放區」，實質上中葡共治。
「1997年香港回歸，彭定康揮手道別，不少香港人感觸落淚，但1999年澳門回歸，澳門人是在關閘夾道歡迎解放軍。所以是『京人』還是『澳人治澳』，民間其實不太介意，反正之前20年的特首都是澳門人，但也不見得是真正維護澳門人的利益。」
面對質疑聲音，岑浩輝在記者會上形容自己是「老澳門人」，80年代移居澳門後在當地成家立室，兒孫兩代都在澳門出生長大。 「澳門的山山水水、橫街窄巷我都去過，我對澳門的了解，相信不比很多知名人士差。」
學者陳建新認為，岑的說法言之成理，因為澳門作為土地面積僅33.3平方公里的小城市，人口密度高，不同階層的距離不太遠，交流頻繁，「我們經常落街吃碗粥麵，也會看到高官」，他相信岑浩輝足夠「貼地」（貼近群眾）。
不過，並非所有澳門人都有同樣觀感。從事法律工作的澳門市民袁先生對BBC中文指，岑浩輝一直擔任法官，與民間社區聯繫有限，也缺乏行政經驗，認為他十分「離地」（脫離群眾）。
