在法學理論上，公務員（包含軍人和教師）與國家之間的法律關係，早期係被認定為「特別權力關係」，此一觀念最早可追溯至歐陸中古時期，類似「領主與家臣」的關係。在特別權力關係下，憲法為保障人民基本權利而對於國家公權力之限制，例如法律保留、平等原則等，以及和保障基本權密不可分的訴訟權，當然也一併被限制或剝奪。二次大戰後，因德國基本法第19條第4項規定，人民權利受到公權力侵害者，均可向法院請求救濟，且其行政訴訟制度亦改採概括主義，此種不符合憲政主義及人權保障的理論，其正當性乃遭到嚴重質疑。
我國早期雖繼受「特別權力關係」理論，但自釋字187號解釋開始，大法官即不斷勇於突破特別權力關係對於人民基本權利的桎梏，例如187號解釋即認為，公務人員請領退休金的權利應受憲法保障，如公務員向原服務機關請求核發服務年資或未領退休金之證明，卻未獲發給，即應允許公務員可提起訴願及行政訴訟，方足以保障公務員之權利。此後，大法官更作成一系列解釋，例如釋字201、243、266、298、312、323、338、382、430、433、462、483、491、653、684號等解釋，不斷從「法律保留」及「有權利即有救濟」的觀點切入，在法理上對於特別權力關係提出質疑，最後甚至並未設任何條件地「揚棄」特別權力關係（參照釋字653號解釋李震山大法官之部分協同意見書，以及許宗力大法官之協同意見書）。
大法官雖然不斷奮力突破特別權力關係，落實憲法對於人民基本權利的保障，但同時也在釋字430號解釋中表示：「軍人為廣義之公務員，與國家間具有公法上之職務關係」。此後，大法官更在釋字433號解釋中指出：「公務員與國家之間係為公法上職務關係，國家對公務員有給予俸給、退休金等照顧其生活及保障其權益之義務，公務員對國家亦負有忠誠、執行職務等義務」，也就是改以「公法上職務關係」來說明並界定公務員與國家之間的法律關係（亦可參照釋字596號、618號、637號解釋）。
「公法上職務關係」的具體內容究竟為何？由葉百修、徐壁湖兩位大法官在釋字658號解釋提出的不同意見書中，則有更進一步的細膩說明。兩位大法官認為，公務人員經國家任用後，即與國家發生公法上職務關係，公務人員對國家負有忠實執行職務之義務，而國家對公務人員則負有給與俸給、退休金等與其身分相當、賴以維持生活之照顧義務。由於公務人員為國家執行職務之目的非在換取酬勞，是國家對公務人員所為之生活照顧義務，與私法上僱傭關係所得之報酬係按工作繁簡、工作時間長短或工作量多寡而為計算標準者不同。
