無論李彌有沒有意脫離台灣的掌控，他都如孫立人一般遭到蔣氏父子的懷疑，最終被召回台灣軟禁了起來。柳元麟則因為是蔣中正的同鄉，在抗戰時直接進入軍事委員會委員長侍從室服務，他對蔣家的忠誠沒有問題，因而能在李彌被撤換後接替其對孤軍的指揮權。然而柳元麟缺乏實戰經驗，他指揮的雲南人民反共志願軍堅持到1960年就因戰敗而撤出緬甸。
其餘的孤軍領袖，則以「非黃埔」出身的地方部隊將領為主，比如指揮第5軍和第3軍到泰北的段希文將軍與李文煥將軍都是龍雲的滇軍人馬，差別只是他們沒有追隨龍雲一起在昆明投共而已。與李彌將軍的手下愛將李國輝一起指揮雲南反共救國軍的譚忠，則是參加過閩變的前19路軍粵系軍人，不只不忠於蔣中正，還有反蔣的前科。
可見孤軍的組成結構非常複雜，他們有些人確實是經歷過滇緬遠征的抗日名將，對中華民國有無限的忠誠（雖然仍沒有改變李彌被軟禁的命運），但更多的還是靠仇視與反對共產黨這個共同目標來維持部隊的向心力。至於底層的孤軍將士，組成結構則更為複雜。畢竟李國輝從雲南帶到緬甸供李彌指揮的雲南反共救國軍只有不到3,000人為正統的國軍。
滇緬孤軍的組成
換言之在孤軍進入緬甸前就已經是國軍的人，數量其實是相當有限的，雲南反共救國軍在1954年撤退到台灣的人數之所以能增加到6,000餘人，關鍵還是來自於他們吸收了許多遭受毛澤東清算鬥爭的雲南百姓加入。與許多來台灣的外省人一樣，這些雲南百姓懼怕毛澤東或許是真的，卻不見得代表他們一定效忠台灣的中華民國政府。
比如筆者先前訪問過的雲南反共救國軍老兵楊增彥，就一度對中國共產黨有相當的認同感，還進入老家的鎮南縣人民政府服務。不料他卻因為家族成員加入反共游擊隊而遭到懷疑，成為中共清洗的目標，只能逃到緬甸加入雲南反共救國軍求生存。如果不是因為中共本身獵巫般的政治清洗，很多後來變成孤軍的人是極有可能留在大陸擁護毛澤東的。
當然也有一些人，是因為與國民政府有關係而遭到清算。現居龍潭的刁玉良就來自國軍家庭，父親抗戰時服役於陸軍第6軍第93師，曾經與加入軸心國的泰軍對峙。他父親在抗戰勝利後就離開了部隊，不過仍在三反五反運動時遭中共揪出來鬥爭，迫使刁玉良在1958年5月逃亡緬甸參加柳元麟將軍指揮的雲南人民反共志願軍。
可見中共的極左政策是導致大量雲南民眾出逃，到緬甸追隨孤軍的主要原因，並不是因為三民主義或者自由民主有多吸引人。而且受迫害的還不只是中共統治下的大陸人民，緬甸軍政府的獨裁統治也讓許多緬甸叢林裡的少數民族帶槍投靠孤軍。孤軍能向這些少數民族提供政治庇護，透過雲南反共抗俄大學給予軍事指導，卻沒有辦法讓他們效忠遠在天邊的自由中國。
