臺灣軍隊自退臺以後，大體經歷了四個發展階段。
第一為依美建軍階段（1949—1969年）。這一時期主要依賴美國的軍援，並在美國軍事顧問的督導下進行全面整頓和改編。軍隊建設的特點是，編制體制上全面仿傚美軍，武器裝備上全部依賴美援，作戰訓練上接受美軍指導。
第二為調整過渡階段（1969—1979年）。這一期間，中美關係逐步有所改善，美臺關係開始發生變化，臺灣軍隊在繼續爭取美援的同時，開始調整軍隊建設的方針，在武器裝備上注重自行研製和仿製，力求擺脫對美國的依賴程度，在戰備訓練上由美臺聯合逐步走向獨立進行。
第三為自立建軍階段（1979—1990年）。1979年1月1日中美建交、美臺斷交後，美臺“共同防禦條約”被廢止，雙方“聯合作戰計劃”亦隨之取消。自此臺軍確立了“獨立自主”的建軍方針，在兵力結構上加強海空軍建設，力求三軍均衡發展；在武器裝備上加快更新步伐，提高自行研製和生産能力；在戰備訓練上強調諸軍兵種協同作戰，提高獨立防禦作戰水準。
第四為“二代兵力”建設階段（1990年以來）。臺灣當局自90年代以來，根據島內外形勢和兩岸關係的變化，強調走“品質建軍”的道路，不惜重金研製和購買大量高性能的武器裝備，對主戰武器裝備實行全面的更新換代，並對軍隊編制體制進行大幅改革，精減員額，力圖建成一支“量少、質精、反映快、效率高、戰鬥力強”的現代化軍隊。
臺灣的軍事體制，在2002年3月1日改革以前，基本沿襲國民黨當局退踞臺灣前在大陸時期的軍事體制，並參照美國的模式，即“總統”為臺軍最高統帥，通過軍政和軍令兩大系統領導全軍。在軍政系統上，“總統”通過“國防部長”對軍隊行使統率權；在軍令系統上，“總統”通過參謀總長對軍隊行使指揮權。除軍政、軍令系統外，臺灣當局還設有“國家安全會議”，主要任務是研究和規劃“國防”安全及“國家”建設大政方針。
“國防部”隸屬於“行政院”，主管“國防”行政事務，負責軍隊人事安排、組織編制、軍費預算、武器研製與採購、軍隊設施建設等。“參謀本部”為最高軍事指揮機構，“參謀總長”在軍令系統為“總統”的軍事幕僚長，掌握軍隊指揮大權；在軍政系統上同時又為“國防部長”的幕僚長。“參謀本部”下轄陸軍、海軍、空軍、聯勤、憲兵、海岸巡防及軍管區司令部。陸、海、空軍總司令部等依據軍隊的建軍方針及原則，擬訂本軍種的建設規劃和作戰計劃，戰時組織指揮戰鬥行動，平時組織部隊訓練。臺軍還設有總政治作戰部，並在軍隊各級單位設有相應機構，主要負責對官兵的思想教育和部隊的內部控制，以及對大陸進行“心戰”策反。
李登輝主政後，一直醞釀改革現行軍事體制，擬將以前的軍政、軍令二元化軍事體制改為一元化。1998年5月21日，臺灣“行政院”通過了“國防法”草案及“國防部組織法”修正草案。2000年1月29日，《國防法》、《國防部組織法》正式公佈，並由“國防部”組成“國防組織規劃委員會”，在規定的三年時間內，推動軍事體制的改革。2000年底，與之配套的《參謀本部組織條例》又通過立法。2002年3月1日，“國、防二法”正式實行，新的“軍政、軍令、軍備”三大系統一元化的軍事體制至此完全確立。
新的體制架構，實行軍政、軍令一元化，即“國防部長”由文人擔任，為“總統”的軍事幕僚長，“總統”通過“國防部長”行使統帥權指揮三軍。而“參謀總長”為“國防部長”的軍事幕僚長，“參謀本部”為“國防部長”的軍事幕僚及三軍聯合作戰指揮機構；“參謀本部”改稱“國防部參謀本部”；原隸屬“參謀本部”的各軍兵種司令部等改為直接隸屬於“國防部”，必須在陸、海、空軍總司令部和聯合後勤司令部、後備司令部、憲兵司令部前加上“國防部”三個字。“總統”對軍隊行使統帥權時，將直接下令“國防部長”，由“國防部長”責成“參謀總長”指揮軍隊。
依據新的軍事體制，“國防部”下轄軍政、軍令、軍備三個體系，分別由軍政、軍備副部長、參謀總長督導。
軍政體系即“國防部”，編設六個司六個室和兩個委員會。六個司是：戰略規劃司、人力司、資源司、法制司、軍法司、後備事務司；六個室是：部長辦公室、史政編譯室、督察室、整合評估室、人事室、會計室；兩個委員會是：訴願審議委員會、國軍官兵權益保障委員會。“國防部”所屬機關有：總政治作戰局、主計局、軍醫局、軍備局和中山科學研究院、國防大學。
軍令系統即“參謀本部”和聯戰指揮機構。參謀本部下設七個室，包括軍務辦公室、通信電子資訊參謀次長室、後勤參謀次長室、作戰計劃參謀次長室、情報參謀次長室、人事參謀次長室、聯合作戰訓練暨準則發展室。
軍備體系即“國防部”軍備局。2003年元月3日，臺“立法院”三讀通過了《軍備局組織條例》。“軍備局”下設五個處三個室，為“國防部長”掌理軍備決策事務的專業諮詢幕僚機關，併為軍備事務的主管機關，臺軍武器系統的獲得、軍事採購、“國防”工業發展、軍備交流合作、營産管理和整體後勤支援等重要軍備整備工作，均由軍備局依專業分工原則管轄。
“國防部”下轄各司令部的組織體制為：
陸軍總司令部內設主要機構及直屬單位有：人事署、情報署、作戰署、計劃署、後勤署；總政治作戰部；航空特戰司令部、後勤司令部、教育訓練暨準則發展司令部；飛彈指揮部、炮兵指揮部；督察室；兵整中心；六軍團司令部、八軍團司令部、十軍團司令部、澎湖防衛司令部、金門防衛司令部、馬祖防衛司令部、花東防衛司令部。
海軍總司令部內設主要機構與直屬單位有：人事署、情報署、作戰署、計劃署、後勤署、戰係署；總政治作戰部；督察室；作戰司令部、艦隊司令部、陸戰隊司令部、後勤司令部、教育訓練暨準則發展司令部。
空軍總司令部內設主要機構與直屬單位有：人事署、情報署、作戰署、計劃署、後勤署；總政治作戰部；督察室；作戰司令部、防空警衛司令部、後勤司令部、教育訓練暨準則發展司令部。
聯合後勤司令部，執掌三軍軍工生産和三軍後勤支援，內設主要機構與直屬單位有：辦公室、聯絡室、政治作戰部、人事署、兵工生産署、工程署、測量署、經理署、物資署、財務署、主計署、留守業務署、美援物資接收處、軍眷業務管理處、總務處、主計處、採購處、管制處、分發處、綜合財務處、物資供應處、建築工程處、副食供應處、糧服生産處、營房管理處、軍品鑒定測驗處、軍法處、外事服務處、研究督察委員會等。直屬機構有三軍總醫院及兵器生産廠、儲備庫及運輸、油料支援指揮部等。
憲兵司令部：臺灣當局主管軍隊紀律、協助治安之警察、特工機構。其職權是：主管憲兵警備，統一指揮臺灣地區憲兵，協調督導軍事憲兵，執行聯合勤務、軍事和軍中司法警察勤務，維護軍紀，協助治安，支援作戰。內設主要機構與直屬單位有：政治作戰部、辦公室、研究發展室、人事室、情報處、訓練處、警備處、後勤處、計劃處、主計處、軍法處、總務處、通信處、補給處、勤務中心、憲兵訓練中心等。並設有憲兵指揮部、憲兵營、調查組、機動組、憲訓中心、軍人監獄等業務機構。
