全面抗戰時期，八路軍和新四軍游擊隊在敵后積極開辟根據地、開展游擊戰爭，抗擊了侵華日寇的58％和全部偽軍的90％，部隊也發展到120萬正規軍，另外還有200萬民兵配合作戰。與之相反的是國民黨軍隊，其在進入抗戰相持階段以后，也調回大批部隊到華北敵后，在日寇鞭長莫及的山區和鄉村駐扎下來，在中條山戰役前，淪陷區的國民黨軍隊已經達到100萬人。

這些國民黨軍隊中，主要是雜牌部隊，在南方，駐守大別山、桐柏山戰區的李宗仁部隊，麾下是桂軍、川軍等地方部隊的大雜燴。在北方，退守晉西地區的閻錫山晉綏軍；盤踞冀南豫北地區鹿鐘麟、龐炳勛、孫殿英等西北軍舊部；擔任蘇魯戰區司令的于學忠則是原東北軍將領。

但也有一處地方由國民黨嫡系中央軍占領，也就是與太行、呂梁、太岳三山互為犄角的中條山。這里西起晉南永濟與陜西相望，東迄豫北濟源、孟縣同太行山相連，北靠素有山西糧倉美譽的運城盆地，南瀕一瀉千里的滾滾黃河，戰略地位十分重要。

在抗戰初期，國共軍隊積極配合，相互支援，取得了一定戰果。1938年4月，日寇3萬余人對太行山區發動九路圍攻，駐山西的中央軍、晉綏軍各部與八路軍聯合作戰，粉碎了日寇圍攻，殲敵4千多人，收復縣城18座。1940年9月，為了策應八路軍百團大戰，閻錫山部在呂梁山、衛立煌部在中條山、龐炳勛部在太行山地區也都有過一定數量的出擊。

不過，百團大戰之后，日寇認識到占領區內中國軍隊的威脅，開始將主力轉向鞏固占領區。山西、河北、山東和大別山區的國民黨軍隊都遭到日寇猛攻而發生激戰。其中，中條山會戰就是一次代表性的戰役。由于這里戰略地位重要，日寇對此先后發動13次圍攻。1941年5月，日寇調集6個師團、2個混成旅團和1個騎兵旅團大舉進攻，最終將中條山攻占，并將這里駐守的26萬國民黨軍擊潰或俘虜，最高指揮官衛立煌在八路軍救援下僥幸脫線，并繞道陜甘寧邊區返回。

中條山地區被圍攻的同時，于學忠在魯南地區也遭到猛烈進攻，被迫撤出山東；鹿鐘麟被迫辭職返回重慶，孫殿英、龐炳勛等人率部投敵；桂軍駐守的大別山地區也一度被日寇攻占，隨著太平洋戰爭爆發，日寇兵力不足，不得不全軍撤退，大別山及周邊地區重新被新桂系占領。

1943年8月以后，國民黨在南方僅剩下大別山和浙西根據地；在北方，尤其是黃河以北地區，僅剩下晉綏軍駐守的晉西十幾個縣，靠著閻錫山與日寇勾勾搭搭才勉強保存下來，昔日駐扎在敵后的上百萬國民黨軍隊中，投敵的軍隊就超過50萬人。