1935年6月，紅一四方面軍會師后，按照計劃分為左右兩路軍北上。張國燾企圖分裂紅軍，9月9日，黨中央緊急帶領紅一、三軍團北上。

朱德總司令、劉伯承總參謀長沒能北上，紅5軍團、共9軍團也沒能北上，還有一批派到紅四方面軍的干部也沒能北上。

1935年9月17日，張國燾命令紅四方面軍調頭，南下攻打成都。10月5日，紅軍南下途中，張國燾又公然成立“臨時中央”，他擔任最高領導人。

紅一四方面軍會師后，周恩來將紅軍總政委職務讓給張國燾，朱德是紅軍總司令，劉伯承是紅軍參謀長。張國燾和朱老總都是政治局委員，黨內職務一樣高。

10月5日，張國燾在卓木碉會議上批判黨中央北上，并另立臨時中央。朱德態度強硬地反對張國燾另立“中央”，張國燾心里老是打鼓，他成立“臨時中央”底氣不硬，因而一直不敢對外公開宣布。

劉伯承也拒絕張國燾拉攏，不當他成立的臨時中央的軍委委員。劉伯承作為紅軍參謀長，保存著聯系共產國際的密碼本，密碼本是一本英文版的《魯賓遜漂流記》。張國燾此時還不知道密碼本，劉伯承當機立斷，馬上將密碼本燒掉。

卓木碉會議后，朱德和劉伯承的處境更加艱難。他們二人住在一起，受到監視。劉伯承私下對朱德說：“現在情況很嚴重了，看樣子，他們有可能要逮捕人。”

張國燾懾于朱德和劉伯承在紅軍中的威望，最終沒有對他們采取極端手段。不久，他把朱德派到前線部隊去，把劉伯承調到紅軍大學去工作。

第五、第九軍團被留在紅四方面軍，為避免紅軍內部沖突，朱德利用各種場合做隊的團結工作。

原紅一方面軍第五、九團的同志提出要單獨北上找黨中央去時，朱德叮囑說：“同志們一定要顧全大局，講革命，講團結，無論如何不擴大矛盾，紅軍和紅軍沖突起來，那意味著對革命犯罪！只要我們堅持原則，勝利就是我們的。”

在朱德的引導下，原紅一方面軍指戰員的情緒逐漸穩定。他們相信只要堅持團結，掌握正確的斗爭方法，與張國燾的斗爭一定能夠取得勝利。

朱德對堅持原則敢于與張國燾進行斗爭的紅五軍團參謀長曹里懷、紅三十軍參謀長彭紹輝、紅四方面軍政治部秘書長廖承志、總衛生部部長賀誠、紅軍大學教育科長郭天民以及一些普通戰士，采取一切辦法進行保護，使他們免遭迫害。

1935年11月，紅軍在百丈戰役中付出慘重代價，張國燾不得不停止南下行動。

1935年底，中共駐共產國際代表張浩從莫斯科回到陜北，他帶來共產國際的指示。他電告張國燾，“共產國際完全同意中國黨中央的政治路線”，張國燾的臨時中央沒有得到支持。

朱德抓住這一轉機，1936年2月初與徐向前一同要求張國燾放棄建立川康邊根據地的計劃。

2月中旬，黨中央來電提出南下紅軍北上陜甘、就地發展和南下轉戰三個戰略方案，并指出北上陜甘方案是上策。朱德與劉伯承、徐向前、陳昌浩等極力贊成北上陜甘方案。張國燾南下失敗后有點騎虎難下，只好同意了這一方案。

5月下旬，紅二、六軍團分左、右兩路進入康南。6月6日，張國燾不得不宣布取消其另立的“中央”，成立西北局。

1936年7月1日，紅二、六軍團齊集甘孜，與紅四方面軍主力會師。兩軍會師不久，成立了紅二方面軍，獨立于張國燾控制的紅四方面軍。

朱德先后與蕭克、王震和賀龍、任弼時、關向應會面，介紹了張國燾分裂黨和紅軍的活動。劉伯承向紅二方面軍介紹了有關情況，并叮囑與張國燾的斗爭方法要靈活。紅二方面軍得知事情真相后，堅決站在黨中央的一邊。

賀龍在回憶中說：“朱老總、伯承向我們講了張國燾搞分裂的事，我們以前并不知道。”“張國燾搞分裂，我們搞團結，可是對搞分裂的人不得不防嘛！”

朱德在甘孜主持召開了紅二、四方面軍領導人參加的會議。他在會上宣布紅軍總部作出的部隊分左、中、右三路北上的具體部署。會議決定任弼時隨紅軍總部行動，劉伯承隨紅二方面軍行動。

任弼時和張國燾一樣是政治局委員，留在總部，方便與張國燾進行斗爭。任弼時隨總部行動可以加強同張國燾斗爭的力量，劉伯承隨紅二方面軍行動可以擺脫張國燾的控制，從外對張國燾起制約作用。

朱老總進行不懈努力，紅二方面軍也堅決執行中央命令，陳昌浩和徐向前認識到南下路線不可行，留下紅一方面軍干部戰士堅決要求。

最終，張國燾不得不聽從大多數人意見，同意紅四方面軍北上長征，與紅一方面軍再次會師。