1927年9月，毛泽东在领导湘赣边界秋收起义部队进行三湾改编时，建立了中国共产党在军队中的各级组织，党支部建在连上，班、排设党小组，营以上建立各级党委，从而确立了党对军队实施组织领导的一整套制度，成为建设中国共产党领导的新型人民军队的重要开端。毛泽东认为，连队是部队生活、工作、训练、作战的基层单位，是军队的基础。连队党支部是中国共产党在军队中的基层组织，是党联系广大战士的基本纽带，负责统一领导连队工作，讨论决定连队一切重大问题，团结带领全连人员完成上级所赋予的一切任务。连队党支部充分发挥战斗堡垒作用，才能从根本上保证人民军队的性质和宗旨得到落实。
1928年11月，毛泽东在总结井冈山时期的革命斗争经验时明确指出：“红军所以艰难奋战而不溃散，‘支部建在连上’是一个重要原因。”