逐步回归的基本思想是将变量逐个引入模型，每引入一个解释变量后都要进行F检验，并对已经选入的解释变量逐个进行t检验，当原来引入的解释变量由于后面解释变量的引入变得不再显著时，则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程，直到既没有显著的解释变量选入回归方程，也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。

据上述思想，可利用逐步回归筛选并剔除引起多重共线性的变量，其具体步骤如下：先用被解释变量对每一个所考虑的解释变量做简单回归，然后以对被解释变量贡献最大的解释变量所对应的回归方程为基础，再逐步引入其余解释变量。经过逐步回归，使得最后保留在模型中的解释变量既是重要的，又没有严重多重共线性。

如果效应不显著，停止引入新自变量。由于新自变量的引入，原已引入方程中的自变量由于变量之间的相互作用其效应有可能变得不显著者，经统计检验确证后要随时从方程中剔除，只保留效应显著的自变量。直至不再引入和剔除自变量为止，从而得到最优的回归方程

逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和（即贡献），然后选一个偏回归平方和最小的变量，在预先给定的水平下进行显著性检验，若显著则该变量不必从回归方程中剔除，这时方程中其他几个变量也都不需要剔除（因为其他几个变量的偏回归平方和都大于最小的一个更不需要剔除）。相反，如果不显著，则该变量需要剔除，然后按偏回归平方和由小到大地依次对方程中其他变量进行检验。将对影响不显著的变量全部剔除，保留的都是显著的。接着再对未引入回归方程中的变量分别计算其偏回归平方和，并选其中偏回归方程和最大的一个变量，同样在给定水平下作显著性检验，如果显著则将该变量引入回归方程，这一过程一直持续下去，直到在回归方程中的变量都不能剔除而又无新变量可以引入时为止，这时逐步回归过程结束。