然而，张宗昌却在前线倒戈，投降北洋将领冯国璋，;从此成为直系之一部。

1916年11月，冯国璋出任代理总统，张宗昌则任侍卫武官长。

1918年，张宗昌又出任江苏第六混成旅旅长，随张怀芝赴湘参加对南方军队的作战，结果大败而逃，改任暂编第一师师长。

1921年，张宗昌又奉命率部入江西，与江西督军陈光远交战。

结果，在吉安地区被陈光远打败，所部也被陈光远解散，张宗昌在江苏已无立足之地，只得只身北上直隶省城保定，投靠直鲁豫巡阅使曹锟。

曹锟本想收留张宗昌。

但吴佩孚等将领，容不得这位土匪出身的师长。

一怒之下，张宗昌和曹锟手下一名失意军官许琨，远赴奉天投靠张作霖、张学良父子，由直系转到奉系。

投靠奉系之后，张宗昌也只能从头干起，先任宪兵营营长。

不久，吉林军旅长高士傧，原吉林督军孟恩远外甥)联合胡匪卢永贵，要和张作霖作战。

当时张作霖刚在直奉战争中战败，无大兵可派，便决定派张宗昌率宪兵营去应战。这本来是一场势力悬殊的较量，但由于卢永贵手下的大小头目，很多都是和张宗昌当年一起闯关东的同乡，凭着这种关系，张宗昌兵不血刃，即把胡匪收编成三个团。

兵不血刃，大功告成，张作霖很高兴。

任命张宗昌为吉林省防军第三旅旅长（后提升为安国军第三师师长）兼吉林省绥宁镇守使。这样，张宗昌才有了一块立足之地。