从张作霖有资格逐鹿中原开始，吴佩孚似乎就成了他始终绕不过的坎，如果不是吴佩孚，在直皖战争之后，张作霖就有希望问鼎中原了。然而正因为有吴佩孚在，张作霖不得不厉兵秣马，先后经过两次直奉战争才总算把吴佩孚拉下了马，结果刚刚拉下了吴佩孚又跑出了一个冯玉祥，此人联合几股势力差一点就把张作霖打回了老家，好在张作霖及时改变策略，再一次跟吴佩孚合作才扭转了局面。
也许运势使然，跟张作霖再度合作的吴佩孚竟然在河南战场顺风顺水，不消一个月就干掉了岳维峻统率的十几万部队，使国民军第二军在冯玉祥的国民军序列里名存实亡。要知道国民军第二军是以前胡景翼统率的精锐部队，该部在国奉战争中将李景林统率的奉军打得溃不成军以至全军覆没，其战斗力可想而知。而吴佩孚竟然不费吹灰之力就取得如此巨大的成功，不能不让张作霖刮目相看了。所以在最初合作时，张作霖刻意保持低调，事事谦让。吴佩孚也不客气，进入北京城后不打招呼就直接任命直系将领王怀庆为京师卫戍总司令，负责维持北京治安。此后，吴佩孚又力推曹锟时代所任命的颜惠庆复任总理，尽管张作霖希望由自己的儿女亲家靳云鹏组阁，但最终还是妥协了。张作霖致函吴佩孚说：“此事悉由我兄主持，放手去办，弟毫无成见。”
1926年5月12日，颜惠庆在吴佩孚的支持下依法复职，这是一个以吴佩孚所统率的直系为核心的亲西方的内阁，奉系只占有陆军总长张景惠和内务总长郑谦两席。由于张作霖的反对，颜惠庆复职后仅仅干了一个月又十天便宣布下台，改由海军总长杜锡珪代理内阁总理，杜仍然是吴的人，内阁还是由直系操控。1926年6月26日，张作霖在杜锡珪的邀请下进入北京，28日，吴佩孚也进入北京，张作霖亲自到吴佩孚行馆拜访，开口闭口称吴佩孚为吴二哥，让吴佩孚十分受用。回想几年前，张作霖和曹锟在天津会晤时，还十分瞧不起他这个小小师长，不屑于和他会谈，如今形势发生了翻天覆地的变化，志得意满的吴佩孚准备重新执掌天下了。
然而吴佩孚的好运并没有维持多久，虽然在1926年的3月至9月这段时间里是吴佩孚东山再起后最风光的时候，但是这种情况充其量也只是回光返照而已。他的实力已经今非昔比了。河南一战虽然侥幸获胜，更多的则是托了张作霖以及阎锡山的福，他们在北方断了岳维峻的后路，再加上岳维峻部属中有很多都是原来直系的人马，作战不力或临阵倒戈情况时有发生，这才让吴佩孚捡了个便宜。吴佩孚实力不济蒙得了一时却蒙不了一世，很快就让张作霖看了出来。
民国军阀相争的年代，一切都是凭实力说话。吴佩孚在两件事情上让张作霖看扁了，一件是南口大战，另一件是国民革命军北伐。南口大战初期张作霖对吴佩孚寄予厚望，以为常胜将军出马，对付这种残兵败卒定然手到擒来，没想到从4月一直打到7月，整整三个月里未能前进半步，最后还是靠了张宗昌的直鲁联军以及张学良的奉军才将冯玉祥的国民军击溃。第二件事是南方国民党组织的国民革命军北伐，北伐军首要对准的目标就是吴佩孚在湖北的地盘，结果仅仅一个月，吴佩孚一战败退汀泗桥，二战败退贺胜桥，三战丢了汉口、汉阳，北伐军几乎完全控制了湖南、湖北全境，只剩下武昌一所孤城还在坚守。
吴佩孚失败，对于这个联直反冯战略中的盟友，张作霖采取的不是同情而是落井下石的做法。张作霖其实是个蛮讲情义的人，但这次在吴佩孚兵败之时却对其下黑手，主要原因有两个，一个是他与吴佩孚本来就是敌非友，只是利益的关系暂时结盟，吴佩孚面临失败，其剩下的河南等地盘很有可能被北伐军攻占，因此必须先下手为强；第二个原因是张作霖一直想执掌天下，此刻无限接近，因此必须尽快取而代之。1926年9月7日，在张作霖军事实力的压制下，杜锡珪内阁致电张作霖欢迎“入京主政”，由吴佩孚任命的北京卫戍总司令王怀庆也同时下台。失去了王怀庆武力的保护，杜内阁随后也仅仅维持了十来天就被迫辞职。10月1日，由外交总长顾维钧兼代内阁总理。顾维钧是个资深外交家，也是一个比较成熟的政治家，他因为吴佩孚的赏识而进入内阁，又因为跟张学良结拜为兄弟而受到奉系支持。因此顾维钧在这时出任国务总理是上天安排给张作霖最恰当的人选，一方面此人外交能力娴熟，可以熟练地与各国打交道，争取外国支持；另一方面吴佩孚也能接受，可以避免直奉过早破裂。
在顺利解决********之后，张作霖下一步需要解决的就是吴佩孚直系所占据的地盘了。张作霖先通过谈判的方式，要求吴佩孚交还保定、大名两地，腹背受敌的吴佩孚只好同意于******前交还。其实所谓交还也只是好听的说辞，保定、大名两地论渊源本来就是直系的老巢，只不过后来被奉系李景林占了，这一次直系又占了回来，现在奉系大军压境，吴佩孚不得不违心地表示要“交还”了。
1926年10月8日，在北伐的国民革命军第四军、第八军和第十五军的长期围困下，孤城武昌第三师师长吴俊卿率部投降。10月10日，在吴俊卿接应下武昌失陷，吴佩孚的守城司令、第八师师长刘玉春和湖北督理兼中央第二十五师师长陈嘉谟被擒，主力部队2万余人全数被歼。
吴佩孚在湖北的失败使其失去了后方根基，在与张作霖的抗衡中已无实力，想跟张作霖合作又没有多少利用价值。因此，张作霖对吴佩孚的态度急转直下。1927年2月8日，张作霖以援鄂假道河南为名，分两路进攻河南，一路由直鲁联军副司令褚玉璞进攻开封，另一路由张学良、韩麟春以援鄂军总副司令为名进攻郑州。奉军大举进入河南，大势已去的吴佩孚各部人心已散，根本未进行认真抵抗就纷纷投降。2月6日吴佩孚得力干将寇英杰即以送母赴津为名脱离直系，张作霖任命其为安国军第十一方面军军团长；2月14日齐燮元通电自己解除讨贼军副司令职务，离开郑州前往天津；2月16日，河南军务帮办米振标投降奉军，张作霖任命其为安国军第十八军军长兼毅军总司令，原依附吴佩孚的刘镇华也转而投向了奉军，被任命为安国军陕甘总司令。就这样，在南方经过惨烈战斗付出重大代价而最终被国民革命军北伐打败的吴佩孚，到了北方没有经过一场像样的战斗就被张作霖瓦解了。要说张作霖还真是吴佩孚的克星，吴的两次惨败都拜张作霖所赐，第一次还能死灰复燃，而第二次虽经多方努力，终至于无力回天。就这样，这位跟张作霖斗了近十年的秀才将军吴佩孚就此烟消云散，从此彻底淡出了历史舞台。
