且说张说被贬为相州刺史，充任河北道按察使。祸不单行，福无双至，不久，张说又被其他事牵连，再贬为岳州刺史。雪中送炭少，落井下石多。仕途不顺，张说十分郁闷。
苏颋时担任丞相。张说与苏颋之父苏瑰曾经是故交，念昔日交情，便撰写一篇《五君咏》，在苏瑰忌日时献给苏颋。其中一则是记载苏瑰的真实故事，言辞恳切，感情浓烈，苏颋阅读后，父亲的音容笑貌浮现在眼前，苏颋情不能自已，潸然泪下。而父亲的故人，自己的叔父张说却处在人生的低谷，怎么也应该帮帮忙，拉他一把。
苏颋向玄宗进言，为张说讲好话。玄宗当然知道张说是个人才，而且是个经世济国的大才，只是想打击张说的傲气，磨磨他的性子，以便将来更好地驾驭，就顺水推舟卖个人情，改任张说为荆州长史。不久，张说因功改任右羽林将军，兼检校幽州都督。
然后张说任检校并州大都督长史兼天兵军大使，代理御史大夫，同时在军中修撰国史。
720年（开元八年），朔方大使王晙诛杀突厥降户阿布思等千余人，唇亡齿寒，引起并州的同罗、拔曳固等部族的恐惧，局势动荡不安。为了避免事态恶化，引起他们的反叛，张说决心亲率二十人，持节安抚各部。
临行前，副使李宪劝道：“这些都是蛮夷之族，狼子野心，不懂礼仪，大人怎么能够以身犯险呢？”
张说态度很坚决：“这关系到边关的稳定，冒险是值得的。而且只要我们有诚意，我相信此事定能妥善解决的。”
李宪说：“那就多派一些护卫跟随你。”
张说道：“不必，二十人足矣，我们又不是去打仗，是去慰问，安抚，人多反而碍事。你就等我们的好消息吧。”
这二十人主要负责押送物品。
张说送去许多慰问品，为打消他们的顾虑，张说和随行者晚上住在他们帐中。
首领心悦诚服：“张大人如此有诚意，我等佩服万分，请张大人放心，我们决不与朝廷为敌。”
721年（开元九年），突厥降将康待宾反叛，自称叶护，攻陷兰池六州。
唐玄宗接到军情，大怒，命王晙率兵讨伐，又命张说参与军机。
当时，康待宾暗中勾结党项，攻破银城、连谷，占据粮仓。
张说率一万人出合河关（今山西兴县）袭击，大破康待宾，并乘胜追击。当敌军逃到骆驼堰时，党项突然反戈，叛军一路溃散。
副使史献说：“党项反复无常，应斩草除根，全部杀掉。”
张说道：“杀人虽然能一时奏效，但是播下仇恨的种子，久必成大患。当年秦始皇坑杀赵国四十万降卒，之后秦军二十万降兵也被项羽坑杀，这样做是有违天道的。”张说招抚党项流散人员，使他们各安其业。
张说奏请玄宗设置麟州，安顿党项。玄宗甚喜。同年，张说被召拜为兵部尚书、同中书门下平章事。
公元721年，一代贤相姚崇就要走到生命的尽头。儿女围在床前。
姚崇问大儿子：“彝儿，家产分好了吗？”
姚彝含着眼泪，说：“父亲，放心吧，都分好了。”
姚崇问：“彝儿，还有一些陛下赏赐的珍宝古玩没有分，你可知道有什么用？”
姚彝说：“想必是用来陪葬的。”
姚崇轻轻地摇头：“人都死了，留在身边有什么用？这是用来救命的。”
姚彝说：“孩儿不解。”
姚崇缓缓地说：“是这样的：我与张说的政见不同，当年他贬出京城，是我一手造成的，所以他一定会忌恨我。我死之后，出于礼节，他必来吊丧，你们可将这些珍宝器皿陈列出来，他最喜爱收藏这类东西，如果他一眼都不看，那你们就要作好准备，灭族之灾就将来临了；如果他对这些东西感兴趣，那就预示没事了。”
姚崇停了停，继续说：“你们就将这些东西送给他，以请他为我撰写神道碑的名义。一得到他所撰碑文后，立即誊写，报呈皇上，并提前准备好石头，立即刊刻。他比我反应要迟钝，数日之后，定要反悔；他如派人来索取碑文，就说已报请皇上批准，并将刊刻好了的碑拿给他看。他自然无话可说了。事关全家的性命，彝儿，你一定要办好。”
姚彝为父亲想到这样周到而感动，哽咽着说：“父亲，你交代的事我一定办好。”
姚崇已无牵挂，永远的合上了眼睛。全家痛哭。
姚崇诸子按姚崇遗嘱办理，得到了张说所撰写的碑文，那碑文洋洋洒洒，的确是精品；并使张说索回碑文的计谋落空。张说气愤至极，说：“这个死姚崇竟能算计生张说，我不如你啊。”
看到此处，是不是有似曾相识的感觉？是的，三国里不是有死诸葛吓退活司马的故事吗？历史总是惊人的相似。
722年（开元十年），张说担任朔方节度大使，并巡视边防五城。康待宾余党康愿子举兵造反，自立为可汗，并劫掠牧马，西渡黄河出塞。张说率兵追讨，在木盘山擒获康愿子，俘虏三千人，又将居住在河曲六州的降户五万余人强行迁往中原的许、汝、唐、邓、仙、豫等州。
唐朝边境有镇兵六十多万。
张说向玄宗奏道：“时无强寇，不假师众，请陛下裁军二十万，让他们回乡种地。”
唐玄宗对此犹豫不决，说：“如有战事，谁来保家卫国？”
张说解释道：“边军虽多，但各将帅都只管拥兵自卫，役使兵丁营私。真能制敌，不在兵多，而在兵精。以陛下之英明威武，四夷都能臣伏，不用担心裁减人员会招来寇贼。臣请以全家百口人做担保。”
话既然说到这份上，一代雄主玄宗当然就答应了。
当时，诸卫府兵贫弱，大都在轮班休假时逃跑了。张说建议招募壮士，修改条令，减少劳役，不到十天，便选得精兵十三万，分别补给各卫，增强京师的守卫。
张说把府兵制改成了募兵制，大大增强了军队的战斗力。
