次日，文广升厅，坐定。四子一齐跪下，禀曰：“告爹爹得知，可恨张茂排陷吾家，今夜，儿等要把他家满门老幼尽行诛之。”文广喝曰：“方受皇恩，荣耀满朝莫敌，若干此等事，王法无情，岂相饶乎?那时莫说恩荣，免死亦难，决不可为。”公正等诺诺而退。怀玉曰：“三位哥哥在上，此事只宜暗暗行之，莫使爹爹知道。”于是商议已定。直至元丰二年端阳之夜，怀玉等将黑搽脸，扮作强人，打入张茂府去，将家属尽皆杀之，止走了范夫人。范夫人次日进奏神宗，神宗大惊，命殿前检点卞之勇，满城搜拿。捕捉十日，不见些儿形迹。范夫人复奏神宗，神宗问群臣：“今捕拿了贼人否?”群臣奏曰：“不见下落。”神宗曰：“国之大臣，被人杀死，访拿不出，岂可置之不问而遂已乎?如此，即是没了王法，安用朕为!”乃大怒，命钦天监官，夜观天象，着离星落于何处。又命武士，四门严捕。
是夜钦天监官刘江上司天台仰观天象，看后大惊，星夜径到杨府叫门。守门者问曰：“汝是谁?”刘江曰：“代禀国公，钦天监官有机密事来禀。”却说怀玉，干了此事，亦提防朝廷捕缉，乃出宿于府门廊下。听见外面叩门，遂起来看之，正撞遇守门人进禀。怀玉曰：“禀什么事?”守门者曰：“钦天监官刘江来禀甚么机密事。”怀玉曰：“汝去看，如只一人，放他入来。如人多，回复明日来禀。”守门者出到门边，从门缝里一睄，只见是刘江一人，遂开门延入。刘江与怀玉相见，言曰：“小官领圣旨夜观天象，杀死张丞相的凶星正照老爷府上，为此先来通报。”怀玉曰：“我家没有是事，动劳大人爱厚，容日叩谢。”刘江辞别去了。
是夜怀玉聚集兄弟姊妹，商议言曰：“适闻钦天监刘江，到府来说，杀张茂凶星正照我家。彼未奏君，先来通闻。我想明早他奏知圣上，圣上定行拿问，朝廷听信谗言，我屡屡被害，辅之何益。且佞臣何代无之!他们恃是文臣欺凌我等武夫，受几多呕气。依我之见，趁今圣上未曾下令拿问，鸠集家兵，悉行走上太行山，却不斩断愁根乎!只有一件，爹爹病重惊动了他，必竟闷死，怎生区处?”宣娘曰：“那倒无妨，我将安云车一辆载之，犹如平地安稳，万无一失。但汝父忠勇，闻知此事，必执汝等入朝待罪。”公正曰：“吩咐众人，莫将此事告之。乞姑娘进去问病，诳爹爹入了安云车内，我等即便起行。”言罢，宣娘入文广卧房间曰：“贤弟病势何如？”文广曰：“料不济事。”宣娘曰：“贤弟起来，另迁于净室居卧，付大小事务于不闻，屏绝鸡犬人言声息，自可避无恒矣。”文广不知是计，爬起来，徐跟着宣娘入于安云车内讫。
是夜怀玉命家人众护卫军士，收拾宝物辎重，车载马驼，整备停当，竟望太行山进发。次早范夫人又进奏曰：“妾访得强贼，乃无佞府杨怀玉等搽黑其面，抢进妾府杀了全家，乞陛下敕旨拿之。”蔡京曰：“若论仇隙，亦有可疑，但难拘定是他家杀了，必待钦天监官来奏，便知端的。”言未罢，刘江进奏，说道：“凶星照着杨府。”神宗大怒，下命孙立领羽林军三千，围住杨府，把杨门全家拿来，戮弃于市。旨意才下，巡守外边城御史汪万顷奏曰：“杨府举家于五鼓城门正开时，尽皆涌出，竟望太行山去了。”周王大惊曰：“国有佞臣，忠良难立。曩者张茂有书冒奏欺君、陷害忠良，罪亦当斩。陛下宠嬖，不行究问，那时已不伏杨府众人之心矣。今日茂死，罪人未获，杨府知陛下毕竟不肯干休，恐祸及于彼，是以高蹈远举，全身远害，飘然不恋爵禄，走上太行。但将来四夷叛乱，再遣何人讨之?”神宗曰：“此事何以处之?”周王曰：“依臣之言，发下诏书，召回杨怀玉等，仍居无佞府中，敕赐重修第宅。彼张茂之死等情，俱罢不究，庶几可以挽回其心。”神宗允奏，即修诏与周王，赍往太行召回杨怀玉等，赦除前罪。
周王得旨，竟赍往太行山而去，不日到了。怀玉等接见，周王曰：“圣上有诏，跪听宣读。”怀玉等忙排香案，整朝服接旨。周王读罢，怀玉等接见诏，叩头谢恩毕，于是整酒，陪周王。周王席上问曰：“国公何在?”怀玉曰：“老父患病甚重，只在旦夕谢尘。”周王曰：“待我进去一看何如?”怀玉曰：“不敢劳动。”周王曰：“内家亲眷，岂有此说?”怀玉曰：“殿下切莫言上太行山一事，倘若言之，老父必闷死矣。”周王曰：“又说鬼话，他今日身居太行，犹不知之，尚待我以告之乎?他既不知，当日怎生得他上来。”怀玉遂将安云车一事告之，周王允诺，及见文广言曰：“老丞相病体何如?”文广曰：“动劳殿下垂念，料不久归泉下矣，只是报答殿下之恩，耿耿在怀。”言罢，两泪交颊。周王见其情词真切，势甚危笃，亦挥泪言曰：“老国公忍耐些儿。”其心亦恐惊伤文广，遂将上太行山等事，隐而不言。
周王辞出，谓怀玉曰：“圣旨来召回汴，汝等可作急起行。”怀玉曰：“臣宁死于此而不回矣。”周王曰：“汝不回去，甘为背逆之臣，以负朝廷乎?”怀玉曰：“恕臣诳言之罪，略有苦情，一一启殿下听之。若以理论，非臣等负朝廷，乃朝廷负臣家也。始祖继业，王侁排陷狼牙，撞李陵之碑而死。七郎遭逢仁美万箭攒身而亡。六郎被王、谢之害，充军远徙。迨及狄青张茂，吾祖吾父贬职削官。圣主不明，词章之臣密迩亲信，枕戈之士，辽隔情疏，不得自达。谗言一入，臣等性命，须臾悬于刀头。此时圣主何曾少思臣等交兵争斗之苦，而加矜恤?此岂臣造为虚谬之谈，以欺殿下乎?”有诗为证：
餐风宿露统军时，万种愁怀只自知。
剪发接缰牵战马，拆衣抽线补旌旗；
争雄授命耽饥会，角力伤刀负痛归。
圣主那怜征战苦，谗言一入即分尸。
周王听罢，问曰：“汝既不肯回朝?敢怕要去辅佐番邦?”怀玉曰：“直道而事人，焉往而不三黜，枉道而事人，何必去父母之邦?此古人之明训也。臣家世代，性俱刚介，不肯阿附权臣，故落落不合于朝臣。又想国国一辙，处处同风，大宋如此，彼番亦如此。臣既隐身远祸，不辅大宋堂堂天朝，而肯辅腥臊之番乎?且尽心竭力辅助国家，少中奸锋，九族庙绝者。呜乎哀哉，痛哉!辅人立朝，实闲且淡，若浮云过太虚，竟归无用矣。岂不闻有诗云：兔走鸟飞疾若驰，人生何事苦谋为?屡朝宰相三更梦，历代君臣一局棋。禹并九州汤得业，秦吞六国汉登基。人人欲作千年计，争奈天公不应机!”怀玉说罢，又曰：“一贼灭，一贼兴，谁能辅佐人国，而使万世之承安乎?又有诗云：“世事若龙舟，古今争不了。胜负两亡羊，天地一刍狗。”怀玉道罢，周王恳恳千回百遍强之，怀玉不听。周王不得已，辞别而回。
周王既至于汴，即入奏神宗，将怀玉所论之言，并怀玉吟咏之诗，一一敷陈。神宗听罢，为间曰：“噫!寡人之过也。”慨叹不已。复谓周王曰：“劳卿再赍敕旨前往召之。朕想古之帝王，梦卜求贤，以理天下。朕今有此等贤良之士，不能用之，听其肥遁林泉，不得与古明王媲美，使天下万世，谓朕为无道昏庸之君也。卿速行焉，善为设辞可也。”
周王领旨，星夜复到太行山。见了怀玉等，剖尽衷曲，劝谕抵极。怀玉等只付之一笑，亦不辩论短长。及见周王劝之不已，怀玉曰：“劳殿下情意殷殷，另有一深长之论，转达天听。且见殿下此来，亦不徒然。”周王曰：“有何论焉?”怀玉曰：“若圣朝调遣，拜命而行。倘或来宣入朝受职，将臣碎尸万段，决不遵依。”言罢，周王亦无奈，只得辞别而回。怀玉引领全家，送至山下，再拜周王。周王含泪，怏怏不忍离别。怀玉曰：“殿下勿忧，微臣不死，后会可期。”周王遂揾泪相别。
怀玉回到山上，命手下伐木作室，耕种田地，自食其力。又出一告示，晓谕家兵，不许下山掳掠民财，为一清白百姓，遗留芳声于后代，使人皆称我家是个忠臣。退隐岩穴，而非叛乱贼臣，不归王化者也。有诗为证：
尘视侯封上太行，只缘社鼠暗中伤。
繁华过却三春景，衰朽催人两鬓霜；
宦海无端多变态，菜羹有味饱谙尝。
浮生得乐随时乐，何必担忧驻汴梁!
后人览罢此书，有诗赞怀玉知机云：
峻秩崇阶孰肯丢，知机平远早回头。
预期十事九如愿，定不三平两满休；
知自足时还自足，得无忧处便无忧。
太行风月归闲后，一任人间春复秋。
又诗赞云：
卸却朝衣弃却簪，浮云富贵不关心。
连城玉韫太行润，照乘珠藏合浦深。
明月花前宵酌酒，熏风竹下昼鸣琴。
此身不复随宣召，只恐西风短剑临。
