话说白玉堂做了殿帅，娶了翠绡，过新年才二十六岁，正是英年。休说常人处此必然志得意满，就是豪杰卓荦之士，那有不愿意轰轰烈烈做一番事业的?不料玉堂是聪明绝顶的人，自经了铜网地牢的磨折，早已敛尽豪情，参透世味。况亲见南北侠武艺本领，比自己已胜一筹，却又有翠绡，更超出尘埃之表，益恍然天地之大，不宜稍涉自满。那心高气傲的性情，竟变了个敛抑静定的识力。自江陵破后，便拿定功成身退主意。况翠绡是个神仙中人，旷识冲情，更能启发他的悟境。总是圣心眷注，在朝数月，知道祖宗成法，不许生事，边方辽、夏和约已坚，更无疆场报效之地，不如脱离尘网，为兄弟夫妇偕隐之计。想了又想，觉得所见甚是。便对卢方等道：“我等自结义以来，在陷空岛何等逍遥自在!都是小弟量浅，蹴起波澜，弄得离离合合、死死生生，教众位哥哥费了多少心血。
虽目前圣恩优渥，五人同官京师，然而官身羁绊，各有职司，不能同居，终是会少离多。小弟愚见，想着请个修墓假，徐图退步，不知众位哥哥以为何如?”卢方大喜，道：“五弟，我怀此念多时了。自从刘立保传了谎信，那时我已勘破红尘。幸亏天神庇佑，弟兄们竟一无损伤，以后边疆有事，将军难免阵前亡，哪敢长长侥天之幸。愚兄若有仕宦之念，娶弟媳时早把你嫂嫂接来了。”韩彰道：“我因宦途最险，才辞了军官不做。此番被你们牵率出来，久已腻烦，就兄弟们不退，我也要抽身的。”徐庆拍着手道：“老五的话，正合着哥哥脾气。什么大人老爷，早一个文书，晚一个文书，直把人闹得发昏。行动儿有人跟着，比牢头禁子还管得利害。我们快些回去罢，少做一天官，少受一天罪。”说得众皆大笑。蒋平也叹息道：“我这几年，常闹痢疾，定是水里头寒气所致。年轻时不觉，现已四十多的人了，年纪一年老一年，职任一年重一年，水里事极险，不丧了英名，也送了性命，还是回家养息，倒可以多活几年。”
大家主意相合。次日，都请三个月假，回籍修墓。那是没有不准的。双侠早有此念，便简捷告养。仁宗最孝，就想批准，却因将帅需才，其母年将七十，何必两人全告。恰好浙西都统制缺人，就把丁兆蕙简放，仍兼骁卫将军，就近迎亲。丁兆兰系属长子，准其归养，赏食全俸。兆蕙只得谢恩，省亲后再行赴任。展昭也想回去焚黄祭祖，兼之接丁月华回家看看，便也告假三月。北侠是无拘无束惯的，久欲弃官，众人一走，更独木不成林了，便面求包公说：“年将五十，无儿无女，意欲辞官。如果边廷有事，闻召即出，亦无不可。”包公见他恳切，也就应允。欧阳春遂告了病，也是赏食生俸，准其回籍。
颜敏见诸将俱纷纷请假，来见玉堂，问他何预先不提一字。玉堂恐说破了，他又设法挽留，就道：“先兄亡后，侄儿幼小，也得回去料理料理。三五个月便来，所以并未商及。”参政叮嘱早回，玉堂含糊答应。大家想着同归热闹，北侠道：“我客游在外已久，坟墓一切，有侄儿们料理，我不忙在一时，且趁你们都回家，去南方逛逛，聚乐几日。以后你们官身不自由，不知何时再会了。”商议着：韩彰黄州人，坟墓却在河南平县，徐庆是回山西扫墓，都约定一个月到松江会齐。三家眷属，都在卢家居住。这里卢、蒋、白、展、欧、二丁都回南，因玉堂有眷属，雇定船只，由水路回去。
翠绡早已定了终隐之计，从玉堂告假那日，收拾收拾，便到元谨处住了，作为闲话，把家事斟酌的妥妥当当。元全也愿随行，翠绡说：“你也上了年纪，该回去同你兄弟元成商量过继，安安家再来。”元全别了女儿女婿。参政念他有救玉堂之功，赏银千两安家。四义亦各赏五百金。元全再三推却，参政定要赏他，只得谢了。雨墨、飞奴都说：“你老人家过继了弟弟，莫忘了女儿，务必还随着进京，在女婿这里奉养。”元全自然答应。飞奴就到翠绡处来住，直到送上船才回。主婢相依日久，虽则暂别，飞奴竟哭的涕泗滂沱。
翠绡到行期将近，才到颜府告辞，颜母婆媳不过劝他早来。于是一齐上船，送者络绎。水平风顺，已到维扬。玉堂想：“由金华到金陵，太觉周折。”趁着蒋平之便，就夫妇先到金陵。到了钟山别业，与蒋平分路。元成等都来参见，玉堂择期到侍郎秘监坟上双双拜奠。翠绡触动终天之恨，涕泗横流。玉堂劝慰了一回，在别业小住几日，办理元全承继。元成兄弟两个本和气，四个儿子尽他哥哥挑捡，元全挑了第二个侄儿元义过房。玉堂又赏他二千金，登时老头儿富起来。留他在金陵聘娶媳妇，置买房产田亩，也算他一生忠厚之报。
玉堂夫妇别了蒋平先行，径赴金华。玉堂家在金华西乡，地名长庆庄，家道富足，累世书香。金堂去世后，他嫂嫂杨氏现已过了四旬，持家极为能干，用几个主管，把买卖田产理得井井有条。比金堂在时更为充实。金堂、玉堂并非同母，故比玉堂大十多岁。金堂事继母甚孝，为人仗义疏财，入学补廪后教弟读书。玉堂天性好武，又替他拜了名师，习成武艺。兄弟甚是友爱，并未分居。玉堂因金堂亡过，触目伤心，出外游览散怀，方与四义结拜。那抓尖要强的性儿，是他哥哥从小惯下的。卢方捧着他，也与金堂一样，所以心高气傲，无人管得他。住在陷空岛，也不断回去，自当护卫后，书信往来，离家又四五年了。
这番同了翠绡衣锦还乡，杨氏大喜。玉堂已将本身告封兄嫂。叔嫂妯娌相见，杨氏见翠绡如花似玉，笑道：“怪道叔叔不愿在乡间结亲，果然娶了个仙人到家。做了将军，倒谦和起来，不像小时候淘气了。”白璨已十五岁，聘了杨氏侄女，白玮十二岁，长得都美秀而文。玉堂甚喜，拉着手问问书史，都对答的上来，便摸着玮儿头道：“你几乎给我做儿子，明儿我给你定个亲。”就对杨氏把襄阳之事告诉一遍，说：“有个柳青，与我相好，听我死了，哭得死去活来。闻他有个女儿，年纪与玮儿仿佛。那柳青品貌甚好，女儿不致太丑，嫂嫂莫疑心我们武官都是奇形怪状的。”杨氏听了襄阳的事，惊惊喜喜，望着翠绡笑道：“我不信婶婶也会武艺。”翠绡也笑了。玉堂笑道：“嫂嫂，两个侄儿千万不要娇惯他，也不要像我学武。兄弟就吃亏哥哥嫂嫂惯坏了性子，又贪些武艺，几乎把性命送了。”杨氏道：“侄儿哪里赶的上叔叔?我也断不惯他的。”一面收抬屋子，安顿了上上下下。
择了吉日，玉堂夫妇谒了家庙，上了祖父各茔，及金堂之墓。玉堂想起幼失怙恃，全仗胞兄教养成人，自然是无穷哀慕。杨氏劝道：“叔叔休哭。你显亲扬名，哥哥虽不及见，九泉有知，也是喜欢的。”说着，自己也哭个不住。良久，礼毕回第，免不得地方文武、乡邻亲友互相拜望。忙了半个月，杨氏叫主管们把各项帐目请玉堂看，杨氏道：“这几年，家里更是宽裕。叔叔当京官一年，也要些用度。你那手又是敞惯的，尽用结义弟兄钱，放着家里钱，我不送去，你从不来要，如今请定个数目，好按季寄去。”玉堂笑道：“我的俸禄也够用了。这几年日子，是嫂嫂辛苦积下的。我意不如提些钱，置个义庄义学，赡及族中，倒是经久的办法。我哥哥在日，本有此意，嫂嫂想也知道。”杨氏就请玉堂定了章程。
约莫将及一月，玉堂要行，杨氏还只道官限紧急，也不便留。过杭州时，丁兆蕙已到任了，说：“卢大哥等都有游湖之约，等你回岛呢。五弟快去快来。”玉堂夫妇赶到陷空岛，韩、徐、蒋都已先到了。玉堂又同翠绡见了卢夫人崔氏、韩夫人孟氏、徐夫人应氏、蒋夫人费氏。那时，卢珍已十三，韩彰的儿子韩琬、徐庆的儿子徐琅、蒋平的儿子蒋瑜，年纪都相仿佛。一同出来，见了叔婶。卢方自结义后，外边造五义厅，里边就是一排儿五进上房。早就把翠绡上房收拾齐整了。翠绡看四个夫人甚为亲热，不分彼此，叹道：“结义弟兄像同胞的，或者有之；结义妯娌像同胞姊妹的，自古也少。无怪陷空岛五义出名了。”
内外吃了几天酒，丁兆兰来知会：“先奉老太太上任，顺便游湖。北侠偕往，展大哥随后也来，务必同去一聚。”五义高兴，连五义夫人也高兴起来，都想到西湖上逛逛。岛中有的是船，预备了，连四位公子都带了去。路上遇着展昭，也扫墓事毕，带了丁月华同赴杭州，省母游湖。五义过去拜望，月华也来拜众夫人。展夫人向来自负不凡，听了这般剑术，又见了翠绡这般丰神，那有不倾倒的?三五日到了杭州，其时知府已换了人，双侠、北侠迎了进去，要留入署中。展昭自然搬进，卢方等便说：“衙中拘束得慌，在舟中，游湖甚便。”
那日统制署中内外款待。展昭说起周家茶楼之事，对兆蕙道：“旧日渔郎今又来，那郑家茶楼六槐怕还认得你呢!周老儿怎么样了?”兆蕙道：“那郑新的老婆，竟有外遇，后来将郑新谋死，被伙计首发，妇人也凌迟了。现在，郑家茶楼，还改了周家茶楼。那老儿早来谢过，还问起展兄，听得兄来，必要来叩谢的。”妙莲庵之事，北侠自未便提起，倒是玉堂笑对北侠道：“小弟与兄长初会之地，不知两尼尚在否?”欧阳春道：“事多，我也忘了。便是汤相公被你救出后，去报了官，那尼姑连夜逃走，知县将周生救出来，也医治好了。我在杭州倪太守处，曾再到庵中一访，已换了住持。后会汤公，才知始末呢。”欢饮到晚，五义回船。
次日，备了湖舟，同到西湖游览，搜奇选胜，连天竺、云栖都游遍了。诸夫人同着丁母，止能在湖边各名胜处一游，到了灵隐而止。一聚月馀，游兴已酣畅淋漓。展昭假期将满，众人在葛岭一家园亭设席饯他。南侠因众人都萌退志，与自己出处不同，便道：“非是我贪恋名利，苦要做官，细想圣上及包、颜二相的一番知遇，襄阳之役功微赏重，趁着年尚未老，还想报答几年，立些薄效，再回田里。就是诸位弟兄，立志虽高，我恐世正须才，亦未必容你们闲散。”玉堂道：“展大哥说得正理，但我们弟兄五人各有各的不合时宜，久在京师，万容不住。
你看狄枢密平了侬智高，如此大功，欧阳永叔也是正人，还寻事参他一本。何况我们?如展大哥这般外和内个，稳练老成，自然当及时报效，我们非是鸣高，直是藏拙而已。”展昭笑道：“五弟，你莫忙，小心颜参政要缠你呢。”正说话间，忽闻呵道之声，说是太守来拜。兆蕙道：“这也奇了，难道我们饮一日酒，太守还要监察么?”比及请了进来，太守坐下，略叙寒温，便说：“今日传到旨意下金华，是白殿帅派了巡阅荆、襄一带水陆各军，特来送信。”取出旨意，送给众人看了，略坐便去。展昭对玉堂道：“如何?我说你断不能闲的。顺风收帆，原是好事，无奈你的风太顺了。”兆蕙说：“一举两得，又算替五弟饯行罢。”玉堂颇觉为难，且大家尽兴饮了，展昭自行挈眷入都。
玉堂回船，与四义及翠绡商酌，便想托病不去。翠绡道：“我正想到襄阳一行，看看姑母祠墓，定个经久章程。君命既下，似不宜辞，只要矢志坚牢，也不争在数月。”于是商定：四义携了妻子回岛，赶着具呈乞病开缺，玉堂同翠绡换了杭州预备的钦使官船，按程前往。
到了镇江，接到参政来信，说：“闻弟有退志，兄甚不以为然。适圣心垂念荆襄，恐有遗孽，是兄在御前保奏，可与弟夫人同行，万无一失。事竣，星速回京，鹄立以俟。”玉堂看了，对翠绡笑道：“我就猜是他的主意。士各有志，只好辜负君恩友谊了。”到了金陵，元全也要跟去，就开船直指江陵。一入界，任传桂等早已接出，要照仪注庭参。玉堂再三止住，述了旨意，叫清查余匪。又叙了几句闲话，金太守也到。了却阅兵公事，请沙龙等话旧谈心，才知沙龙因二女苦劝，已纳了妾，现已有孕。沙龙便说：“一二年内，也想告病，那时去找欧阳兄，同游江南。”鲁氏、秋葵上船，见了翠绡，不在话下。
到了荆门，皇甫襄、艾虎来迎，阅过了操，玉堂留下艾虎晚饭。玉兰独上船来见白夫人，才知凤仙分娩得子，尚未满月。玉堂替艾虎道喜，却教戒小侠道：“贤侄，你做官娶亲得子，事事都早，原也可喜，但你作事仍是粗疏，须要痛改。就这杯中物，也恐误事。你看我从前性情，略觉高傲，还受了许多磨折。彼此不能常见，此话切须记怀。”小侠只得唯唯敬诺。翠绡又检了几件人事，送给凤仙之子，就开船直到襄阳。
