王安石退居金陵，寄情蒋山，尤喜定林寺依山临溪，古木参天，环境清静。置身此地，能令人澄心息虑，邈然神远，真乐有寄。他在《定林》诗中写道：
漱甘凉病齿，坐旷息烦襟。
因脱水边屦，就敷岩上衾。
但留云对宿，仍值月上寻。
真乐非无寄，悲虫亦好音。
安石陶醉定林秀色，流连忘返，白日对云而眠，夜间待月相寻，听悲虫之音，亦感到愉悦。此时，将贵贱、荣辱、得失一概付之度外。
然使他不安者，盖有负老妻，自己早出晚归，留伊孤零守家，尤其夜宿定林，更放心不下。因此，有心举家迁居蒋山。
这日，安石与定林寺长老说佛，见一年岁相当之人来访长老。长老绍介说，此人杨德逢，号湖阴先生，隐居蒋山，乐田园生活。安石问居蒋山何处，德逢告说白塘附近。安石问道：“能觅得一居处，与先生为邻乎？”德逢答道：“白塘有一废园，去城七里，上蒋山亦七里，距定林更近，环境优美，若加修葺，不失良宅。惟居相公，恐嫌简陋耳。”安石道：“不求华屋，止能遮风蔽雨足矣。”德逢道：“相公若有意，德逢愿为前导，引公相看是否中意？”长老亦愿陪往。于是三人下山。路经谢公墩，德逢指一土鼓堆，说此即东晋谢安故宅遗址。安石见尚存谢公墩残碑卧地，周边生满苍苔。感慨吟道：
谢公才业自超群，误长清谈助世纷。
秦晋区区等亡国，可能王衍胜商君？
长老听后笑道：“相公退居，尚不忘讽儒者清谈之风。”继前行，德逢指道：“下边即是白塘。”三人走下坡，见一片空地，草棘丛生，北面蒋山，四周林木环抱，南有一干涸池塘，即白塘也。长老道：“此处长久无人居住，白塘渐干涸。贫僧尚记得原先此塘水光粼粼，沿渠舟行可通城河，直抵白下门。”安石看后心许，道：“待回家说与拙荆商定。”德逢道：“相公若在此造宅，我与国公为邻，三生有幸。”安石道：
“我一野人，有一隐者相邻，不会寂寞。既许为邻，先生允安石登门造访否？”德逢道：“国公下临寒舍，求之不得，请。”于是在前引路，东行不远，见田园中有一宅院，即德逢家屋。进到宅屋，庭院清幽，花木成畦，果非一般农宅。安石脱口吟道：
茅檐长扫静无苔，花木成畦手自栽。
一水护田将绿绕，两山排闼送青来。
长老拍手道：“好诗！拟人写景浑然一体，交融无间。”德逢出具笔墨请书。安石道：“径书先生厅壁，如何？”德逢道：“更好。”安石遂挥毫直书于厅堂之东壁。德逢赏览道：“诗意飘逸悠远，书法劲骨丰肌，文墨俱佳。谢相公惠赐。”三人品茗闲话，甚是投机。
当日黄昏，安石回到家中，将移居白塘之意告知夫人、子旁及王兴，大家称善。次日，安石率王旁、王兴再访德逢，商谈购地，兴工诸事。德逢道：“我与此地乡亲相善，人地熟悉，购地、兴工事交我与王管家商办，相公不必操劳，尽在定林读书著说，倦余散心，来此指点即可。”安石道：“先生亦有年岁，恐多劳烦，安石于心不安。”德逢道：
“相公放心，山野之人，劳而益康，为相公做点事，算得甚。”
元丰二年开春，安石在白塘辟棘为园，构屋以居。坐北向南，修建了几间居室；平整房前屋后，广植林木、花草；清除南面池塘污泥，引溪注塘，并凿渠决水，使通城河。还在园内修建豚栅、鸡埘、马棚，池塘中投放鱼尾，俨然农家。德逢、王兴原拟垒园墙，安石不可，说：
“筑园墙，若为防盗，我无产无钱，不需防。隔一围墙，远我于乡亲，适以自闭，岂不是孤家寡人！”修建之初，附近乡亲原以为宰相筑园，必豪宅也，投以冷眼。后经雇佣匠工说知，多来帮工，道：“既是邻里，按乡俗礼应前来帮工。”尤以凿渠通城河，亦便大家进城，争相乐见其成。故不到三月而园成，安石一家迁入。白塘距蒋山和府城均七里，安石命名半山园。地近定林寺，安石去昭文斋读书、著文，甚是方便；去太平兴国寺会高僧，当日可返；其来江宁访安石者，亦较前易便。
这年下半年，出了耸人听闻之“乌台诗案”。原来，苏轼才高气傲，论事言辞诮谑，往往伤人。前次谢景温劾苏轼返里贩卖私盐，固与变法之争无关。说系王安石指使所为，乃无稽之谈。此次，“乌台诗案”却不能说与苏轼攻变法一事无关。而事发于安石罢相两年后，则无论如何牵连不上安石。章早已察知苏轼之弱点，故在其知湖州前交谈中，已劝其言必审大势，切勿徒驰骋以辞。安石罢相后，章是变法派之实际首脑人物，又系苏之知交。故将此案说成变法派害轼，亦是附会。若说与变法派有关，则因安石退后，变法派内缺权威人物，以致一些人各行其是。然轼之言论、诗作确有给人以可乘之隙，果如章担心之事发生矣。从六月以来，权监察御史里行何正臣、舒、国子博士李宜、权御史中丞李定等人，先后四次上章弹劾苏轼，摘其诗文一些章句，指为“讥讽文字”、“愚弄朝廷”、“指斥乘舆”。神宗诏御史台审理。七月二十八日，御史台差官皇甫遵到湖州，将到任不满三月之知府苏轼逮捕，押到汴京，系乌台狱审理。
御史台经月余审讯，以为罪证确凿，并经与本人核对无误，认定其诗文《寄刘孝权》《吴中田妇叹》《八月十五日看湖五绝》等几十首诗文，确系讥讽文字，诽谤朝廷，指斥乘舆，目无君父，行亏忠义，应杀无赦。并附《苏子瞻钱塘集》三卷为证。上览后大怒，从御史台议，并道：“苏轼一贯目无君上，早在春试献策中就讽朕独断专行；从其诗文看，苏轼放外以来，每转徙一地，从不改其攻击新法、诽谤朝廷之行径。今次处置从严惩办，不可姑息。”宰臣吴充、王圭以为轼虽有罪，但罪不当极刑，但慑于上方盛怒，不便分辩，乃请缓议，遂散朝。
次日经筵。翰林学士章独白上道：“苏轼才高性傲，言辞诮谑放诞，不知轻重，然非有意犯上。”上道：“子厚欲为苏轼说朕耶？”
道：“陛下若以为做说客，则无言矣。”上笑道：“今日经筵，非朝议，汝自言之。朕若拒经筵，真乃独君也！”遂道：“乌台以为苏轼诗文有反对新法之作，如《寄刘孝权》诗，亦以为然。苏轼不满朝廷削减公使钱，胡说‘公厨十日不生烟’。即使公使钱减少，亦不至十日厨不生烟。其言辞诮谑。况朝廷已厚增官吏俸禄，是应公私分开。”
乌台所举另一些诗文应作分析。如诗《吴中田妇叹》，将农家描绘成遇有灾荒，为纳二税，卖牛、拆屋、断炊以至投河自尽，则非盛世乡村之景象。容许一时一地或有遭灾民困之事，但无视大势，给人以阴暗之感，则所欠妥。但其究竟是描述吴中一农妇，不可目为反对新法。
王安石曾指出苏轼诗文往往驰骋以辞，确是其毛病。此诗病在不审大势，不顾大体，徒驰骋以辞。其讽‘钱荒’，实不知‘钱荒’乃交易繁盛新起必有之现象，盖钱币交易必代替以物易物也，非蓄意攻新法。
“至于讽给蕃官支食钱，更其错误。其乌台所举又一些诗文，多是穿凿附会，如《看湖五绝》之四：‘吴儿生长狎涛渊，冒利轻生不自怜。东海若知明主意，应教斥卤变桑田。’此诗文理明白，绝非指斥陛下兴修水利，且原诗自注明白，说：‘是时新有旨禁弄潮’，怎可说是反对陛下？总之，以为苏轼之诗文有反对法或诗文中含有攻击新法之意，如反对削减公使钱、反对招纳蕃部支食钱等，但均非陛下大法、要法。其他多是见解糊涂，言辞放诞。至于乌台穿凿附会之处，更不当罪。坦诚以陈，甘冒圣怒，死罪死罪。”上道：“经筵之论，固当无罪。”
乌台诗案，惊动朝廷上下。元老重臣张方平、范镇均为轼说情，并通中官陈情于太皇太后。此时曹氏已衰弱不堪，闻讯后立即传唤皇上来见，喝道：“吾闻汝要杀苏轼。当年春试，苏氏兄弟高中，仁庙道：朕为子孙取二宰相。今汝不相轼，反要罪杀，欲冒不肖之名耶！”
上道：“朕亦听说有此传说，经查起居注，并无记载，亦无人可证。仁庙亦未重用栽培，可知事属子虚。今苏轼攻击新法，诽谤朝廷，指斥君上，其罪难容，按律当斩。既然太皇太后提起仁庙之语，朕再令查对。如确有此语，朕当从轻发落。太皇太后善自保重，不须为此操心。”曹氏不好再说，上告退出来。
苏轼系狱日久，见审讯及狱吏肆虐，自度不免，写下绝命诗，私托狱吏转交其弟苏辙。诗自注：“予以事系御史台狱，狱吏稍见侵，自度不能堪，死狱中，不得一别子由，故作诗二首，授狱卒以遗子由。”
其诗有“是处青山可埋骨，他时夜雨独伤神。与君世世为兄弟，又结来生未了因”语。苏辙得诗，急求章设法营救。道：“我在上前已力为子瞻剖白，上虽听说，但未有从轻处置之语。元老重臣说情亦未允诺，太皇太后说项被皇上顶了回去。事急矣！惟有一法，子由急宜亲去江宁，求安石上书皇上，或许有救。”苏辙道：“兄知为争新法，辙数得罪老相公，且当时辙言辞亦过分，实无颜以对。素知兄与其善，可否请兄上书老相公，求在上前美言。若老相公上书，事可有救。”章道：“子由多虑，深知安石从不念旧恶，对子瞻亦重其才。外间传安石排斥之说，纯系猜测或挑唆。此次营救子瞻，元老重臣多为奔走。司马光素重子瞻，前不久还寄其独园文与子瞻，并唆其攻新法。我劝子瞻勿受挑唆。今子瞻系狱，司马光却无一语，岂不令人深思乎？既然子由见托，我即上书安石，请其出面营救。子由着可靠之人，急往江宁专递。”苏辙连忙致谢。章当场书就上安石书，交与苏辙。辙差轼幼子苏过，日夜兼程送往江宁去也。
半山园成，时已暮春，王安石一家入住，甚是满意，从此过着恬淡安宁之退居生活。入住后，即咏《半山春晚即事》诗：
春风取花去，酬我以清阴。
翳翳陂路静，交交园屋深。
床敷每小息，杖藜或幽寻。
惟有北山鸟，经过遗好音。
他在《渔家傲》词中，亦抒咏此等恬静环境与心适之自得。
平岸小桥千嶂抱，柔蓝一水萦花草。
茅屋数间窗窈窕，尘不到。时时自有春风扫。
午枕觉来闻语鸟。欹眠似听朝鸡早。
忽忆故人今总老。贪梦好。茫然忘了邯郸道。
安石迁入半山园后，经常到附近村野游转，访问邻居，结交农人，喜看丰收景象，他一连写下《歌元丰五首》：
水满陂塘谷满篝，漫移蔬果亦多收。
神林处处传箫鼓，共赛元丰第二秋。
露积成山百种收，渔梁亦自富虾□。
无羊说梦非真事，岂见元丰第二秋。
湖海元丰岁又登，稆生犹足暗沟塍。
家家露积如山垅，黄发咨嗟见未曾。
放歌扶杖出前林，遥和丰年击壤音。
曾待玉阶知帝力，曲中时有誉尧心。
豚栅鸡埘□霭间，暮林摇落献南山。
丰年处处人家好，随意飘然得往还。
这日，安石游太平兴国寺，与高僧说佛参禅久，归半山园时已黄昏。牵卒勒住马头，甫下马，只见一少年，仆仆风尘，纳头便拜道：
“参见舒国公大人。”安石问道：“汝何人？”那人道：“小人苏过，苏轼之三子。专程送达章翰林学士致书，故谒府上。”安石道：“进屋说话。”进入客厅，苏过递上章书函，安石阅后甚为惊愕，叹道：“不意子瞻吃此苦头！”遂询问苏轼狱讯近况，苏过备述始末，道：“家父从通判杭州起，转徙密州、徐州、湖州，过皆奉侍左右，深知父为人。说句小子不当说的话，父直诚，但傲气任性，不审时势，口无遮拦，祸皆由此起。”安石道：“安石与令尊虽非过从甚密，然知其为人正直，深爱其才。其文学，欧阳公后无有出其右者。太平盛世，岂有杀才子者乎！安石即上书皇上，为营救子瞻力言。贤契不必过忧，若须某奔走，将诣阙面圣。”过再拜，道：“有国公书，想皇上必会从轻发落。”安石连忙草章，付与苏过。过接章后告辞，连夜返程。
神宗览安石奏章后，语吴充、王圭道：“对苏轼狱事，有两人出朕所料。一为司马光。元老重臣皆为轼说情，独光无一语。二为王安石。轼历攻新法，而安石却力辩其冤。”王圭道：缘安石有宰相量，安石不因其责难新法而排之。上不忆安石尝言：‘轼一文学士，其言是，当纳之，其言非，可不纳，不可过责一文学士。’散朝后，上回到后宫，将安石奏章付向后与县君阅览。向后阅毕问道：“官家如何批答？”上有难色，反问道：“卿说当如何？”向后道：“娘有见识，请娘说。”县君杜氏笑道：“依娘说，皇上当下台阶矣。章言，元老重臣诸人言，太皇太后言，皆听不进去。今安石远隔千里言，又不听，不怕人讽汝为独君乎？即使苏轼当杀而不杀，留一命，有甚了不起；后，果怙恶不悛，人皆曰可杀，还可再杀。若不当杀而杀，其错如何改正。”
向后道：“娘一篇道理，妾闻所未闻，官家当从娘言。”上道：“娘言是，但朕如何发话？”杜氏道：“给太皇太后面子，就说从太皇太后教旨。老人家衰竭，已朝不保夕，应使老人高兴，皇上亦落孝名，有何不好说？”上乐道：“娘言极是，明日，朕即发落，娘还有何教示？”杜氏道：
“安石在朝，老身不担心汝过为，盖安石从旁规劝，汝拗不过他。今吴充、王圭二相在汝前事事谨慎持重，不会力争。皇上须力戒气盛，听不进人言，独断专行。”上道：“朕谨铭记。”
次日，诏苏轼责授检校尚书水部员外郎、充黄州团练副使，本州安置。苏轼从八月十八日被捕入狱，十二月十八日出狱，在押一百三十天。他在出狱时写道：
百日归期恰及春，余年乐事最关身。
出门便旋风吹面，走马联翩鹊□人。
却对酒杯浑似梦，试拈诗笔已如神。
此灾何必深追咎，窃禄从来岂有因。
