上元二年（675），狄仁杰被调入长安（陕西西安）任大理寺丞。这是他首次充任京官，也是他人生的一个转折点，从此狄仁杰以自己卓越的才干，不凡的政绩，一步步地登上高位，为人们所注目与赞颂。尽管在以后的政治生涯中，仍有曲折和起落，但狄仁杰必定已不再是默默无闻的地方小官吏，他的刚直果敢、德才兼备的直臣形象在朝野上下留下了深刻的印象。一旦风云散去，便又重新获得重用和信任。
狄仁杰任职的大理寺是国家的最高司法审判机关，大理寺丞的地位虽不算高，仅为从六品上，但却是一个十分重要的职位。按照唐朝制度，大理寺置丞6人，分别掌管本寺日常事务，并负责审判断罪之事。狄仁杰在这一职位上做出了骄人的成就，令当时人及后世称道不已。唐朝的大理寺下设有监狱，用来关押待审的罪犯，如果大理寺审案迟滞或疑难案件较多，监狱往往就会人满为患。狄仁杰上任的那年，就碰到这样的情况，大理寺积压旧案颇多。他不辞辛劳，日以继夜，一年之内就将历年积压的旧案审理一清，同时也没有影响新案的及时审理，共计审理17000余人，无一人诉冤，“时称平恕。”唐朝对官员有较严格的考课制度，每年考核一次，称小考，三四年举行一次大考。这年负责京官考课的是尚书左仆射刘仁轨，他没有详细了解大理寺的情况，认为狄仁杰是新任官员，就将大理寺所上报的中上等给否定了。大理卿张文认为此事不公，向刘仁轨提出异议，刘仁轨问狄仁杰审理了多少案件？张文回答说一年审理了17000人，刘仁轨大惊，为自己失察而深疚，便把狄仁杰的考课等级提为上下。唐朝的考课等级共分九等，上下为第三等。当时考课标准掌握很严，“入多者不过中上，未有得上下以上者。”狄仁杰在担任京官的第一年，就取得如此引人注目的政绩，使他很快就崭露头角，为以后仕途的通达，创造了良好的条件。
次年九月，左威卫大将军权善才、左监门卫中郎将范怀义在负责守卫唐太宗的昭陵时，因陵园面积广大，一时分辨不清，误伐了昭陵的柏树。此事本来并不为高宗所知，因为飞骑（禁军）中一军士违反军法，被权善才依法惩处，此人心中怨恨，利用番休之机入长安请求高宗召见，痛哭流涕地反映了权善才等人砍伐昭陵柏树之事。高宗听后十分震惊，“悲泣不自胜。”高宗8岁时就失去了亲生母亲长孙皇后，由于他幼年性情软弱，又早早失去母爱，所以太宗对他十分爱怜，关怀备至。16岁时立为皇太子，太宗对他更加关心，朝夕相处，言传身教，甚至以吃饭、骑马、乘舟等生活琐事为例，对高宗进行教育，传授政治经验。太宗所倾注的这种深深的父爱，使高宗终生难以忘怀。现在竟然有人敢于砍伐自己父皇陵园的柏树，在高宗看来无疑是大逆不道的行为，不可容忍，必欲置之死地。
高宗下诏逮捕了权、范二人，送大理寺严加惩处。大理寺审理后，依法判处免官除名，高宗认为处罚太轻，要求判处死刑。大理寺内无一人敢于出面抗争，惟有狄仁杰上表反对，认为权、范二人罪不当死。高宗亲自召见狄仁杰，对他说：“权善才砍伐我父皇陵上柏树，使我陷于不孝。我知卿是好法官，请一定将权善才等人处死。”狄仁杰固争不已，高宗勃然变色，狄仁杰的顶头上司张文见皇帝动了真气，惟恐狄仁杰吃亏，以笏挥之令出，狄仁杰依然不动，苦苦进谏说：“犯颜直谏，自古以为难事。臣以为不然，在桀、纣之时则难，逢尧、舜之时则不难。臣有幸今逢尧、舜，所以不怕像比干那样被诛杀。往昔在汉文帝时，有人盗高帝（刘邦）庙玉环，文帝欲处以灭族之罪，经张释之当廷抗争，罪止弃市。魏文帝欲流放一人，辛毗牵裾（衣襟）而谏，最终反倒使此人得以任用。对圣明的君主可以以理进谏，对忠臣不可以威势进行胁迫。今日陛下不纳臣言，臣死之后，羞见张释之、辛毗于地下。古人云：‘假使盗长陵一土，陛下何以加之？’这是张释之劝谏汉文帝的话。长陵是汉高祖刘邦的陵墓。今日陛下以昭陵一株柏而杀二将军，千年之后，人们将会如何评论陛下！臣所以不敢奉诏杀权、范二人，就是怕陷陛下于不道。”狄仁杰的这番话有理有节，又十分注意方式，处处为高宗着想，使高宗既难以反驳，又不便再动怒。在这种情况下，高宗无法据理以争，只好改变方式，他对狄仁杰说：“依据法律权、范二人虽不至于死罪，然情不可容。我深恨二人，请卿法外杀之。”狄仁杰说：“陛下制定法律，公布于天下，徙、流、死等刑，均有相应的律条规定，岂有犯轻罪而处以极刑的道理？如果不依法定罪，恐怕将会使万民无所措手足。陛下假如一定要改变法律，那就请从今日开始吧。”高宗当然清楚随意改变法律的影响，无奈之下只好放弃自己的主张，权善才、范怀义二人因而得以免死。
后来高宗冷静下来，对狄仁杰说：“卿能守法，朕有法官。”并下诏命史官把此事编入国史。他还说：“仁杰为善才正朕，岂不能为朕正天下耶！”通过这件事使高宗对狄仁杰的胆识和才干更加赏识，于是便授予狄仁杰侍御史之职。侍御史与大理丞虽然都是从六品下的官员，但前者却是所谓清要之官，“掌纠举百僚，推鞠狱讼”，职事更加重要。狄仁杰在侍御史任上忠于职守，多次向高宗进谏，高宗也言无不从。有一次，狄仁杰进谏完毕后，高宗笑着对他说：“卿得权善才便也。”这虽然是一句玩笑话，却反映出高宗对狄仁杰心无嫌隙、完全信任和倚重的态度。
