狄仁杰字怀英，山西太原人，祖、父都做过官。幼年时家中有门客被杀，官吏来查，大家都接受了讯问，只有狄仁杰在那里读书，置之不理。官吏责怪他，他说，正和书里的圣贤对话，哪顾得上你。
后来他通过科举考试，任职汴州判佐。因被工部尚书阎立本赏识，推荐做了并州都督府法曹参军。
去并州路上登太行山，望见南面白云孤飞，狄仁杰跟左右的人说，“我亲人的居所就在这片云下。”伫立良久，直到云移开了才走。同府法曹郑崇质，该当出使远方，但其母老而患病。狄仁杰说，“伯母有病，怎么可以让她为万里之外的儿子忧心？”于是请求长官让他代郑崇质出使。
唐高宗仪凤年间（676-679），狄仁杰出任大理寺（最高法院）官员。据说一年内裁断羁押案件无数，涉及1.7万人，没有喊冤的。他甚至敢跟皇帝据理力争。当时大将军权善才和中郎将范怀义误砍了唐太宗陵的柏树，高宗怒道，“这是让我当了不孝子，必须杀！”但最后被狄仁杰说服，免了他们死罪。
之后，在豫州刺史任上，狄仁杰恰逢越王李贞起事兵败，受牵连者有数千人。他向唐高宗上密奏，为他们求情说，多数人是被胁迫的，罪不至死。高宗于是下诏将他们悉数流放边疆。
平定李贞之乱的，是宰相张光辅。他手下的将士恃功自傲，索取财务，狄仁杰不答应，并批评张。张光辅回朝后告了狄仁杰一状，令他贬为复州刺史、洛州司马。
武则天天授二年（691），狄仁杰转任地官侍郎、判尚书、同凤阁鸾台平章事，当上了宰相（其时宰相为多人）。武则天告诉他说，“你在汝南政务做得好，不过也有说你坏话的，你想知道是哪些人吗？”狄仁杰说，“陛下认为我做错了，我可以改；陛下认为我没做错，那是我的幸运。我不想知道是谁说了坏话。”武则天赞叹不已。
之后，狄仁杰被酷吏来俊臣诬陷而入狱。当时的惯例是如果一审问就认罪，大多便能免死。来俊臣说他谋反，他回答说：大周革命，什么都想换新的，我是唐朝旧臣，心甘情愿被杀戮，说我谋反没错。”
但狄仁杰并未坐以待毙。他向看守讨得了笔砚，偷偷写了密信藏在棉衣里，跟来俊臣下属说，“现在天气热了，请交给我家人抽出衣服中的棉絮。”他儿子收到衣服，取得密信，向武则天鸣冤。来俊臣慌忙伪造狄仁杰的认罪书。武则天召见了狄仁杰，问他：“为何承认谋反？”狄仁杰说，“要是不承认，这时已经被打死了。”武则天问，“那为何写认罪书？”狄仁杰说，“我没写过。”武则天知道认罪书不是他所写，免了死罪，只将他贬为彭泽县令。
