到朝廷，汉武帝命他治理巫蛊于郡邸狱。当时刘询出生几个月，因为是皇曾孙，被卫太子刘据事牵连关在狱中，丙吉看了很同情他，心知太子无事实证明有罪，特别同情曾孙无辜，挑选谨慎厚道的女囚徒，命令她护养刘询，放在宽敞干燥的地方。丙吉处理巫蛊案件，连续多年不能结案。
后元二年（前87年），武帝病重，往来长杨、五柞宫之间，望气的人说长安狱中有天子气，武帝便派使者分别登记监狱中关押的人，不分轻重一律都杀掉。内谒者令郭穰夜晚到郡邸狱，丙吉闭门拒绝使者进入，说：“皇曾孙在，别的人无辜杀死都不可，何况皇上的亲曾孙？”双方相持到天明，郭穰不能进去，于是回去报告武帝，并弹劾丙吉。武帝也醒悟了，说：“这是天的保佑。”于是大赦天下。郡邸狱关押的人独赖丙吉得生，而大赦之恩又遍及天下。刘询重病，几次几乎死去，丙吉多次嘱咐护养他的乳母好好用药治疗，照顾刘询很有恩惠，用私人财物供给他的衣食。
而且关于丙吉的仁厚还有一则典故，吉驭吏嗜酒，尝从吉出，醉呕丞相车上。西曹主吏白欲斥之，吉曰：“以醉饱之失去士，使此人将复何所容？西曹但忍之，此不过污丞相车茵耳。”遂不去也。此驭吏边郡人，习知边塞发奔命警备事，尝出，适边郡发奔命书驰来至。驭吏因至公车刺取
丙吉的车夫喜欢喝酒，曾经跟随丙吉外出，喝醉吐在丞相的车上，有关部门（西曹）主管官吏报告丙吉想开除这个车夫。丙吉说，“为喝醉的缘故就赶走人才，让这个人将再到什么地方容身？有关部门（西曹）还是容忍他一下吧！这不过是弄脏了丞相专车上的草席罢了。”就没有驱赶这名车夫。这个车夫家在边城，熟悉了解边城派出快马报告紧急情况的过程。车夫曾经出门，恰好边境派骑兵传送紧急文书迅速来到京城。这个车夫就到骑兵歇息的驿站去打探军事机密，知道匈奴人已经进入了云中郡和代郡，立即回到丞相府见到丙吉汇报情况。不久，皇帝下诏召见丞相和御史大夫，询问了匈奴人入侵边郡的主管官吏的出身及能力情况，丙吉能详细回答，御史大夫仓促之间不能详细了解，因此受到处罚责备。而丙吉受到皇帝称赞，认为他忧思边境操劳防务，这是车夫的力量。丙吉于是感叹说，“人才没有不可宽容的，人的能力各有所长，假使我没有提前听到车夫的报告，哪里能被皇帝进行慰劳奖励呢？”部下因此更认为丙吉有才能。
班固曾说：“近观汉相，高祖开基，萧、曹为冠；孝宣中兴，丙、魏有声。”意思是说，近观汉朝丞相，汉高
…。。