霍家子弟一向骄横跋扈，甚至连家仆也不例外，平日里大家都敢怒不敢言。见霍氏被削了权，又加之丞相魏相，谒者萧望之鼓动。平日里受了霍家气的人，像萧望之这样出身不高又怀才不遇的儒生都纷纷上书言霍家的不是。
领尚书事的霍山看得又气又急，便将这些奏书一一压了下来不上报。丞相魏相将霍山的举动都看在眼里，也不做声，便让上书的人都改为密奏，霍山再也无计可施，才知道奏封事的厉害。
霍山知道这事是丞相魏相在后面推动，便也派人去查魏相，可是魏相行事谨慎，查来查去也没查到魏相的半点把柄，由是气闷。
霍家的形势急转直下，霍夫人便又将霍禹、霍山、霍云召来商议。这次霍禹、霍山、霍云没了往日的嚣张，却又相对长吁短叹，自相埋怨了起来。
“如今皇上信任丞相魏相，什么事情都依他。父亲尸骨未寒，就将其法令尽改，将公田借给贫民，以宣扬父亲的过失。又有一班儒生，大多都是穷人的子弟，远道而来长安，饥寒交迫，却喜欢口出狂言，不避忌讳，素为父亲所深恶。如今皇上却喜欢同这些穷酸儒生交谈，又让他们自行上书答政事。这些人个个都将我们家说得很不堪，说父亲在时把持朝班，独揽大权，又说我们骄横恣肆，恐怖危社稷，所以才导致灾异频现。我将这些奏书都压了下来，后来这些人就全用密奏，皇上就让中书令直接取走了，如今皇上是越来越不信任我们霍家了。”
霍山一边说一边叹气。
“丞相魏相老是说我们家的事，难道他就没有什么罪过？”霍夫人问道。
“魏相到是小心，我派人查了许久也没查到，倒是我们家的子弟和女婿行为多有不端，还有冯子都，这个奴才也处处惹事。都到这个时候了，都不能省心些！”霍山一边说一边埋怨到，霍山对霍夫人的行径也多有腹诽，可不敢讲，所以只讲了冯子都。
“像咱们这样的世家，哪有这么规矩的，这长安城中，比咱们更过分的也有！”霍夫人见霍山提到冯子都，身子动了动，有些心虚的说到。
“就是，长安城中的这些贵戚哪个干净，那赵广汉分明是针对咱们家，想来就气人。更气人的是那些人竟然传是咱们霍家害死了许后，真是人走茶凉，父亲逝世才一年多，这些人都来讲咱们家的坏话。”霍禹也恨恨的说到。
“许后的事，是我叫淳于衍做的。”霍夫人见霍禹说起，心中实在是害怕，再也忍不住，将实情说了出来。
“什么！”霍禹、霍山、霍云听了霍夫人的话，室内的气氛都为之一凝，几人相互对视，一时惊恐的说不出话来。
“我当初还不是为了咱们霍家才这样做的，大将军也是同意了的！”霍夫人见三人都盯着她，更加心虚，嚅动了下嘴唇，于是便将大将军霍光拉了出来。
“像这种事情，您怎么不早对我们说呢？皇上离散排斥我们家的子弟、女婿，都是这个原因。这是一件大事，搞不好就会被灭族的！如今我们军权全被夺，您才告诉我们！”霍山也不管霍夫人是长辈，几乎是吼出来的。
“我先前提醒你们注意丞相魏相，你们个个都不听我的，如今却来怪我了？”霍夫人被霍山一责备，眼圈一红，便又哭了出来。
几个人又你看我，我看你，相互埋怨了几句，也没拿出什么办法。
霍家现在是如惊弓之鸟，而宣帝却已是磨刀霍霍。
十二月，下诏：“近来，官吏们舞文弄法的现象越来越严重，这都是朕的错误。案狱处理不当，使有罪者愈发作恶，无辜者遭受严刑处罚，父子兄弟悲伤愤恨，朕对此甚为难过！如今派廷尉史参与各郡的司法事务，但职权小俸禄少，应再设置廷尉平四名，俸禄为六百石。务必使审判公平，以符合朕的心意！”
新增四名廷尉平，参与司法，并定于第年秋天，对一年中的案狱做最后决定，宣帝将在宣室殿亲自参与裁决。
诏令下达后，涿郡太守郑昌上奏说道
“明君设置直言规劝的大臣，不是发扬圣德，而是为防备安乐的生活；建立法制彰明刑令，不是为了太平，而是为了拯救衰败动乱以重新兴起。现在皇上亲自听取案情，即使不设置廷平，官司也将自然判案公正；如果为开创后世，不如删改确定法令。法律一旦确定，百姓就知道所要躲避的，邪恶的官吏就无法玩弄法律了。现在不端正法律的根本，而去设置廷平治理法律的末端，政治衰败治理松懈，那么廷平将会揽权而成为动乱的祸首。”
武帝时期，由于频繁征调，百姓困苦，于是穷苦之人纷纷作乱，触犯法律。为了遏制这一现象，武帝命酷吏张汤、赵禹等人定出许多严厉的处罚条例，如“明知有人犯法而不举报者连坐”、“长官有罪，属撩连从”等。
从此官吏皆以执法从严为能，对犯有给人定罪过严或栽赃陷害罪的官吏处理从宽，而对那宽释犯人的官吏则严惩。从而让许多奸猾的官吏玩弄法律，导致法律条文越来越繁杂，有时罪行相同的竟有各种不同的处罚，奸猾官吏借机进行交易，索取贿赂。想使罪犯活命，就附会能让他活命的法令；想致其于死地，就引用使其非死不可的条文。
如宣帝设置廷平虽然能在一定程度上制止此种情况，然到底是治标不治本。而郑昌所说奏之言，则是从法律本身入手，非常可行。
然宣帝并未听取，因为他设置廷平此职，一是可将刑狱紧紧的抓在自己的手中，二是这四个延平是专门为霍氏准备的。既然准备对付霍氏了，自然是相应的人员要到位！
万事俱备，只欠东风！一切都准备好的，宣帝要做得就是等着霍家的人犯错，自动落入他为霍家准备好的陷井中！