不知范仲淹上朝时壁上是否真的刻有这篇文章。但范仲淹此时的确是忧心忡忡。他忧皇上不明事理，以私害公，因小乱大。这种家务之事，你要是一般百姓，爱谁、娶谁，休妻、纳妾也没有人管。你是一国之君啊，君行无私，君行无小。枕边人的好坏，常关政事国运。历史上因后贤而国安，后劣而国乱的事太多太多。同在一个唐朝，长孙皇后帮李世民出了不少好主意，甚至纠正他欲杀魏征这样的坏念头；杨贵妃却引进家族势力，招来安史之乱。
范仲淹正盘算着怎样进一步劝谏皇上，忽然传他接旨，只听宣旨官朗朗念道，贬他到睦州（今浙江桐庐附近），接着朝中就派人赶到他家，催他当天动身离京。这果然不幸为妻子所言中，顿时全家老小，哭作一团。显然这吕夷简玩起权术来比他高明，事前已做过认真准备，三下五除二就干净利落地将他赶出京城。他1033年4月回京，第二年五月被贬出京，第二次进京做官只有一年时间。