殿门，止步、前进都有固定的落脚之处，时间久了，不免引起在殿中值班人员的注意，于是有好事者在霍光日常的止进之处暗中做下标记，到了霍光入殿的时候留心观察，果然丝毫不差。于是大家都说霍光本性“端正”，班固在《汉书》里感慨说其“其资性端正如此。”从古至今，这一细节常被史家引用作为其性格端正的佐证。然而，在每次出入殿门该在哪起步，每步该迈多远，每步停止之处该在哪里这样小得不能再小的事上都要斤斤计较的霍光，却很难给人以“资性端正”的印象，反而让人看到了霍光性格中工于心计、为人做作的真实一面。这样一个在殿内应该迈几步步子、在何处停脚都要事先计算好的人已经不能用“谨小慎微”来评价，而只能称之为“工于心计”。或许有人会说，你不能这样以小人之心度君子之腹啊，或许他这样的行止只是一种习惯罢了。出于习惯或许坚持个一年半载还可能做到，可是谁能坚持几十年而不出错？而霍光却做到了。他在这样的小事上都几十年如一日地算计，而且每天坚持如此，摆明了是做给别人看的，他的行为不是做作又是什么呢？这种心计不是深沉得可怕又是什么？
这样看来，班固说霍光资性端正或许真的有些过了。不过，班固说其“不学亡术”却是很到位。霍光出身平民之家，读书不多，十余岁进皇宫后，又把所有精力都用来应对宫廷里残酷的争斗了。所以，当汉武帝命黄门画者绘《周公负成王图》并赐给霍光时，他便有些不明就里了，县官（汉代官员私下称呼皇帝为县官）不知道为什么送我幅画，他难道以为我喜欢画画吗。而站在一旁的近侍们立即明白了怎么回事：当年，周武王驾崩以后，周公旦身负托孤之重，每当到了朝会的日子，便背着年幼的成王到正殿里来接受诸侯的朝贺。汉武帝把这幅画赐给霍光，当然是希望在自己驾崩之后让霍光当周公辅佐刘弗陵的意思（因当时武帝的儿子中只有刘弗陵一个还是幼儿）。所以，后元二年（前
f87年）二月二十二日，武帝预感大限将至，急召霍光等人在五柞宫病榻前交代托孤时，懵懵懂懂的霍光还在问：“（陛下）如有不讳，谁来继承皇位呢？”武帝简直大跌眼镜（如果当时有眼镜的话），他不悦地斜了霍光一眼：“你小子还不明白先前赐给你那幅画的意思吗？立弗陵，你为周公。”汉代的皇帝，喜欢以历史典故作为决策参考。作为皇帝身边的侍臣，居然连最起码的历史典故都不知道，霍光真的很让人惊讶。如果把这次之事解释为霍光自幼读书不多
的话，还勉强可以解释过去。那么，在废刘贺时，霍光的r