不久，顾命大臣金日磾染病身亡，他的两个儿子年幼晓事，昭帝曾把他俩召入宫中，与他一同起卧游玩，感情很好。等金日磾死后，其中的一个儿子承袭了父亲的爵位，昭帝就向霍光请求把另一个儿子也封为侯爵，霍光说没有先例。昭帝说：“封不封侯，还不就凭你我的一句话吗？”霍光板起脸说：“高祖曾经说过，没有功的人不能封侯。”昭帝吓得不敢做声了。霍光的正直由此可见一斑。
到了第二年，霍光被封为安陆侯，上官桀被封为安阳侯，霍光的权势越来越大。就在这时，有人偏偏向霍光进言说：“难道大将军没有听说过高祖时候的吕雉的故事吗？高祖死后，吕雉及吕氏宗族专权，并不任用刘氏宗族，最后在天下人面前丧失了威望，失去了人心，所以全部被诛杀。现在将军你作为顾命大臣的领袖，辅佐少主昭帝，地位高、声望重、权势大，却唯独不与刘氏宗室共有，没有刘氏宗室的人出来号召天下，将来怎么能免于祸患呢？”霍光听了以后，既感到震惊，又立刻醒悟，对那人说：“谢谢先生的指教，我一定照办。”于是把元王的孙子刘辟强召入宫廷，封为宗正。
在昭帝十二岁的时候，上官桀的儿子上官安想把自己才六岁的女儿送入宫中，希望成为皇后，就去找霍光商量。上官安本以为霍光是自己的岳父，自己的女儿是霍光的亲外孙女，霍光是不会阻拦的，没想到霍光一口回绝，认为孩子太小，不宜入宫。上官安一看无回旋的余地，只好想办法去求助别人。