虽然在接下来的日子子，弘时的长子身份仍让他对未来充满希望。可一切都在弘历12岁那年改变了，康熙帝看到这个“好圣孙”后，随即带入宫中亲自抚养。  

弘历被皇祖父看重对于雍正来说，对自己的皇位之争无疑是加分项，可对弘时来说，却意味着不管父亲是否能当上皇帝，他的继承父位的机会已经失去了。  

或许这也是，在《康熙朝实录》中，有很多关于孙子辈的记载，弘时虽为庶出，可他做为雍亲王庶长子，理应受到重视才对，可事关弘时的记载几乎为零。  

《清实录》记载，康熙五十九年，在册封各亲王世子时时，老三诚亲王胤祉的嫡次子弘晟（嫡长子弘晴早夭）、老五恒亲王胤祺的庶长子弘昇（胤祺的嫡福晋没有生育过子女），均被康熙皇帝封为亲王世子。可年纪相仿的弘时却没有在此次册封的名单里。  

雍正登基后，弘时彻底和储君之位无缘了，因为雍正元年，弘历就被秘密立储。虽然雍正将当时他仅有的三个儿子，弘时，弘历，弘昼放在一起读书，但弘时的存在别说是未来皇帝弘历，就是和弘昼比都有些小透明了。  

此时弘时已经20多岁了，在康熙时没有得到册封，到了自己父亲雍正这，仍是没有被给予任何爵位，还是以一个阿哥的身份存在。