遇上狸猫换太子一案，赵德芳苦笑一声，却也接了陈琳送来的婴儿，养在南清宫中。次年狄娘娘二次有孕在身，产下一子，赵德芳依字辈，起名赵惟宪。再后来送子进宫，仁宗即位，后宫闹鬼，包拯下陈州，迎回李妃。

这之后赵惟宪心生不满，起兵造反，被包拯平定，在仁宗和满朝大臣威逼之下，赵德芳无奈，挥泪借金锏传旨，命包拯秉公断案，斩了自己亲生儿子。这时节赵德芳也已经八十高龄，每日在宫中哭自己一脉子嗣稀薄，皇室无情。正在悲哀之时，有能人异士暗入南清宫，言说王爷有后，流落在苏州地区。

这才有赵德芳二下苏州，十字街头十两纹银自卖自身，被王华买回家中。再后来，父子相认，赵德芳将王华接入南清宫中，依照族谱字辈，起名赵惟叙。而赵惟叙在民间时本就育有二子，因此依字辈起名赵从梁、赵从柱，后来又寻回赵惟宪留在民间的血脉，八贤王给这孩子取名赵从郁。

再后来，赵德芳去世，仁宗不知是有意装傻，还是故意为之，并未提八贤王这王位继承一事，只是任由赵惟叙一家住在南清宫中。紧接着好景不长，赵从梁、赵从栋相继病死。赵惟叙也反应过来这京中的凶险，当即送走了自己侄子赵从郁，又进宫请了一道圣旨，言说自己寒苦出生，在民间长大，如今在京中诸多不习惯，特此请命，远离京中，回乡下过活。

仁宗自然是乐得同意，赵惟叙有心回苏州，可仁宗唯恐天高皇帝远，他在南方折腾出什么变故来，因此只准他在四京之地内择地定居。赵惟叙无奈，只得选了大名府，为了让仁宗安心，还做起了买卖，当了商人。也正是因为从商，赵惟叙才安稳的活过了英宗一朝，并且老来得子，在神宗年间得了一子，取名赵安。