正巧皇帝下令，选拔东宫卫士到宫禁和省台，高颎奏称：“如果把强健的人都选拔走了，恐怕东宫宿卫太劣。”皇帝作色说：“我有时出入，宿卫必须得勇毅。太子在东宫培育德行，左右何须壮士？太子设置强大的卫队，本身就是一种陋规。如果按照我的意见，在禁军轮调的时候，分一部分去东宫就行，皇宫卫队和东宫卫队一个编制，没有区别，岂不是好事？我熟悉前代历史，你不要走前人的老路。”高颎的儿子高表仁，娶了太子的女儿，所以皇帝说这话，已经对他有所提防。（杨坚要削弱太子卫队，为废黜太子做准备。他所说的前代老路，指太子利用东宫卫队造反。比如公元453年，刘宋的太子刘劭，皇帝刘义隆担心皇族叛乱，将东宫卫队扩编到一万人，与禁卫军兵力相当，结果刘劭利用卫队叛变。）