现在大部分的中国人可能都以为只要是自己的先人都是祖宗。其实，严格讲的话，并非所有的先人都可称为祖宗，祖宗乃是对先人中有功德者的尊称。《礼记·祭法》记载：“有虞氏黄而郊喾，祖颛顼而宗尧。”孔颖达对之注释到：“祖，始也，言为道德之初始，故云祖也。宗，尊也，以有德可尊，故云宗。”可见，祖宗乃是指那些有道德的先人。
另外，《文选·班固》言：“宏亮洪业，表相祖宗。”蔡邕注：“始受命为祖，继中为宗，皆不毁庙之称也。”这里所说的不毁庙，有个背景。周代时实行天子七庙制度，即在位天子一般供奉六世祖以下历代先人，但因有功德而有“祖”、“宗”庙号的祖先庙世世不毁，这些宗庙不列在七庙常数中，并且数量不预先限定，有多少算多少。例如汉代“世功莫大于高皇帝，德莫盛于孝文皇帝。高皇帝宜为帝者太祖之庙，孝文皇帝宜为帝者太宗之庙”。在这里，祖代表“世功”，宗代表“德行”。简单说，打天下的开国皇帝庙号一般都带个“祖”字，如宋太祖、明太祖；而守天下比较贤能的皇帝庙号都带个“宗”字，如宋太宗、明宣宗。因此“祖宗”指的是那些有道德或者有文治武功的皇帝。