可惜这好景不长。在孔祥熙6岁的那一年，庞氏突然患染了重病，请了多少个郎中来看都没辙，除了摇头就是叹气。没多久，这庞氏就挺不住了，扔下丈夫儿子离开人世。
丧妻的孔繁慈伤心不已又难以言说，只能喝酒浇愁，没多久就骨瘦如柴。亲朋好友们看不下去，于是说的说、劝的劝，还有不少人干脆给孔繁慈介绍起了续弦。可无论大家怎么说，孔繁慈都无动于衷。后来被亲朋好友们劝得烦了，他就直接表明了自己的态度，他已经打定主意了，这辈子都不再婚娶了。
孔繁慈是个痴情人，自从这庞氏病死后，他就没再快乐过。没办法，这家里到处都有亡妻的痕迹，所谓触景生情，无法不伤感。孔繁慈有时候也想跟着亡妻就这么去了，可是家里孩子还太小，不能让他失去母亲又再失去父亲。
无奈之下孔繁慈做出了一个决定，那就是搬出太谷孔家。
打定主意后孔繁慈就搬了家，搬到了距离县城西南15公里的南张村居住。至于孔家的家业，他也撒手不管了。
搬到南张村后孔繁慈效仿自己的祖宗孔子开设起了私塾，当起了教书先生。最开始就招收了八九个孩子进行启蒙教育，可是这孔家的学问传天下，十里八村的人家一听说孔家的后代开私塾了，也不管学费贵不贵，都拼着命地把自己家的孩子往里面送，都想沾一沾这孔家文化的光，很快这私塾就招来了三四十名学生。