律令体制下，京城的警备组织有令外官的左右近卫府、令制官的左右卫士府（811年改为左右卫门府）及左右兵卫府，大约有2800人的兵力。810年“药子之变”后，在左右卫门府内设置“检非违使”，担当京城警备、防盗、追捕违法者等警察机能。824年，该机构独立，职权增强，活动范围也逐渐扩大到救济、地方追捕等领域，吸收地方武人为成员。作为令外官，“检非违使”由天皇直接任命，既是武士十分向往的职位，又为武士参与中央政治提供了途径。地方也是如此，作为警察机构的国府三司——检非违使、押领使、追捕使为应对时常出现的治安问题，其成员也多为武人。
实际上，武士的真正起源是：贵族们为争权夺利，拼命嫁女儿给天皇，于是皇子皇孙成群。为维持生计，赐姓降为臣籍，发放地方做官。任期届满也不能回京城，而是开垦或圈占土地。除自己演练武艺外，更是养兵自重，遂成为一方诸侯。例如桓武天皇曾孙高望王获姓平氏，作为上总介（今千叶县中部，介为国的副职）赴任关东，其子孙遍及关东，形成诸多小武士团，称为“坂东八平氏”。大概在同一时期，清和天皇第六子贞纯亲王之子经基王获姓源氏，在939年作为武藏介（今埼玉县和东京都）赴任关东。按照惯例，上总、上野（今群马县）、常陆（今茨城县）三国均由皇族亲王担任国守，但亲王通常不到任，因而最高长官为帮忙者“介”。