在没有近代警察之前，我国都城中就有了类似地方治安机构，那时称兵马司。
兵马司，按史料所记始于至元九年（1272年），那时元大都设南北城兵马司2个。到了明清季，北京城内列分中、东、西、南、北五城，设五城兵马司衙门5个。在今天，北京仍有3个叫兵马司的地名，即来源于此。元代兵马司有巡兵千人，主要“掌京城盗贼奸伪拘捕之事”。明代兵马司职权和职责进一步扩大，成为完整的地方治安机构。
到了清代，兵马司职权又进一步增加，按清《光绪会典事例》记述，说兵马司的“指挥、副指挥、吏目专司京师污缉逃盗、稽察奸宄等事”。同时为了防止进京的地方官“钻营属托”、“交通贿赂”，兵马司还有权“时加污缉”。
虽然兵马司偶尔也搞一些“掌赈恤之政令”，设立乞丐栖流所、施粥厂等等。其实，只是肥了自己，苦了小民。
光绪三十一年（1905年）清政府设立巡警部，兵马司遂被撤销。
