除中军与外军，曹魏还有作为地方兵的州郡兵。东汉光武帝罢兵募士，郡国兵力十分薄弱。到东汉末年，一些州郡守割据称雄，兵力转强，多数州郡的军队则逐一消灭或兼并。曹操统一北方，大大小小的割据武装或被消灭，或被收编，北方各州郡往往只有留屯的中央军，而没有地方武装了。当时丞相主簿司马朗建议令州郡都建立地方武装，以“外备四夷，内威不轨”。《历代兵制》：“自纳司马朗之言，复令州郡典兵，但地方州郡长官的权力却借此大大膨胀起来。所以《历代兵制》认为，曹魏政权的“兵权外聚于州牧，内归于大将军及太尉”。因此后来有人上疏魏明帝，要求解除缘边州郡刺史、太守的领兵权，另外派遣大将去镇守，以免刺史、太守领了兵则“专心军功，不勤民事”，而不能“独修务本之业”。