至德年间，代宗李豫以广平王任天下兵马大元帅，平靖安史之乱，征伐千里，历险无数，亲历国破颠沛之苦，亲睹兵民累尸盈野之殇，深恶权臣军阀叛乱之害。痛定思痛，代宗认为此次叛乱的根本原因，在于玄宗对底下的外臣太信任，让渡过多权力尤其是兵权给外臣。
为了避免今后再次遭受兵变之祸，代宗决定要将兵权牢牢地掌握在自己手里。主要方式有二，其一是将兵权交给作为内臣的阉人，由阉人统领北衙禁军，同时虚化由外臣掌控的南衙十六卫，使南衙十六卫禁军有名无实，这样朝廷中央直属的禁军绝大多数都由阉人统领，现今权势熏天的神策军就是代宗在广德年间授意阉首鱼朝恩设立的。其二是秘遣李光弼于广德二年（公元764年）从天下低阶文官武将中招募忠勇之士，组建绝对忠诚于皇室的归义军，并以归义军为班底，改组南衙外臣集团；同时命其在离长安七十里的骊山营建骊宫，作为归义军的本营和皇帝的避难行宫。
其实代宗也是知道的，重用宦官内臣只是权宜之计，因为阉人的学识、心胸均是远低于正规选拔而出的外臣，而且由于心里缺陷，很大部分阉人都有心里和性格缺陷，容易出阴鸷刻薄的小人。东汉因权阉而亡已是血淋淋的前车之鉴。不料，掌握重权之后阉人内臣，经过代宗、德宗、顺宗三朝四十多年的经营后，竟逐渐嬗变为控制了大唐最精锐的神策军兵权的北司阉党，不但持续打压南衙外臣集团，让代宗原先设想的以归义军为班底改组南衙外臣后便让外臣集团重新掌权的设想彻底落空。这其实也是现在南衙北司之争的由来，实质上是北司和皇权之间的斗争。
归义军的编成、官职皆依唐制，其作战部伍编有墨离、赤水、瀚海、静塞、保大、建康、宁寇、振威、曜武、天山十都，每都依律置左右二厢，每厢置五营，每营置五队，每队置五伙，每伙置二伍，每伍遍五人，故归义军共有彍骑（即人员）编制二万五千人；都设都指挥使、别将，厢设都尉、果毅，营设校尉、尉副，队设队正、队副，均系各自部曲的正副长官，皆有官品，均入流；伙设火长，伍设伍长，无官品，不入流。
归义军的日常办事机构则是行营，行营置有录曹、功曹、仓曹、法曹、兵曹、胄曹六曹，各司文牍、叙功、钱粮、法纪、兵刃、甲胄诸职事；都知兵马使、掌书记是行营正副长官，参军、随军则是六曹的正副长官，其下还设有判官、度支等官职，皆有品入流。
归义军还在长安、洛阳两都，以及各藩镇秘设留院，专司情报刺探、文牒通传、暗驿经营，长吏为主官，下设巡官、通传若干，亦有品入流。
归义军之将校僚佐，下至队正、队副，上至行营都知兵马使、各都指挥使，均由押衙担任，押衙是由天子亲自从无甚宗室门阀背景的下品流官中选出，被选中之人皆是正八品以下的少壮文武官员。授予押衙后，尚需观察及密训三年，再根据其德行才干密授归义军军职。
同时，这些押衙大部在朝中还有正规官职，为了壮大皇权声势，天子及归义军会暗中擢升各押衙。昨日大明宫病变中中牺牲的同平章事李训、左金吾大将军韩约均是押衙。但是墨离都左厢（通常称为左墨离都）及各处留院的将校僚佐，因平日在归义军中便有专职，故并未在朝中领有他职。