西晋军队分为中军、外军和州郡兵，中外军全部兵员都来自军户。中军直属中央，编为军、营，主要保卫京师，有事出征，兵力不下10万人。驻防城内宫殿宿卫、宫门及京城宿卫为宿卫军。驻防京郊，有事出征为牙门军。中军统帅为中军将军，后改为北军中侯或中领军。
外军为中央直辖的各州都督所统率的军队，都督一般由征、镇、安、平等将军或大将军担任。州郡兵是地方军备，西晋灭孙吴后，为避免东汉末期诸州割据再度发生，裁撤州郡兵。并改置武吏，大郡100人、小郡50人，用以维持治安。但是实际上取消的州郡兵甚少。
司马炎颁布封国制，诸王分封郡国，大国三军5000人、次国二军3000人、小国一军1500人(详见晋朝藩王列表)。并任一些王室都督诸州军事，如汝南王亮督豫州、楚王玮督荆州、河间王顒督关中。晋武帝任诸王都督诸州军事是为了提升宗室力量避免权臣专政，但却使得地方宗室掌握军权，权力有逐渐凌驾中央的趋势。西晋都督为持节使臣以督诸军，持节都督分为三级，都督中外诸军事为最高统帅，监诸军次之，都督各州诸军事居末，和将军分统外军。
西晋兵制
世兵制
世兵制的诞生，是一个逐渐演变的过程。演变的第一步，是从两汉的征兵制，过渡到汉末的多种集兵方式。这种募征来的兵，服现役期限不再是征兵制规定的两年，而变为长期的以致终身的;当兵从尽义务，变成谋生的职业;服兵役由人人有义务，变为一部分人的职业。建安后期，是演变的第二部。这时，兵士家属集中到一起居住，既留作人质以防士兵叛变，又便于管理;兵与民的户籍也由此分开，出现了兵户;当兵由及身而止，逐渐变为世袭。兵户和世袭兵大量出现，成为时代的潮流，新的世兵制也就形成了。
三国鼎立期间，世兵制发展成为魏、吴的主要兵役制度。晋灭吴后，扬威将军朱照日上报”吴之所领兵户凡十三万二千;。兵户数目可观有力地证实世兵制成为吴国的主要兵役制度。蜀国只有部曲和少数民族兵中实行世兵制。刘备入蜀的部队多是北方兵，入蜀后同其家庭一起转为世兵较为自然。少数民族兵士多是为诸葛亮南征中收降的，也转为世兵。
在东吴，同世兵制配套，还实行世袭领兵制。规定将领享有领兵权，并且代代相传，将领死后，子弟接替统领父兄故兵。由长子、长孙世袭;无子，由弟继承;子弟幼弱，或有罪，经吴主指定，由别人暂为代领，一旦子弟长大或有罪赦免，经吴主批准，即归还故兵。世袭领兵制使兵将结合空前紧密，并促进部队战队力的提高。
北府军
北府军，又名北府兵，是中国东晋时谢玄主持创立的一支军队，一开始权力几乎只属于陈郡谢氏家族，后数度易主，并成为南朝军队主力。
东晋孝武帝太元二年(377年)，由于前秦已一统北部中国，东晋王朝受到空前的军事压力，因此诏求良将镇御北方。当时的权臣谢安遂任命其侄子谢玄应举。朝廷任命谢玄为建武将军、兖州刺史、领广陵相、监江北诸军事，镇广陵。
其时广陵和京口聚居着大量逃避北方战乱而来的流民，谢玄到任后，在这些人中选拔骁勇士卒如刘牢之等，建立了一支军队，太元四年(379年)，谢玄改镇京口，因为当时京口又名北府，故而其军得名北府兵。
太元八年(383年)，北府军在淝水之战中一举击败前秦大军，乘势追击，刘牢之一度追到邺，北府军从此一战，史上留名。太元十二年(387年)，谢玄被解除了北府军的领导权，司马恬、王恭先后代之，北府军军阀化。
晋安帝隆安元年(397年)，王恭率北府军起兵反晋，次年刘牢之杀之，代之为北府军领袖。此后北府军主要致力于镇压孙恩、卢循的天师道起义军。晋安帝元兴元年(402年)，北府军奉命征讨在荆州割据的桓玄，刘牢之随即投降桓玄，桓玄称帝后削减刘牢之兵权，刘牢之意图起兵对抗桓玄，然由于投降桓玄早已丧失人心，众叛亲离下自杀。
元兴三年(404年)，原北府军参军刘裕率余部在京口起兵反抗桓玄，并杀之。此后，北府军成为刘裕的军事支柱。420年，刘裕称帝，建立宋，北府军成为其皇家军队的主力。
兵制建设
西晋是世兵制的全盛时期。凡为兵者皆入兵籍，单独立户，不与民同，父死子继，世代为兵。士兵及其家属的社会地位低于郡、县编户民。为扩大兵源，西晋还发奴僮和谪发罪犯为兵，作为世兵制的补充。士族官僚则享有免役的特权。
军队的主要兵种是步兵，其次有骑兵和水军。武器由政府统一供给。国家建武库贮备兵器。中央设卫尉总管武库和冶铸事宜。军队的粮食和布帛也由政府统一供给和管理。
