公元前221年，秦刚刚完成了统一六国的历史重任，以丞相王绾为首的大批秦朝官员都向始皇建议，在燕、齐、楚等新征服的地区分封皇子为诸侯王。他们的理由是：;诸侯初破，燕、齐、荆地远，不置为王，无以填之。”这种主张，实际上是让始皇沿用周代以来的封国建藩制度。但始皇另有想法，因此收到群臣的建议后，始皇下令在朝会上讨论此事。
在朝会上，廷尉李斯力排众议。他对始皇说：;周文王、周武王都是贤明的君王，所分封的大臣也都是亲族和贤能之士，但几百年下来，他们就和周天子的关系越来越疏远，彼此关系也越来越生疏，最后竟到了相互攻伐、水火不容的境地，连周天子也无法制止。现在，皇帝陛下英明神武，一统四海，不能再那样做了。不如把全国都划分为郡县，派官员去治理，然后把皇子和大臣用厚禄养起来，这样就便于管理他们了，就能达到‘天下无异意，则安宁之术也’的目的。”
李斯的主张，实际上是要求始皇废除分封诸侯的制度，在全国范围内推行郡县制。显然，李斯的主张符合时代的要求，也契合了始皇的心意，有利于加强中央集权。最终，始皇表态支持李斯的建议，将全国分为三十六郡，这样，秦国就在地方建立起了郡县制。后来，随着边境的不断开发和郡的调整，秦朝的郡增至四十多个。
秦朝是中国历史上第一个在全国推行郡县制的政权，但郡县制并非其首创。
春秋时期已有郡、县的设置，但当时的县是比郡高级的行政单位，且两者并无统属的关系。最初的郡可能是一种建于边境地区的不稳定建制，它的区域虽大，但地位却比县低一级。《左传》这样记载，晋国的赵简子曾于公元前493年对他的军队宣布：;克敌者，上大夫受县，下大夫受郡。”可见，在春秋时期，县的地位是比郡高的。
最初，县和郡多设置在边境地区，其官员也都是国君派遣的。例如，魏文侯就曾任命吴起为河西郡太守。魏武侯继位后，吴起受到猜忌，就离开魏国到了楚国，在楚国的边郡也担任了太守，一年后才被任命为令尹主持变法。后来，为了便于兼并战争和抵御外敌的双重需要，郡和县基本上就成了地方上固定的政权，其最高长官有权应对边境的突发情况。
随着各国的郡县数量逐渐增多，渐渐有了建立一套上下从属的管理机构的需要，于是一些地区就形成了郡、县两级制的地方管理体系。
始皇接受李斯的建议后，郡县制正式在全国推行开来。始皇在郡设立郡守，作为地方的最高行政长官，郡内的所有政治、经济、文化事务皆由其管理。郡守是联系中央和下属县的纽带，他传达中央指令给地方，并监督地方的执行状况，还要将地方的各种情况上报中央，并提出相应的对策，其作用和职责大致类似于今天的省长。
郡守是处理地方民政事务的最高长官。除了郡守外，秦朝还在地方设立了郡尉，负责地方的军事事务并维持治安。上文曾说李信率领秦军伐楚，被项燕杀得大败而归，损失了七名都尉。这七名都尉，据《资治通鉴》的说法就是地方上的七名郡尉。
秦人在设置诸多地方官员的同时，也设置了监察地方官员的监御史。监御史是由御史大夫府直接派到地方的监察官，不受地方领导，直接听命于御史大夫，这样中央就实现了对地方的直接监督。监御史是郡的最高监官，有权监督郡守及其下属的行为并上报中央。但除监察权外，监御史还有其他的职责，如举荐人才、兴修水利、领兵作战等，其中央直属官员的身份，使他的职权广泛且有众多便宜行事之权。
例如，秦二世时刘邦起兵反秦，就是泗水监率兵前去镇压。秦始皇开凿灵渠也是由当地的监御史主持进行的。监御史的职权虽然广泛，但其主要的职责依旧是监察地方官员的所作所为，防止郡守权势过大。监御史时常向中央汇报地方的情况，使得中央对地方的情况了如指掌，这就加强了中央对地方的控制，达到了加强中央集权的目的。
郡的下一级单位就是县，县的最高长官有两种，一种被称为县令，一种被称为县长。满万户以上的县设县令，不满万户的设县长。秦代县的面积大约方圆百里，在人口稠密的地区，不足百里也可以设县，而在人口稀少的地区，县的面积往往很大。
县令或县长是一县之长，县内所有的大小事务都由其主持，包括民政、财政、交通、教育，等等。由于基层工作较为繁重，因此县令、助长下设有县丞和县尉等官员来辅佐其工作。
县丞是县令、县长的主要助手，其地位大致相当于副县长，除了帮助县令、县长处理政务外，县丞还是地方仓库和诉讼事务的主管。
县尉是主管一县的军事和治安的官员。由于秦王朝具有军事专制的特点，因此县尉的任务就显得十分繁重。一县之内的所有治安事宜、征发徭役、管理士卒等事，都要县尉主持完成。此外，由于要负责治安，县尉还要经常上街巡查，防范不法之徒。
由于县尉的任务十分繁重，因此县尉往往不止一人。县尉的设置依县的大小而定，有时有一个，有时可能有二到四个。此外，为了分担县尉的工作压力，县尉也有自己的下属官员，例如尉史、尉从佐，等等。
除了县丞和县尉外，秦朝的每个县中都还有一大批属吏。这些官员没有品级，俸禄在百石以下，其中职权最大的被称为主吏。这类官员的地位和待遇都较低，但却是真正的基层官员。例如，萧何就曾担任沛县主吏，协助县令主持县内的各项工作。
像萧何一样的小吏，是秦朝最基层的国家公务员。但秦代最基层的政权组织并不是县，县以下还有乡、亭、里。春秋时期，我国就有了较为完善的乡里制度，当时县以下是里，里以下是伍。秦统一后，在全国推行了以县统乡，以乡统里的地方基层制度，十里为一亭，十亭为一乡。其中，亭是直属于县尉的的治安机关。其余的官员设置，都是民间依民俗自设的，并非国家规定，这些官员没有行政职务，也没有俸禄。
秦代乡官主要有三老、有秩、啬夫和游徼。三老是极其古老的一种地方设置，周代就已经出现。三老不是国家正式官员，但他们普遍是地方上德高望重之人。秦法规定，三老可以直接向皇帝上书奏事，刘邦和项羽争天下期间，作为地方三老的董公就提出了为义帝发丧、从政治上孤立项羽的对策，最终被刘邦采纳。
三老是地方上的道德标杆，一般不处理政务，乡里的大多行政事务都是由啬夫处理。此外，啬夫还是负责征收赋税和处理诉讼案件的主管官员。而游徼则是巡查地方治安、防备盗贼的负责人。
在乡以下，又有亭和里。亭长的主要职责就是负责地方治安，同时做一些迎送等接待工作并负责地方卫生，刘邦在起义前做的就是这项工作。亭以下是里，里以下还有更基层的组织，即什伍，商鞅变法时就有;令民为什伍”的法令出台。里长和伍长没有什么职责，主要就是做好地方教化，协助亭长搞好治安等。
可见，秦代建立的一整套制度不只影响了整个专制时代，至今我们依然能在农村看到这种制度的影子。在文化传统中，国人也习惯把家乡称为故里、乡里，其中的;里”，正是源于此。
郡县制虽然在全国范围内推行了，郡县以下也推行了乡长制，但秦帝国的首都作为一个特殊区域，却没有实行与其他地区一样的郡县制度。秦朝都城咸阳，是一个大概相当于郡一级的行政单位，但咸阳并不设立郡守，而是设置了内史进行管理。内史是协助丞相处理政事的官员之一，一般都是由国君最信任的人担任。秦朝设内史为首都地区的最高地方行政官，管理咸阳及其周边三十多个县的各类事务。
郡县制使秦国形成了中央、郡、县、乡一整套比较完整的系统化行政体系，废除了奴隶主旧贵族时代的世袭特权，有利于形成中央对地方的控制和管理。而且，郡县制施行后，郡守、县令和县长都由皇帝直接任免，不得世袭。这就打破了西周以来分封割据的弊端，中央可以通过考核和监察加强对地方的管理。秦代郡守每年秋冬都要向中央报告一年的治理状况，县令、县长也同样要向郡里报告自己的工作情况。
同时，中央每年也在此时对郡守进行考核，有功者受赏，有过者受罚，郡守对县令等下属也要进行考核。这样，分封制基本上被废除了，中央有效地解除了地方诸侯王势力对中央政权的潜在威胁，防止了地方势力的割据分裂，有力地维护了国家统一。
秦朝创立的这套从中央到地方的统治方法，使各级各部门有明确的职责分工，它们既相互配合又相互制约，这就保证了各项权力的最高决定权最终都掌握在皇帝一人手里，确保了皇帝对天下施行专制统治。这套金字塔式统治机构的建立，标志着专制主义中央集权制度的正式确立，也标志着官僚政治正式取代了贵族政治。此后，秦代的统治模式被历代专制政权模仿和改进，成为中国专制时代所采取的主流统治方式。
