州牧和刺史都是州的长官，州牧权力更大;太守是郡的长官。所以，州牧最大，刺史次之，太守最小。
太守起源于汉景帝时。秦实行郡县制，将天下分为三十六郡(《史记》说法，《晋书》认为有四十郡)，郡为最高地方行政区划，郡下设县，县下设乡，乡下设亭。郡的长官。称郡守。至汉景帝时，将郡守改称太守。至三国时，太守仍为一郡最高长官。
刺史的出现是在汉武帝时期，最早不是行政长官而是监察官员。在秦代确立郡县制时，会在每个郡设监御史一名，监督郡守处理政务，有权向中央报告。汉初一度废置。惠帝刘盈时恢复监御史。到武帝时期为了加强对地方的监管，将天下分为十三个区域，称为州，每个州设刺史一名，监视所在州内的郡国(汉代郡国并行，有直属中央的郡和封王的国)。刺史没有固定治所，任职时常年在各郡国巡视。且刺史俸禄很低，只有六百石，刺史为了能够有所发展，更会加倍努力做出点成绩。刺史任满，往往高升，前途无量。
西汉后期到王莽篡汉，都曾经改刺史为州牧，又有过改州牧回刺史。这就是州牧最早的由来。州牧俸禄二千石，远高于刺史。州牧还会镇压叛乱，拥有更大的权力。新莽时期的州牧甚至可以世袭，还授予军职，手握兵权，原本刺史的监察职责由州牧的副手州监负责。州牧成了行政兼军事长官，所以州牧是掌兵的。
等到刘秀建立东汉，重新改州牧为刺史，但是刺史不再巡查各地，而是有固定治所。州也就成为郡之上的一级单位。这个制度一直延续到东汉末年三国时期。此后刺史权力也逐渐增大，有朝廷命令则可领兵作战。可直接向朝廷奏事。
东汉灵帝年间，出现了一个非常重要的事件“废史立牧”。当时，宗亲刘焉向汉灵帝上书，称各地刺史、太守官风不正，私相贿赂，导致百姓叛离，因此应该选派有清名的皇室宗亲、重臣出镇各州，担任州牧，以平息事端。正逢当时民间变乱四起，有两个州刺史被变民所杀，刘焉的建议得到采纳。而刘焉自己有此建议也有自己的私心，因为他听说益州有天子气，自己想谋求出镇益州，终于如愿。此后，各州纷纷设立州牧，州牧相对于刺史来说，拥有更大的自主权，可以自行募兵，拥有独立的财政权，自行赏罚，官职还可以世袭。如刘焉死后，其子刘璋接任益州牧;荆州牧刘表死后，其子刘琮接任荆州牧。而刺史相对来说不享有这些特权，还要受到朝廷节制。不过一些在各地任职时日久了的刺史多能加升州牧，所以界限不是很清楚。
东汉末年的州牧制度，恰恰就是导致了诸侯割据，一直延续到三国时期。一些割据势力攻下下某州(有时只是某州部分郡县)就会自立为某州牧。如出现同盟还会尊对方为某州牧。如赤壁之战后，刘备占据荆州南部四郡加上向东吴“借”南郡，自立为荆州牧，还上表奏请孙权领徐州牧。
要说在三国时期，州牧和刺史最大的区别，就是州牧往往多由各割据势力的君主自行担任，或是给予不能完全控制的同盟君主，而刺史会给属下部将。如曹操把持朝政后仍自行兼任兖州牧、冀州牧，与刘备共抗吕布时表奏刘备为豫州牧。而关羽发动襄樊之战时的曹操属下的荆州刺史胡修就是个普通部将，没有太大自主权。再比如赤壁之战后刘备表奏刘表之子刘琦为荆州刺史，无自主权，因为那就是刘备的傀儡。而刘琦一死刘备就自立为荆州牧，有自主权。再有孙权先后自领徐州牧、荆州牧，而同样在东吴版图内的交州则先后由步骘、吕岱担任交州刺史，差异就很明显了。
