清朝承袭明制不设宰相，由八旗王公组成的议政王大臣会议为清代前期的主要决策机构，号称“国议”。

康熙帝在乾清宫西南角设立“南书房”，至此南书房逐渐成为康熙朝的中枢辅政机构。

雍正年间，雍正帝在平叛青海和硕特蒙古部落首领罗卜藏丹津后，又爆发了蒙古准葛尔部首领策妄阿拉布坦领导的叛乱。1729年雍正帝为彻底击败叛乱的西北蒙古各部，命怡亲王允祥、大学士张廷玉、户部尚书蒋廷锡在户部设立“军需房”，总管军需事务。后来又将军需房变为军机房，这是正式设立军机处的开始。

虽然雍正帝设立军机处的直接原因是为了应对西北军事的临时性需要，当时只限于处理军事机密事宜，不干预一般政务，待军务结束即撤消。然而在西北用兵结束后，因对其办事效率、保密性相当满意，雍正帝非但没有废止，反而使其成为常设机构，进一步扩大了权力并逐渐超越了内阁。

由于军机处在清朝体制特殊，并非正式的官府衙门，所以军机大臣俗称“大军机”，或称“枢臣”，从满、汉大学士、尚书、侍郎、京堂总督中特简，或是由军机章京升任，没有固定名额，乾隆年间一般在6至8人, 道光以后通常为5至6人。这些军机大臣或者军机章京都有固定的实职，在军机处只是兼职而已，基本上满汉人各占一半。到军机处工作叫做“入军机”, 官衔称“军机处行走”或“军机大臣上行走”, 资历浅者则称“军机大臣上学习行走”。

清朝官场中流传“大学士而不兼军机，有相之位，无相之权；军机大臣而不入阁，有相之权，无相之位；必二者兼得，始为真相。”

在军机处的历史上，军机处作为清代最重要的中央秘书机构一直以办事高效精干见称，从来没有出现过皇权与相权激烈对抗的现象，也从来没有军机大臣的权势嚣张到不可控制的程度，这就是军机处最成功的地方。

乾隆帝时期和珅掌权，开始大大提升了军机处的地位，不仅参与决策，还实际掌控了信息渠道，皇帝被操纵的风险大大增加。嘉庆帝扳倒和珅后，重新整治军机处的"平章军国重事"的职责，在发挥作用的同时，不伤及皇帝权威的肌体。

咸丰帝时期，成立了总理各国事务衙门，军机处之决策权渐移。到了慈禧太后大权独揽时，军机处和军机大臣的权力被严重削弱，军机处变为慈禧太后统治的工具。

军机处在清朝历史上是一个特殊而又发挥着重要作用的机构，设立以后由于其办事迅速、机密，效率高又秉承皇帝的旨意办事、忠于皇帝，极大地加强了皇权。但是随着历史的发展，客观形势的变化，清朝的皇权失去了往日的威严，曾经发挥过重要作用的军机处也逐渐走向了末路。