前身为1871年7月设置的兵部省陆军参谋局,领导称为参谋局都督,由兵部大辅直接担任。1872年拆分兵部省组建陆军省后,陆军参谋局改称陆军省参谋局。1873年4月1日改称陆军省第六局,翌年2月22日恢复参谋局称呼。
1878年12月5日,依据《参谋本部条例》和军政分离、统帅权独立的原则,单设参谋本部,此时的参谋本部最高领导称为参谋本部长,副职称为参谋本部次长。该部直属于天皇,政府和内阁均无权干涉。<ref>[https://www.jacar.archives.go.jp/aj/meta/listPhoto?LANG=default&BID=F2009072216085076538&ID=M2009072216085176553&REFCODE=C09060318400 参謀本部條例 12月5日] — 国立公文书馆</ref>
1886年3月18日,为了统合陆海军军令权,参谋本部重组,内置陆军部和海军部。也是日本历史上至今唯一一个同时掌握陆海军军令权的指挥机关。此时的参谋本部最高领导仍称为参谋本部长,副职称为参谋本部次长(陆海军各有一位)。<ref>[https://www.digital.archives.go.jp/das/image/F0000000000000014143 御署名原本・明治十九年・勅令無号三月十八日・参謀本部条例] — 国立公文书馆</ref>
1888年5月12日,依据《明治二十一年敕令第五号》,参谋本部陆军部设立为陆军参谋本部,这也是参谋本部唯一一次以陆军参谋本部的名义设立的机关。该部门的领导称参军,另设有陆军参谋本部长一人。<ref>[https://www.digital.archives.go.jp/das/image/F0000000000000014258 御署名原本・明治二十一年・勅令第二十五号・陸軍参謀本部条例、陸軍参謀職制、陸地測量部条例制定ノ件] — 国立公文书馆</ref>
1889年3月7日,依据《明治二十二年敕令第二十五号》中的《参谋本部条例》再次改称为参谋本部,领导称为参谋总长,副职为参谋次长。尽管和平时期参谋总长只能管辖陆军的军令权,但甲午战争时期的参谋总长依据大本营条例控制了海军的军令权。造致海军反对,因此出台了《明治三十六年敕令第二百九十三号改订战时大本营条例》,规定战时的大本营之中陆海军军龄机关权力平等。1889年3月7日,依据《明治二十二年敕令第二十五号》中的《参谋本部条例》再次改称为参谋本部,领导称为参谋总长,副职为参谋次长<ref>[https://www.digital.archives.go.jp/das/image/F0000000000000014397 御署名原本・明治二十二年・勅令第二十五号・参謀本部条例制定参軍官制、陸軍参謀本部条例、海軍参謀本部条例廃止] — 国立公文书馆</ref>。尽管和平时期参谋总长只能管辖陆军的军令权,但甲午战争时期的参谋总长依据大本营条例控制了海军的军令权。造致海军反对,因此出台了《明治三十六年敕令第二百九十三号改订战时大本营条例》,规定战时的大本营之中陆海军军龄机关权力平等<ref>[https://www.digital.archives.go.jp/das/image/F0000000000000019885 御署名原本・明治三十六年・勅令第二百九十三号・戦時大本営条例改正]</ref>。
此后,参谋本部的体系稳定了下来,一直到日本战败。