1954年5月28日,任[[苏联国防部]]总监察长。
1955年,任[[苏联国防部]]副部长。3月11日,被授予[[苏联元帅]]军衔。<ref>苏联最高苏维埃主席团晋升一批苏军将领. 人民日报, 1955年3月18日第4版</ref>
1956年6月8日,任[[伏罗希洛夫高等军事学院]]院长。
1968年4月25日,退居二线,担任[[苏联国防部总监察组]]总监。
1982年9月21日,在[[莫斯科]]病逝,葬于[[克里姆林宫红场墓园]]。<ref>苏军将领巴格拉米扬元帅逝世. 人民日报, 1982年9月24日第6版</ref>
苏共第十九届、二十届、二十一届中央候补委员,二十二届、二十三届、二十四届、二十五届、二十六届中央委员。第二届、三届、四届、五届、六届、七届、八届、九届、十届苏联最高苏维埃代表,第二届、三届、四届、五届拉脱维亚最高苏维埃代表。1941年8月12日,晋升少将军衔;1941年12月27日,晋升中将军衔;1943年8月27日,晋升上将军衔;1943年11月17日,晋升大将军衔;1955年3月11日,被授予苏联元帅军衔。1944年7月29日和1977年12月1日,两度被授予苏联英雄称号。