1957年11月12日,任[[苏联国防部]]第一副部长兼[[苏联陆军总司令|陆军总司令]]。
1958年2月1日,根据[[苏联最高苏维埃主席团]]令,向格列奇科授予[[苏联英雄]]荣誉称号,以表彰他在与纳粹侵略者的战斗中表现出无畏和英勇。称号,以表彰他在与纳粹侵略者的战斗中表现出无畏和英勇。
1960年4月7日,任[[苏联国防部]]第一副部长,同年7月,兼任[[华约武装力量总司令]]。
1967年4月,任[[苏联国防部长]]。在担任国防部长时期,他组织了[[华约入侵捷克斯洛伐克|苏联以及其它华约国家入侵捷克斯洛伐克]]的军事行动。
1973年10月16日,被第二次授予[[苏联英雄]]荣誉称号和金星奖章,以表彰其为巩固苏联武装力量战力的贡献。称号和金星奖章,以表彰其为巩固苏联武装力量战力的贡献。
1976年4月26日,因病逝世,享年72岁,葬于[[克里姆林宫宫墙]]。