1951年11月,任[[喀尔巴阡军区]]司令员。
1953年,在清算[[贝利亚]]的事件中,担任[[苏联最高法院]]特别法庭主席,负责审理特别法庭审判长,负责审理[[贝利亚案件]]并判处其死刑。<ref>新华社. 苏联最高法院特别法庭审理判决贝利亚七人叛国案件. 人民日报, 1953年12月25日第1版</ref>
1955年3月,任[[苏联国防部]]第一副部长兼[[苏联陆军总司令|陆军总司令]]。同年7月,由于[[华沙条约组织]]建立,他被任命为首任[[华约联合武装力量]]总司令总司令。<ref>华沙条约组织——为欧洲安全和世界和平服务的组织. 人民日报, 1958年5月27日第6版</ref> 1956年2月,在[[苏共二十大]]上当选[[苏共第二十届中央委员会|中央委员会委员]]。<ref>新华社. 苏联共产党中央委员会委员名单. 人民日报, 1956年2月27日第4版</ref>
1956年3月,不再兼任陆军总司令一职。
1956年11月,他指挥华约军队参加了平息[[匈牙利事件]]的军事行动。
1960年6月起,退居二线,被任命为[[苏联国防部总监察组]]总监。<ref>新华社. 华沙条约武装部队总司令 科涅夫辞职格列奇科继任. 人民日报, 1960年7月26日第5版</ref>
1961年8月至1962年4月的[[1961年柏林危机|柏林危机]]时期,他被紧急任命为[[苏军驻德集群]]总司令,以应对随时可能爆发的战争。<ref>新华社柏林. 德国务委员会主席乌布利希 接见苏联驻德部队总司令科涅夫. 人民日报, 1961年8月12日第5版</ref>
1965年1月30日,作为苏联政府的代表,出席了[[温斯顿·丘吉尔]]的葬礼。