1941年1月,因为在关于德国可能对苏联发动侵略的问题上认为战争爆发在即、全国应立刻进入战争状态,与中央政治局出现了不同意见,因此,被解除了总参谋长的职务,改任分管作战训练的副国防人民委员。
1941年6月21日晚,他作为[[最高统帅部大本营|总统帅部]]代表前往[[列宁格勒军区]]。23日,他因为“涉嫌参加反苏集团”的指控被捕,遭到[[内务人民委员部]]的毒打和迫害。9月6日,他被释放了。关于被捕这段时期的经过,梅列茨科夫并没有在自己的回忆录中提起。
1941年9月24日,任[[第7集团军(苏联)|第7集团军]]司令员,阻止芬兰军队向[[斯维里河]]的进攻。