1894年[[甲午战争]]期间,第二师团划归第二军管辖,1895年1月与第六师团一起参加威海卫战役。1895年5月,台湾总督桦山资纪率近卫师团登陆台湾后,日军遭到当地民众的激烈抵抗,于是向台湾抽调了第二师团的部分部队编成第四混成旅团。<ref name=アジ歴>[https://www.jacar.go.jp/glossary/term4/0010-0080-0030.html 第2師団] — アジ歴グロッサリー</ref>
甲午战争之后的1896年,日本决定军备增强计划。于是在北海道设立了[[第七师团]],弘前设立了[[第8师团第八师团]],第二师管的下去缩小到了福岛县、新泻县、宫城县的登米郡、本吉郡、栗原郡以外的中部以南地区。与此同时,青森的步兵第五联队于1897年10月改隶为第八师团。步兵第十七联队于1898年从仙台迁往秋田,同样改编第八师团的隶下,在联队营地的旧址上设置了新设的步兵第二十九联队。另外,在新泻县新津也设置了新设的步兵第三十联队。骑兵第二大队扩充为骑兵第二联队。步兵第四联队和步兵第二十九联队属于步兵第三旅团,步兵第十六联队和步兵第三十联队属于步兵第十五旅团,师团除这2个步兵旅团外,还由骑兵第二联队、野战炮兵第二联队,以及第二工兵大队、第二辎重兵大队、佐渡的警备队组成。,第二师管的辖区缩小到了福岛县、新泻县、宫城县的登米郡、本吉郡、栗原郡以外的中部以南地区。与此同时,青森的步兵第五联队于1897年10月改隶为第八师团。步兵第十七联队于1898年从仙台迁往秋田,同样改编第八师团的隶下,在联队营地的旧址上设置了新设的步兵第二十九联队。另外,在新泻县新津也设置了新设的步兵第三十联队,将这两个联队补充到了第二师团内。同时,骑兵第二大队扩充为骑兵第二联队。步兵第四联队和步兵第二十九联队属于步兵第三旅团,步兵第十六联队和步兵第三十联队属于步兵第十五旅团,师团除这2个步兵旅团外,还由骑兵第二联队、野战炮兵第二联队,以及第二工兵大队、第二辎重兵大队、佐渡的警备队组成。
1904年2月[[日俄战争]]期间,第二师团隶属第一军,参加了5月的强渡鸭绿江作战、8月的辽阳战役、10月的沙河战役、以及次年1月的黑沟台战役、3月的奉天战役。该师团在辽阳战役中因为该师团长对弓张岭发起了日俄战争期间最大的夜袭,并获成功,因此得诨名'''夜袭的仙台师团'''。<ref name=アジ歴/>
日俄战争后的1907年在新潟县高田编成了[[第十三师团]]。随之步兵第十六联队和步兵第三十联队移交给第十三师团;第二师团增加了新设的步兵第六十五联队,由第八师团让出的步兵第三十二联队从秋田转移到山形。此时,第二十九联队和第六十五联队属于第三步兵旅团,第四联队和第十六联队属于第十五步兵旅团,师团除了这2个旅团之外,还下辖骑兵第二联队、野炮兵第二联队、山炮兵第一大队、第二工兵大队、第二炮兵大队。第二师管将新泻县移交给第十三师管,取而代之的是山形县和宫城县北部交由第八师管。而第八师管让出给宫城·山形·福岛3县。。随之步兵第十六联队和步兵第三十联队移交给第十三师团;第二师团增加了新设的步兵第六十五联队,由第八师团让出的步兵第三十二联队从秋田转移到山形。此时,步兵第三旅团下辖步兵第二十九联队和第六十五联队,步兵第十五旅团下辖步兵第四联队和第十六联队,师团除了这2个旅团之外,还下辖骑兵第二联队、野炮兵第二联队、山炮兵第一大队、第二工兵大队、第二炮兵大队。第二师管将新泻县移交给第十三师管,取而代之的是山形县和宫城县北部交由第八师管。而第八师管让出给宫城、山形、福岛3县给第二师管。
1910年4月起,该师团在朝鲜驻扎了两年。<ref name=アジ歴/>