1590年、阿曽沼氏は、豊臣秀吉の小田原城攻めに参加しなかったために、領地の没収はまぬがれたものの、南部氏の家臣の地位に落とされてしまった。
　また、1600年の「天下分け目の戦い」といわれた関ヶ原の戦いでは徳川方に味方して、最上氏を応援するため南部氏とともに山形に出陣したが、その留守中におきた一族の家臣の反乱によって、気仙の世田米に追われてしまった阿曽沼氏は、三度にわたって横田城をとりもどす戦いを起こしたが成功しなかった。
　その後、関ヶ原の戦いに勝利した徳川家康により南部氏が遠野郷を領有することが認められた。これによって遠野地方は、名実ともに南部領となり、400年あまり続いた遠野地方の阿曽沼時代は完全に終わったのである。

　領主の阿曽沼氏を失った遠野地方は、その後しばらくの間、南部氏の城代政治（代理の者による政治）が行われた。
　この時代は治安が非常にみだれ、人心の不安が続き、遠野地方が最も混乱した時代であったので、「遠野の暗黒時代」ともいわれる。

　伊達藩の犯罪者が遠野に入り込み、南部藩の犯罪者が伊達藩に逃げ込むというように藩境は無いに等しく、浮浪者もあふれた。野武士や浮浪者の集団が強盗になって村々を襲うこともあったし、街道には強盗や追いはぎが横行して旅人の姿なども見られなくなったという。また、殺人や放火などの凶悪な犯罪もあいついでおきた。

　▼阿曽沼氏公歴代の碑（松崎）

　これらの犯罪がおきても、犯人はなかなか逮捕されないため、領民の不安と怒りが高まり、新しい領主である南部氏に対する反感不信となった。
　東禅寺が焼かれたのもこのころだった。