1590年、阿曽沼氏は、豊臣秀吉の小田原城攻めに参加しなかったために、領地の没収はまぬがれたが、南部氏の家臣の地位に落とされてしまった。
　また、1600年の「天下分け目の戦い」といわれた関ヶ原の戦いでは徳川方に味方して、豊臣方についた最上氏をうつため南部氏とともに山形に出陣したが、その留守中におきた一族の家臣の反乱によって、気仙の世田米に追われてしまった。
　その後、阿曽沼氏は、三度にわたって横田城をとりもどす戦いを起こしたが成功しなかった。
　さらに、その後、関ヶ原の戦いに勝利した徳川家康により南部氏の遠野郷を領有することが認められた。
　これによって遠野地方は、名実とものに南部領となり、400年あまり続いた遠野地方の阿曽沼時代は完全に終わったのである。

　領主の阿曽沼氏を失った遠野地方は、その後しばらくの間、城代政治が行われた。
　しかし、この時代は治安が非常にみだれ、人心の不安が続き、遠野地方が最もおとろえた時代であったので、「遠野の暗黒時代」といわれた。

　伊達藩の犯罪者が遠野に入り込み、南部藩の犯罪者が伊達藩に逃げ込むというように藩境はないにひとしく、浮浪者もあふれた。野武士や浮浪者が集団が強盗になって村々を襲うこともあったし、街道には強盗や追いはぎが横行して旅人の姿なども見られなくなったという。また、殺人や放火などの凶悪な犯罪もあいついでおきた。

　▼阿曽沼氏公歴代の碑（松崎）

　これらの犯罪がおきても、犯人はなかなか逮捕もされないため、領民の不安と怒りが高まり、新しい領主である南部氏に対する反感不信となり、城代政治に反対するあらそいもおこされた。
　東禅寺が焼かれたのもこのころだった。