かつて、中央高速道の手前に質素な鳥居と一寸した境内もつ鷲神社（おおとりじんじゃ）がありました。かつて、この附近一帯に、遊廓が設置され、新地と言われました。＊1
鷲神社はこのあたりにありました。＊2
明治の中ごろ、上野原宿は一六市が開かれ、絹問屋や仲買い商人のだんな衆で賑わいましたが、夜の遊興は隣の吉野遊廓（神奈川県藤野町）に流れてしまい、上野原町の繁栄の妨げとなっていました。そのため、遊廓が建設されることになりましたが、「風紀上よくないから宿から遠ざけろ」といった声があがり、明治33年12月、関山遊廓が建設されました。翌年8月、遊廓から歩いて5分の場所に中央線上野原駅が開通し、交通の便を得た関山遊廓はその後全盛を極めました。＊3
昭和21年（1946）年の公証廃止令によって遊廓は表面上消滅しましたが、その後は特殊飲食店（赤線地帯）として存続。終戦直後はもっぱら米兵の慰安所として利用され、昭和27年頃から米兵に代わり町内や周辺の人がちで少し賑わいを増しましたが、昭和33年3月に「買春防止法」の施行によって全面的に解消されました。
遊廓跡地に建つ旅館の建物。
