弘治3(1557)年、島津貴久は息子らとともに蒲生氏を攻略することに成功する。
その後、義弘は父の命によって永禄3(1560)年から飫肥城に在番することになる。それは飫肥の領主である一族の島津忠親の養子になってのことであった。
この頃は大隅国の北西域や薩摩国の北東域において、北原氏や菱刈氏といった国衆との戦いが激化する時期でもあった。そこで義弘は、父・貴久の命によって横川城の北原氏を攻めることになる。
横川城は標高275メートルを最高点とし、シラス地形を巧みに利用した山城である。築城は承久年間(1219~22年)、大隅国守護名越氏の被官である肥後時信によるものとされている。時信は横川氏を名乗り、9代の種氏まで在番したとされている。
その後、城主は度々代わり、義弘が当城を攻める際には北原伊勢介の居城となっていた。
永禄5(1562)年、島津貴久は自らも進軍し、義弘に大将を任せて北原氏を攻めた。
義弘は、馬関田・吉田(現在のえびの市)や栗野勢を味方にして城内へと切り込んだ。その際、城主の北原伊勢介新助父子を討ち取り、横川を勢力下に置くことに成功している。ちなみに明治維新後に、日本の警察制度の創始者となる川路利良大警視の先祖は、この戦いで敗れた北原一族である。
貴久は、その後微妙な関係の菱刈氏に当城を与え、融和な方法を模索した。しかし、菱刈氏との関係が悪化してからは、島津義久が家臣らを地頭として当城に配置している。
さて城跡は、南北1500メートル、東西1200メートルもあり、東側には金山川が流れ外掘の役割をしている。曲輪は11ほど確認されていて、それらを分ける空堀も残されている。本丸とされる部分には中央から北を囲むように築かれた土塁が残されている。昭和61年に発掘調査が行われ、土師器、青磁、白磁、天目腕などが出土した。
横川城の戦いで武功を挙げた義弘は、横川の北に位置する真幸院を領有することになり、永禄7(1564)年に飯野城に入る。