1863(文久3)年の薩英戦争の砲火により集成館事業も大きな被害を受けた。
一方で、西洋技術の導入の必要性を痛感した12代藩主島津忠義と父の久光は、五代友厚らを藩費留学生15名、使節4名を英国に派遣した。
五代らは紡績機械の買い付けに成功し、磯の地に日本で初めての洋式紡績所である鹿児島紡績所が1867(慶応3)年に操業を始めた。同時に技術指導者として英国人技術者7名を雇い、その宿舎として本館が建てられた。鹿児島市教育委員会の調査によれば、紡績所に関わった英国人が設計し、鹿児島の大工が日本の技術を用いて竣工に至っている。
戊辰戦争など幕末の政情不安から英国人はわずか1年で帰国し、その後は大砲製造支配所、西南戦争では薩軍の仮病院、1882(明治15)年に鶴丸城跡に移築され中学造士館(後の第七高等学校造士館)の本館として利用されたが、1936年に再び現在地に戻ってきたために空襲による焼失を免れた。戦後はGHQのキャバレーとなったこともある。
2009年1月に世界遺産の暫定リスト入りを果たした「九州・山口の近代化産業遺産群-非西洋世界における近代化の先駆け-」の構成遺産の1つに数えられている。2011年10月に耐震補強と内装工事を終えリニュアルオープンし、館内展示も西洋家具や食器の配置が往時をしのばせる。さらなる展示の充実に期待したい。