父・義雄は遠江守護代として、伯父の義寛やその後を継いだ従兄の義達に従い、遠江進出を図る今川氏に備えたが、永正12年（1515年）8月に義達が今川氏親に完敗すると斯波氏は遠江を喪失した。以後斯波氏は衰え、義虎も従甥の14代当主義統（義達の子）とともに尾張守護代織田氏の傀儡とされた。天文23年（1554年）7月、守護代・織田信友が斯波氏に対して謀反を起こすと、義統や他の一族とともに自害した。