父が暗殺されると、母方の平家で育てられた。
兄に経国がいるが、経国が関東に下ったのに対し義高は都に住し、平家が勢力を強めるに従って順調な官途を進んだ。実質的に源義忠の系統の嫡流は兄の経国に代わり、義高の子孫が継承する。義高の子孫は代々北面武士で河内国に領地を持つ武士として続いた。