安土桃山時代の武将であり、寒河江氏の執政を務めた。出羽吉川氏の三男として生まれ、柴橋氏の養子となった後、寒河江氏17代当主・寒河江兼広の執政となる。兼広の死後、男子がいなかったため、寒河江氏の後継問題を巡り最上氏との間に確執が生じる。天正12年（1584年）、最上義光の攻撃を受ける中、白鳥氏と連合して抵抗するも敗北。義光の策略により討ち取られ、その後、寒河江氏は最上氏に降伏し、家臣らもそれに従う形となった。頼綱の使用した槍が広谷家に伝わっている。