近江膳所藩の第2代藩主を務めた後、慶安4年（1651年）に伊勢亀山に移封。明暦元年（1655年）、近江守山宿で朝鮮通信使を接待。明暦の大火（1657年）では被災者救援に尽力し、内藤忠興らと共に増上寺前で粥を炊き出した。寛文9年（1669年）、1万石を加増され山城淀へ移封。延宝5年（1677年）には畿内と西国の天領の検地を行う。優れた教養人であり、将軍徳川綱吉の学問の師を務め、多くの著書を残した。嫡子と嫡孫が早世したため、宝永3年（1706年）に次男の義孝に家督を譲り隠居。宝永4年（1707年）に74歳で死去。墓所は京都の本禅寺。