安永2年（1773年）江戸藩邸で生まれる。寛政2年（1790年）元服し、寛政6年（1794年）に父の隠居により備前岡山藩主となる。徳川家斉から偏諱を授かり、斉政に改名。父の放漫財政を見直し、倹約政策を実施し藩財政の回復を図る。文化振興や人材登用にも力を注ぎ、藩政の再建に努めた。文政12年（1829年）に家督を斉敏に譲り隠居。天保4年（1833年）に61歳で死去。