和泉半国守護の細川元有の子。1500年に家督を継ぐが1508年以降、細川澄元に味方して細川高国と対立したため、守護職を罷免される。澄元死後は、嫡子晴元を助け、晴元政権下で和泉守護職に復帰した。1546年、細川高国の養子と称して挙兵した氏綱らを討つため、晴元とともに丹波へ出陣した。