伊勢宗瑞に攻められ落城した相模国新井城主三浦義意の子通綱が脱出し、安房国正木郷で育ち正木氏と称したといわれる。通綱は里見実堯と義豊の家督争いで、実堯方に属し討死。時茂・時忠は通綱の子。時茂は家督を継ぎ里見義堯について義堯の家督継承を助ける。義堯・義弘父子に仕え各地を転戦して勇名を馳せた。