在我没结婚生孩子之前,有个男的追过我,一开始他没告诉我他结婚有小孩了,就和他在一起了,后来知道了,我就放弃了,过了好几年,我结婚有小孩了,那时候他没离婚,过了好久他离婚了,然后他威胁我说会缠着我,还说他离婚是因为我,我现在已经结婚有小孩了,该怎么办?他知道我的家在哪儿,我真害怕他会做出什么事情来