当初离婚是协议离婚，写的很清楚女方不用支付抚养费和不用支付的原因，女方可以随时探望孩子，留宿。男方如果拒绝女方探视女方可以要回孩子。最初男方谈恋爱晚上十点也要把孩子送给女方管，现在男方再婚怀孕，男方开始耍赖不认可协议，各种为难女方不让见孩子，见孩子必须掏钱，而且是他要求的数目，不然就把孩子转到外地。可以起诉要回孩子吗？