我已婚但现在又爱上了一个比自己大20岁的已婚男人我该怎么办？并且他还是我的上司，我们一起上班两年多了，半年以前他才告诉我他早就喜欢我。后来我们约会过几次，但并没有做出轨的事。他说不是不想只是不想破坏我的家庭，我想我已经爱上他了，反而近两个多月以来他对我却冷淡了很多。他说是工作上很心烦，我每天都会想他我该怎么办？