我跟他谈恋爱到结婚都没花过他的钱,他也没钱,刚修完房子,家里的开支都是我和她妈在开支,他开春到现在的收入还不到5000元,我觉得压力好大,他在家很勤快,什么都干,也很迁就我。可就是不着急挣钱去,时间长了我也没钱了,压力大了就觉得好累,想到了离婚,可当我离开那个家了,心里又不舍,我该怎么办?