邻居从我们家宅基地南侧通行(他们走的地方属于我们宅基地范围),2007年3月,他们改道通行。2008年5月,我们为方便生活,在宅基地南侧建厕所一间,。2009年7月,另据又想走原来的路,不但不找我们商量,而且乘我们不备,偷偷将厕所拆掉,遂双方发生争执,他们告我们侵犯他们的通行权。请问我们是否侵犯其通行权?我们该如何做?