邻居建房的时候造成我房屋地基下沉,房屋开裂。对方打桩时我曾要求对方停工并叫有关单位来进行评估,对方也的确叫了有关单位来进行了评估,但事后我们发现房屋的地基下沉和房屋开裂的情况并没有得到改善,并且日益严重。于是我们去追问了评估单位,但评估单位说对方不交评估费,评估不算。我们一直在追对方和评估单位来处理,但他们都拖着不来处理。时间已经拖了3-4年了,现在,我们房屋的下沉和开裂情况已经非常严重,还不进行处理的话随时可能会出现倒塌的危险。现在我们准备通过法律途径来处理,请问是否有时效问题。