邻居建房的时候造成我房屋地基下沉，房屋开裂。对方打桩时我曾要求对方停工并叫有关单位来进行评估，对方也的确叫了有关单位来进行了评估，但事后我们发现房屋的地基下沉和房屋开裂的情况并没有得到改善，并且日益严重。于是我们去追问了评估单位，但评估单位说对方不交评估费，评估不算。我们一直在追对方和评估单位来处理，但他们都拖着不来处理。时间已经拖了3-4年了，现在，我们房屋的下沉和开裂情况已经非常严重，还不进行处理的话随时可能会出现倒塌的危险。现在我们准备通过法律途径来处理，请问是否有时效问题。