我们一家长期在外务工，前年我们族里龙狮灯会的人和我家达成一个协议，因为要建祠堂，要把我家二层的楼房拆掉，当时我答应了，条件是修祠堂同时帮我的把祠堂旁边的另一处老屋修复好，当时灯会的人说修复好那个老屋估计只要一万五千元到一万八千元左右，所以先补偿我家一万五千元，就把我家的房子拆了，但后来因为没筹到钱没有建祠堂了，我家的房子也没法修复，一直拖，今年又说疫情影响，继续拖，我家等修复的房子现在已经日晒雨露没有修复价值了，当初要拆房的，是灯会那个为首的人，他根本没有号召力，我家在城里也是租房，失去老宅心里很不安，而且今年农村做了产权登记，我家因为没有房子，也没有了产权，这给我家造成很大的损失，我该怎么起诉，起诉为首人，还是整个组织一起起诉。有胜算吗？