公婆要我们回老家盖房子，没钱怎么办？

老公家有兄弟两人，他是老大。公婆要求老公兄弟俩在老家盖一栋小别墅，100万左右，兄弟各出50万。
公婆是普通农民，没有收入当然也没有保险，培养两个大学生确实不容易。老公当年因为家庭条件所限，就报了免费师范，弟弟读大学的费用是他供的。我们结婚的时候，老公没什么钱，工作几年的钱都用来还助学贷款和给弟弟读书了。我们的第一套房子是我娘家的陪嫁，老公很希望能自己买一套房子，所以去年我们贷款刚买了二套房。现在公婆提出要我们回家盖房子，并且弟弟已经同意了，但我们手头没什么钱，留了二十几万打算装修用的。
弟弟是985大学毕业，毕业后工作不错，薪水比我们高得多，现在一年能赚一两百万吧，也在大城市里买房了。当初弟弟买房的时候公婆要我们出钱，我们当时有做别的投资，钱拿不出来，就出了几万块，当然远远不够大城市的首付款，后来把我陪嫁的房子做了抵押贷款，贷了几十万给弟弟，当然利息和所有手续费都是弟弟自己出的，这笔钱早就还给我们了，还多给了一点。
公婆要求老公现在要拿出50万和弟弟合伙盖房子，我们没钱。我们都是小县城的老师，弟弟在大城市工作，收入完全无法相提并论。但我们拿不出钱来，公婆又一定要现在盖房子，弟弟收入高，表示完全可以一个人承担盖房子的所有费用，公婆就要求老公放弃老家房子的继承权，不能占着茅抗不拉屎，你不盖就给别人盖。老公希望弟弟盖房子的时候，只盖在弟弟分到的土地上面，或者去找村里其他人再买一块添上，但公婆不同意，要老公放弃继承权，所有土地都给弟弟盖房子，要么就拿出50万一起盖。
所以我们现在面临的选择就是，要么放弃农村土地的继承，这样以后回去就没地方住或只能住亲戚家了，当然我们一年也只回去住三四天；要么再把我陪嫁的房子拿去做抵押贷款，贷出来的钱回老家盖房子，但这样一来我们压力会很大，本身工资就不高，然后要还两套房子的贷款就非常辛苦了。
弟弟还说愿意先借钱给我们，等我们以后有钱了再还给他，但老公觉得这样以后压力也很大，毕竟对双教师家庭来说，50万是两三年的纯收入了，要存下那么多钱，还要装修新房，都得十年了。但公婆要老公去律师事务所办理放弃继承的声明，老公又很难过。
所以，现在该怎么办呢？请亲爱的网友们支支招啊。