法律分析：
农村家庭联产承包责任田可以互换，而且无须经过批准。你们之间虽然没有书面的互换协议，但已实际履行，且长达20余年，因此，你们之间存在着事实上的互换协议，这个协议是有效的，所以，对方无权要求再换回。
法律依据：
《中华人民共和国城市房地产管理法》 第六十一条 以出让或者划拨方式取得土地使用权，应当向县级以上地方人民政府土地管理部门申请登记，经县级以上地方人民政府土地管理部门核实，由同级人民政府颁发土地使用权证书。
在依法取得的房地产开发用地上建成房屋的，应当凭土地使用权证书向县级以上地方人民政府房产管理部门申请登记，由县级以上地方人民政府房产管理部门核实并颁发房屋所有权证书。
房地产转让或者变更时，应当向县级以上地方人民政府房产管理部门申请房产变更登记，并凭变更后的房屋所有权证书向同级人民政府土地管理部门申请土地使用权变更登记，经同级人民政府土地管理部门核实，由同级人民政府更换或者更改土地使用权证书。
法律另有规定的，依照有关法律的规定办理。
因篇幅问题不能全部显示，请点此查看更多更全内容