他在交换给我的农村耕地上建了房，我现在想回去可以吗？

可以退回。依据相关法律规定《土地管理法》等，耕地被非法占用建房，原使用权人有权要求恢复。若不及时处理，可能导致权益长期受损，甚至丧失土地。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
可退回。操作如下：1.与对方沟通，明确表达要求退回的意愿；2.收集证据，如土地交换协议、耕地被建房的照片等；3.若协商不成，咨询专业律师，准备起诉材料；4.提起诉讼，通过法律程序维护土地使用权。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
常见处理方式为协商或诉讼。应先尝试与对方协商，要求恢复原状；协商无果时，可通过法律途径起诉，维护自身合法权益。