Есть решение, не знаю насколько оно простое в реализации. Система деградации/реставрации.
Создаем набор неразрушимых объектов, скажем, условные железные стены и двери. Найти их сложно, но зато железный забор разрушить нельзя, и если перелезть через него невозможно, весь лут за такими стенами...