Torre de Vilharigues, residencia y símbolo del poder