Petite question à Villes et chevaliers

Bonjour,

Hier soir nous avons joué à 6 aux colons "Villes et Chevaliers". Dès qu'un joueur finissait son tour, les autres joueurs avaient la possibilité de construire (routes, villes, colonies etc...).
Par contre, est-il possible à la fin du tour d'un autre joueur d'utiliser son chevalier pour déloger le brigand noir qui se trouve sur une case à proximité ?
A priori, rien ne le précise dans les règles (bon, on les a relu vite fait en pleine partie, et ça a pu nous échapper)
On a donc a opté pour la négative : on ne peut utiliser le pouvoir de ses chevaliers pour déloger le brigand qu'à son propre tour.
Partagez-vous cet avis ?

Merci d'avance.