Занимательная особенность игрового баланса Age of Empires IV, в силу неочевидности которой её не все замечают: не осадные юниты (пехота, лучники, кавалерия) не могут атаковать каменные стены, при этом они могут атаковать каменные замки. Более того, некоторые юниты могут делать это весьма успешно, просто закидывая замки факелами.
Если для прорыва через стены не обойтись без пушек, требуше или таранов, то уничтожить замок противника иногда можно и с помощью обычной кавалерии или других юнитов. Правда, их всё ещё потребуется достаточно много, ведь замки будут поливать их стрелами и кипящим маслом.
Данное игровое упрощение сделано, очевидно, в угоду баланса. Если бы замки можно было атаковать только лишь осадным оружием, это сделало бы мультиплеерные матчи гораздо более долгими, ведь производство осадных средств достаточно длительное и дорогое, и их также легко потерять в бою.