Она имеет отношение к математике постольку, постольку в ней задействованы числа. Она не учит детей математическим навыкам. Предполагается, что считать, вычитать, делить и т.п. их научили дома или (muggle-borns) в обычных школах.

С тем же успехом можно говорить, что History of Magic имеет отношение к английскому, потому что там пишут работы по-английски. Но собственно писать, причем грамотно, их должны были научить до этого где-то в другом месте.