Дело в том, что пространство у нас как минимум трехмерное. А уже с двухмерным пространством у алгебры без геометрии начинаются сложности — ага, «напишите алгебраическую формулу для переноса треугольника с поворотом...» Вместе с тем в физике есть довольно много штуковин которые завязаны на симметрии пространства и времени — к примеру законы сохранения. Таким образом есть мнение, что значительная часть физики вылезет из геометрии с меньшим количеством «матана». В принципе, в школе нам физику в значительной части объясняли скорее на геометрических примерах и аналогиях, чем на алгебраических.