"Математика предлагает, например, схему движения планет при условии, что сила притяжения Солнца будет уменьшаться пропорционально второй, или третьей, или n-ной степени их расстояния от Солнца; физика же решает, что в реальном мире справедливо предположение о таком ее уменьшении, которое будет пропорционально квадрату расстояния. ... Математика предлагает возможные пространства, физика решает, какое из них соответствует физическому пространству."

Ну какбы да, но... мы же по факту не знаем, почему сила гравитации равна квадрату расстояния.
Очень может так получиться, что она в принципе не может быть равна ничему другому даже логически, точно так же как сумма углов треугольника в евклидовом пространстве всегда равно одному числу и логически не может быть равна другому. При другой сумме углов - математика начинает противоречить самой себе.

Ну то есть по факту отличие физики от математики в том, что математику мы досконально знаем, разве что становятся все более изощренными наши инструменты игры с ней, а физику нет, и поэтому мы вынуждены в ней пользоваться разнообразными костылями, приближениями и затычками на тех местах, где наши знания заканчиваются.