На Mac Pro 5.1 можно поставить всё что угодно, хоть крайние MacOS Ventura или Sonoma. Вопрос, как ты и подметил только в приемлемой видеокарте. Сейчас на вторичном рынке AMD Radeon 580 стоит недорого, а обеспечивает хорошую производительность и 100% совместимость с Маком.
С патчами можно...