Установка нескольких видеокарт для ML
 

Как обстоят дела с этим делом? Не для игр, меня интересует только CUDA. Tensorflow, судя по документации, умеет работать с несколькими GPU, а вот что насчёт железа? Нужна ли какая-то особая материка, чтоб несколько видеокарт поставить? Рассматриваем RTX4080. Хотя 4090 заманчиво, но пишут, что они страдают хроническим перегревом. Сколько штук будет - пока не знаю. Планируем начать с 2, потом если будет надо - добавим. Допустим если просто взять материнку с 4 слотами, возможно ли будет на неё 4 видюхи поставить?

нужно смотреть каждую материнку отдельно, читать отзывы, можете форумы майнеров посетить. Некоторые мат.платы с 4 слотами не умеют более чем в 2 карты.

shisik, всё зависит от количества линий (полос) которые смогут выдать материнка и процессор.
Чтобы примерно понять о чём я, посмотрите видео где вкратце про это сказано.
ЗЫ И ещё, более подробно.

Майнерские варианты для ML не очень подходят - для майнеров пропускная способность шины не критична, а для ML - весьма. И тут упираемся не в количество слотов, а в количество PCIe линий, поддерживаемых платформой, у десктопных платформ оно весьма ограничено, на большинство материнок можно установить только одну видеокарту с полной x16, две уже будут работать в x8, три - x8+x4+x4 и так далее. Нужна серверная платформа, или рабочая станция, на базе Intel Xeon Scalable или EPYC/Threadripper.

Ещё нюанс - у десктопных карт высшего сегмента массивные СО, перекрывающие до 4 слотов. Можно соорудить что-то в духе майнерской фермы с x16 райзерами (могут страдать от интерференции и ослабления сигнала, желательно наличие редрайверов PCIe на МП), либо брать специализированные под ML решения вроде Nvidia A100 (стоят как паровоз и требуют специализированные корпуса, так как имеют пассивный охлад), либо переводить под custom loop воду (тоже не три копейки стоит и нужны прямые руки, но пожалуй лучший в плане цена/производительность вариант, где-то видел даже готовые решения, но чот подзабыл где).