Калкулатор на WAN капацитет за AI датацентър

Поколенията GPU променят броя на ват приблизително на всеки 18 месеца. Hopper, Blackwell и следващите променят FLOPs и паметта на ват, но трафикът север-юг на ват почти не се мени: checkpoint-ите, зареждането на данни и inference растат с мощността, подадена към изчисленията, а не с модела на ускорителя. Оразмеряването по брой GPU остарява в момента, в който ново поколение влезе в залата.

Прозорците за източване на независимите наематели не са корелирани, затова пиковете им не се сумират: площадката вижда свивка, а не сума. Φ е ефективният коефициент на корелация за N независими обучения: 1,00 при N=1, 0,75 при N=2 и с 0,05 по-малко за всяко следващо, което дава 0,45 при N=8, горната граница на плъзгача. Договорното разместване на прозорците в SLA на наемателите е най-евтиният начин за повече капацитет: при осем обучения намалява пиковия checkpoint трафик повече от наполовина, без да се пипа физическата инфраструктура.

Моделът е умишлено консервативен на две места. Приема се, че всяко обучение източва модел, голям колкото най-големия на площадката, а пиковете на зареждането на данни, inference, дистилацията и операциите се сумират, все едно съвпадат; Φ се прилага само към checkpoint-ите. Реалните площадки обикновено излизат по-ниско. Моделът приема и че обученията са независими: общ cluster scheduler ги корелира и Φ се връща на 1. Разпределеното обучение между площадки не е включено; то е отделен член от 10–100 Tb/s за паралелизъм между датацентрове и се обсъжда при дизайна на конкретно трасе, а не при оразмеряване на една площадка. Коефициентите за inference са калибрирани за текст с лек RAG; генерирането на медия (изображения и особено видео) разваля скалата с един порядък и трябва да се оразмерява по измерения изходящ трафик на serving системата.