Нейросетка ограничена доступной мощностью, вырабатываемой электростанциями Земли. Пока задачи простые, можно гонять статистику на математике приближённой точности. Как только задачи становятся сложными, технологии начинают запутываться в данных.
Буквально вчера прочитал: "нейросетка" делает среднесрочный прогноз погоды сравнимый по качеству либо более точный, чем лучшие численные модели — затрачивая при этом на три порядка меньше энергии.
То есть, с точки зрения вульгарного материализма инжиниринга вроде бы всё правильно: если мы гоняем "тензорные" вычисления, неизбежна нарастающая потеря точности, и её надо компенсировать, вводя миллиарды параметров и тысячи слоёв сети, с соответствующим удорожанием вычислений. А на практике получается, что есть некие ключевые точки, или ключевые параметры, или, возможно, ключевые агрегаты — и презираемая Вами "нейросетка" их неким образом выделяет и учитывает, компенсируя "недостаточную точность" вычислений.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
no subject
Date: 2023-11-16 07:45 am (UTC)Нейросетка ограничена доступной мощностью, вырабатываемой электростанциями Земли. Пока задачи простые, можно гонять статистику на математике приближённой точности. Как только задачи становятся сложными, технологии начинают запутываться в данных.
Буквально вчера прочитал: "нейросетка" делает среднесрочный прогноз погоды сравнимый по качеству либо более точный, чем лучшие численные модели — затрачивая при этом на три порядка меньше энергии.
https://www.science.org/doi/10.1126/science.adi2336
То есть, с точки зрения вульгарного
материализмаинжиниринга вроде бы всё правильно: если мы гоняем "тензорные" вычисления, неизбежна нарастающая потеря точности, и её надо компенсировать, вводя миллиарды параметров и тысячи слоёв сети, с соответствующим удорожанием вычислений. А на практике получается, что есть некие ключевые точки, или ключевые параметры, или, возможно, ключевые агрегаты — и презираемая Вами "нейросетка" их неким образом выделяет и учитывает, компенсируя "недостаточную точность" вычислений.