Экспонента. Как быстрое развитие технологий меняет бизнес, политику и общество

Источник: Open AI, анализ для Exponential View

Ошеломляющая статистика. Ее можно объяснить именно тем процессом, который Рэй Курцвейл определил десятилетиями ранее. В тот самый момент, когда мы подбирались к пределам старого метода (размещения большего числа транзисторов на чип), ученые, опираясь на несколько иной подход, предложили новое решение.

Ответ кроется в типе используемых чипов. Исследователи ИИ, такие как Алекс Крижевский, заменили традиционные компьютерные чипы теми, что были разработаны для высококачественной графики для видеоигр. Использовать такие чипы для повседневных вычислений смысла не имеет, но они оказались удивительно пригодными для ИИ. В частности, они хороши в математике. Вычисления, необходимые для создания реалистичных сцен в видеоиграх, требовали множества умножений. Чтобы заставить сложную нейронную сеть работать, нужно было выполнить миллионы, а иногда и миллиарды таких умножений, и графические чипы справлялись с этой задачей.

Когда стало понятно, что рынок таких чипов расширяется, компьютерная индустрия приняла вызов. Разработчикам искусственного интеллекта требовалось больше мощности, и специализированные чипы позволяли этого добиваться. Калифорнийская компания Cerebras и британская Graphcore начали производить чипы, предназначенные для одной-единственной задачи – запускать нейронные сети на высоких скоростях.

Результатом стал продолжающийся экспоненциальный рост вычислительной мощности, только уже без оков закона Мура. Этот закон обусловлен миниатюризацией – как разместить все больше транзисторов на все меньшем пространстве. Но современные чипы ИИ не зависят от борьбы за нанометры. На самом деле некоторые из них состоят из гораздо более крупных компонентов. В традиционном процессоре типа того, который стоит в вашем ноутбуке, компоненты расположены на расстоянии около семи нанометров друг от друга, то есть примерно три тысячи таких компонентов можно разместить на площади среза, равной толщине человеческого волоса. Специализированные чипы ИИ от Graphcore размещены на расстоянии шестнадцати нанометров – около 1300 на аналогичную площадь.

Это означает, что в обозримом будущем вычислительная мощность, похоже, будет расти экспоненциально. А если вдруг наши новые виды чипов в итоге окажутся непригодными для удовлетворения растущих потребностей общества в вычислительной мощности, на очереди совершенно новый подход – «квантовые вычисления»[39 - Charles E. Leiserson et al., “There’s Plenty of Room at the Top: What Will Drive Computer Performance after Moore’s Law?” Science 368(6495), June 2020. https://doi.org/10.1126/science.aam9744 (https://doi.org/10.1126/science.aam9744).]