Блокчейн обеспечивает мост для доступа к графическим процессорам с меньшими вычислительными затратами, обеспечивая распределенный доступ к моделям и создавая рынок для более дешевых моделей с криптографическими стимулами.

Оригинальное название: «Рост дефицита искусственного интеллекта и графических процессоров: как блокчейн устраняет узкие места машинного обучения»

Автор Томми Истман

Составитель: Фрэнк, Foresight News

По мере развития искусственного интеллекта и роста спроса на графические процессоры индустрия машинного обучения сталкивается с проблемой стоимости и доступности графических процессоров.Давайте посмотрим, как технология блокчейна может обеспечить решение.

индустрия графических процессоров

За последний год наблюдался огромный рост приложений и интеграций на основе искусственного интеллекта. ChatGPT от OpenAI стал самым быстрорастущим приложением за всю историю, достигнув 100 миллионов активных пользователей в месяц всего через два месяца после запуска. Для сравнения, TikTok потребовалось 9 месяцев, а Instagram — 18 месяцев, чтобы достичь того же рубежа.

Спрос на искусственный интеллект сильно повлиял на ценность и доступность графических процессоров (GPU). Графические процессоры — это процессоры, оптимизированные для выполнения параллельных вычислений и одновременной обработки большого количества данных, что делает их полезными для машинного обучения, редактирования видео и игровых приложений. В связи с многоцелевым использованием графических процессоров в схемах искусственного интеллекта рыночный спрос на графические процессоры увеличился.

Графические процессоры разрабатываются и распространяются несколькими компаниями, о чем свидетельствуют задержки в производственной цепочке поставок. Они были тесно связаны с индустрией блокчейнов с момента бычьего рынка в 2017 году, когда майнеры Ethereum с доказательством работы скупили почти все доступные графические процессоры в 2018 году. Блокчейн Ethereum перешел на доказательство доли, но с развитием искусственного интеллекта технология блокчейна по-прежнему обеспечивает полезные решения распространенных проблем, таких как доступ к графическим процессорам, затраты на обучение, распределенный вывод и многое другое.

Процесс машинного обучения и узкие места

Машинное обучение — это крупная и быстрорастущая отрасль. Обучение модели обычно делится на несколько этапов, и на каждом этапе есть определенные узкие места.

1. Базовое обучение модели

Обучение базовой модели включает в себя использование большого набора данных (например, из Википедии) и обучение исходной базовой модели, которая будет использоваться в качестве модели общего интеллекта или, в конечном итоге, точно настроена, которая использует изученные шаблоны и отношения для прогнозирования следующего элемента в последовательности.

Например, модели генерации изображений обучены связывать шаблоны изображений с соответствующим текстом, поэтому при вводе текста они генерируют изображения на основе этих изученных шаблонов. Аналогично, для текста модель прогнозирует следующее слово в текстовой строке на основе предыдущих слов и контекста.

Обучение базовых моделей требует больших затрат труда, инфраструктуры, времени и усилий, а нынешняя цепочка поставок затрудняет получение современных графических процессоров NVIDIA даже для компаний с глубокими карманами.

Например, итеративное обучение OpenAI GPT-3 длилось несколько месяцев и потребовало миллионы долларов только затрат на электроэнергию. Таким образом, обучение базовым моделям остается непомерно дорогим занятием, доступным лишь горстке частных компаний.

Например, итеративное обучение OpenAI GPT-3 длилось несколько месяцев и потребовало миллионы долларов только затрат на электроэнергию. Таким образом, обучение базовым моделям остается непомерно дорогим занятием, доступным лишь горстке частных компаний.

2. Точная настройка

Примечательно, что точная настройка требует меньше ресурсов, чем обучение базовой модели, и оптимизирует модели для конкретных задач (например, языковых моделей для изучения новых диалектов). Производительность базовой модели для конкретной задачи можно значительно улучшить за счет тонкой настройки.

Хотя нехватка графических процессоров затрагивает эти три области, точная настройка затрагивается меньше всего. Однако точная настройка полностью зависит от базовой модели с открытым исходным кодом. Если частные компании решат прекратить открытый исходный код своих моделей, модели сообщества будут отставать от современных моделей (SOTA) с угрожающей скоростью.

3. Рассуждение

Доступ к модели представляет собой последний шаг на этом этапе — например, получение ответов на вопросы от ChatGPT, которые представляют собой изображения, созданные на основе стабильного распространения пользовательских подсказок, — требующие ресурсов графического процессора для запроса модели. Вывод быстро растет с точки зрения вычислительных требований, особенно с точки зрения расходов на графические процессоры.

В выводе участвуют как конечные пользователи, так и разработчики, включающие модель в свои приложения, что является способом обеспечить экономическую жизнеспособность модели. Эта концепция имеет решающее значение для интеграции систем искусственного интеллекта в общество, и ее важность отражается в быстром внедрении конечными пользователями, активно использующими такие инструменты, как ChatGPT.

Нехватка графических процессоров приводит к быстрому росту затрат на логические выводы. Хотя базовые требования для вывода ниже, чем для обучения базовой модели, масштаб развернутых приложений компании требует огромной нагрузки на графический процессор при запросе модели. По мере увеличения разнообразия моделей графических процессоров (за счет тонкой настройки и разработки новых базовых моделей) разнообразие приложений будет увеличиваться, а потребность в графических процессорах для вывода резко возрастет.

Блокчейн обеспечивает решения узких мест машинного обучения

В прошлом графические процессоры использовались для майнинга Ethereum и других токенов PoW. Теперь блокчейн рассматривается как уникальная возможность обеспечить доступ и улучшить координацию между узкими местами в пространстве графических процессоров, особенно в машинном обучении.

Крипто-стимулы

Крупномасштабное внедрение графических процессоров требует значительного первоначального капитала, что препятствует прогрессу в этой области для всех компаний, кроме крупнейших. Стимулы блокчейна создают возможность для владельцев графических процессоров получать прибыль от свободных вычислений, создавая более дешевый и доступный рынок для пользователей.

распределенный доступ

Любой может предоставлять/использовать расчеты, модели хостинга и модели запросов — это существенно отличается от необходимости находиться в бета-версии или иметь ограниченный доступ в традиционном пространстве.

Важной особенностью, которую блокчейн может предоставить сфере машинного обучения, является распределенный доступ. Машинное обучение традиционно требовало больших центров обработки данных, поскольку FMT еще не реализован в масштабе на некластеризованных графических процессорах, а распределенные протоколы пытаются решить эту проблему и, в случае успеха, откроют шлюзы для FMT.

координация рынка

Рынок блокчейнов помогает координировать закупки графических процессоров, позволяя частным лицам и компаниям, владеющим графическими процессорами, находить людей, которые хотят их арендовать, а не оставлять их без дела, а получение дохода, пока графические процессоры простаивают, может помочь компенсировать первоначальные затраты на приобретение графических процессоров, позволяя получить больше Организация участвует в хостинге GPU.

Приверженность Foundry ответственному ИИ

Область машинного обучения на блокчейне — это зарождающаяся отрасль, в сети которой имеется всего несколько проектов. Foundry в настоящее время поддерживает проект Bittensor AI, а также Akash, который оказался значимым способом продвижения распределенного искусственного интеллекта.

Биттенсор

Bittensor — это децентрализованная вычислительная сеть без разрешений, которая обеспечивает более легкий доступ к моделям и создает более дешевый рынок моделей с помощью криптографических стимулов, где каждый может размещать модели, а пользовательские подсказки ранжируются с заданной модальностью. Соответствует самым высоким моделям.

Bittensor превратился в один из крупнейших проектов искусственного интеллекта в криптографии, используя блокчейн для создания крупномасштабной сети вычислительного вывода, которая недавно выпустила подсети, которые стимулируют различные режимы, включая генерацию изображений, рынки прогнозирования и многое другое.

Foundry выполняет проверку и анализ данных в сети и запускает узлы Proof-of-Authority для обеспечения консенсуса.

Акаш

Akash — это рынок вычислений общего назначения, который обеспечивает более легкий доступ к графическим процессорам в любом масштабе, обучает больше базовых моделей и снижает стоимость графических процессоров.

Akash недавно запустила свой рынок графических процессоров с аналогичными целями: снижение финансового барьера для входа, снижение затрат на вычисления на графических процессорах и повышение доступности, а базовая программа обучения моделей в Akash расширяется. Foundry предоставляет вычисления на графическом процессоре для сети и работает с командами над разработкой функций.

Что дальше?

Поскольку машинное обучение продолжает интегрироваться в предприятие, спрос на графические процессоры будет продолжать расти, вызывая постоянные проблемы с цепочками поставок в сфере машинного обучения. , обеспечивает мост для доступа к графическим процессорам с меньшими вычислительными затратами.