Автор: Циник Сигэру, CGV Research

Используя возможности алгоритмов, вычислительной мощности и данных, достижения в области технологий искусственного интеллекта переопределяют границы обработки данных и интеллектуального принятия решений. В то же время DePIN представляет собой сдвиг парадигмы от централизованной инфраструктуры к децентрализованным сетям на основе блокчейна.

Поскольку мир продолжает ускоряться в направлении цифровой трансформации, искусственный интеллект и DePIN (децентрализованная физическая инфраструктура) стали фундаментальными технологиями, способствующими изменениям во всех сферах жизни. Интеграция искусственного интеллекта и DePIN не только будет способствовать быстрому внедрению и широкому применению технологий, но также откроет более безопасную, прозрачную и эффективную модель обслуживания, что приведет к далеко идущим изменениям в мировой экономике.

DePIN: Децентрализация переходит от виртуальности к реальности, оплоту цифровой экономики

DePIN — это аббревиатура децентрализованной физической инфраструктуры. В узком смысле DePIN в основном относится к распределенной сети традиционной физической инфраструктуры, поддерживаемой технологией распределенного реестра, такой как сеть электропитания, сеть связи, сеть позиционирования и т. д. В широком смысле все распределенные сети, поддерживаемые физическими устройствами, можно назвать DePIN, например, сети хранения данных и вычислительные сети.

из: Мессари

Если Crypto привел к децентрализованным изменениям на финансовом уровне, то DePIN — это децентрализованное решение в реальной экономике. Можно сказать, что машина для майнинга PoW — это своего рода DePIN. DePIN был основной опорой Web3 с самого первого дня.

Три элемента ИИ — алгоритм, вычислительная мощность и данные, DePIN обладает исключительно вторым.

Обычно считается, что развитие искусственного интеллекта опирается на три ключевых элемента: алгоритмы, вычислительную мощность и данные. Алгоритмы относятся к математическим моделям и программной логике, которые управляют системами ИИ, вычислительная мощность относится к вычислительным ресурсам, необходимым для выполнения этих алгоритмов, а данные являются основой для обучения и оптимизации моделей ИИ.

Какой из трех элементов является наиболее важным? До появления ChatGPT люди обычно думали о нем как об алгоритме, иначе научные конференции и журнальные статьи не были бы заполнены одной за другой тонкой настройкой алгоритма. Но когда были представлены chatGPT и большая языковая модель LLM, поддерживающая его интеллект, люди начали осознавать важность последних двух. Огромные вычислительные мощности являются предпосылкой для рождения моделей. Качество и разнообразие данных имеют решающее значение для создания надежной и эффективной системы искусственного интеллекта. Напротив, требования к алгоритмам уже не такие изысканные, как обычно.

В эпоху больших моделей искусственный интеллект превратился из кропотливого мастерства в энергичные летающие кирпичи. Спрос на вычислительную мощность и данные растет с каждым днем, и DePIN может это обеспечить. Стимулирование токенов усиливает рынок «длинного хвоста», а огромные вычислительные мощности и хранилища потребительского уровня станут лучшим источником питания для больших моделей.

Децентрализация ИИ — не вариант, а необходимость

В эпоху больших моделей искусственный интеллект превратился из кропотливого мастерства в энергичные летающие кирпичи. Спрос на вычислительную мощность и данные растет с каждым днем, и DePIN может это обеспечить. Стимулирование токенов усиливает рынок «длинного хвоста», а огромные вычислительные мощности и хранилища потребительского уровня станут лучшим источником питания для больших моделей.

Децентрализация ИИ — не вариант, а необходимость

Конечно, некоторые люди спросят, поскольку вычислительная мощность и данные доступны в компьютерном зале AWS, и они лучше, чем DePIN с точки зрения стабильности и пользовательского опыта. Почему мы должны выбирать DePIN вместо централизованного сервиса?

Это утверждение, естественно, имеет смысл. Ведь, глядя на текущую ситуацию, почти все крупные модели прямо или косвенно разрабатываются крупными интернет-компаниями. Microsoft стоит за ChatGPT, а Google — за Gemini. Почти каждая крупная интернет-компания в Китае имеет такую. Большая модель. Почему? Потому что только крупные интернет-компании имеют достаточно качественных данных и вычислительных мощностей, подкрепленных сильными финансовыми ресурсами. Но это неправильно: люди больше не хотят, чтобы их контролировали интернет-гиганты.

С одной стороны, централизованный ИИ несет в себе риски для конфиденциальности и безопасности данных и может подвергаться цензуре и контролю; с другой стороны, ИИ, создаваемый интернет-гигантами, еще больше усилит зависимость людей, приведет к концентрации рынка и увеличит барьеры для инноваций.

с: https://www.gensyn.ai/

Человечеству больше не нужен Мартин Лютер в эпоху искусственного интеллекта. Люди должны иметь право говорить напрямую с Богом.

DePIN с точки зрения бизнеса: снижение затрат и повышение эффективности являются ключевыми факторами

Даже если оставить в стороне споры о ценности децентрализации и централизации, с точки зрения бизнеса использование DePIN для ИИ по-прежнему имеет свои преимущества.

Прежде всего, нам необходимо четко осознавать, что, хотя интернет-гиганты держат в своих руках большое количество высокопроизводительных видеокарт, сочетание видеокарт потребительского уровня, разбросанных по частному сектору, также может сформировать весьма значительную сеть вычислительных мощностей. , что является эффектом «длинного хвоста» вычислительной мощности. Скорость простоя этого типа видеокарт потребительского уровня на самом деле очень высока. Пока стимулы, предоставляемые DePIN, могут превышать счета за электроэнергию, у пользователей будет стимул вносить в сеть вычислительную мощность. В то же время все физические объекты управляются самими пользователями.Сети DePIN не нужно нести неизбежные эксплуатационные расходы централизованных поставщиков, и ей нужно сосредоточиться только на самой разработке протокола.

Что касается данных, сеть DePIN может раскрыть доступность потенциальных данных и снизить затраты на передачу за счет периферийных вычислений и других методов. При этом большинство распределенных сетей хранения имеют функции автоматической дедупликации, что сокращает работу по очистке обучающих данных ИИ.

Наконец, криптоэкономика, реализованная DePIN, повышает отказоустойчивость системы и, как ожидается, обеспечит беспроигрышную ситуацию для поставщиков, потребителей и платформ.

из: Калифорнийский университет в Лос-Анджелесе

Если вы не верите, последние исследования Калифорнийского университета в Лос-Анджелесе показывают, что использование децентрализованных вычислений обеспечивает производительность в 2,75 раза выше, чем традиционные кластеры графических процессоров при той же цене, а именно: в 1,22 раза быстрее и в 4,83 раза дешевле.

Впереди трудный путь: с какими проблемами столкнется AIxDePIN?

Если вы не верите, последние исследования Калифорнийского университета в Лос-Анджелесе показывают, что использование децентрализованных вычислений обеспечивает производительность в 2,75 раза выше, чем традиционные кластеры графических процессоров при той же цене, а именно: в 1,22 раза быстрее и в 4,83 раза дешевле.

Впереди трудный путь: с какими проблемами столкнется AIxDePIN?

Мы решили отправиться на Луну в этом десятилетии и заняться другими делами не потому, что это легко, а потому, что это сложно.

—— Джон Фицджеральд Кеннеди

По-прежнему существует множество проблем при построении моделей искусственного интеллекта без доверия с использованием распределенного хранилища DePIN и распределенных вычислений.

Проверка работы

По сути, вычисление моделей глубокого обучения и майнинг PoW — это общие вычисления, а самый нижний уровень — это изменения сигнала между схемами вентилей. С макроэкономической точки зрения, майнинг PoW — это «бесполезные вычисления», пытающиеся получить хеш-значение с n нулями с префиксом с помощью бесчисленной генерации случайных чисел и вычислений хеш-функций; в то время как вычисления глубокого обучения являются «полезными вычислениями», посредством бесчисленной генерации случайных чисел и расчеты хеш-функции.Прямой и обратный вывод вычисляет значения параметров каждого слоя в глубоком обучении для построения эффективной модели искусственного интеллекта.

Дело в том, что в «бесполезных вычислениях», таких как PoW-майнинг, используются хеш-функции. Легко вычислить изображение по исходному изображению, но сложно вычислить исходное изображение по изображению, поэтому любой может легко и быстро проверить достоверность расчета; Для расчета модели глубокого обучения из-за иерархической структуры выходные данные каждого слоя используются в качестве входных данных следующего слоя. Поэтому проверка достоверности расчета требует выполнения всей предыдущей работы и не может быть проверены просто и эффективно.

из: АВС

Проверка работы очень важна, иначе поставщик расчета вообще не сможет выполнить расчет и представить случайно сгенерированный результат.

Одна из идей состоит в том, чтобы разные серверы выполняли одни и те же вычислительные задачи, а затем проверяли эффективность работы, повторяя выполнение и проверяя, одинаково ли оно. Однако подавляющее большинство модельных расчетов являются недетерминированными, и одни и те же результаты не могут быть воспроизведены даже в одной и той же вычислительной среде и могут быть схожими только в статистическом смысле. Кроме того, двойной учет приведет к быстрому росту затрат, что противоречит ключевой цели DePIN по сокращению затрат и повышению эффективности.

Другой тип идеи - это оптимистический механизм, который сначала оптимистично полагает, что результат был эффективно рассчитан, и в то же время позволяет любому проверить результат расчета. Если обнаружена ошибка, может быть представлено доказательство мошенничества. Соглашение будет наказать мошенника и сообщить об этом.

Распараллеливание

Как упоминалось ранее, DePIN в основном использует рынок потребительских вычислительных мощностей с длинным хвостом, а это означает, что вычислительная мощность, которую может обеспечить одно устройство, относительно ограничена. Для больших моделей ИИ обучение на одном устройстве займет очень много времени, и для сокращения времени обучения необходимо использовать распараллеливание.

Основная трудность при распараллеливании обучения глубокому обучению заключается в зависимости между предыдущими и последующими задачами, что затрудняет достижение распараллеливания.

В настоящее время распараллеливание обучения глубокому обучению в основном делится на параллелизм данных и параллелизм моделей.

Параллелизм данных означает распределение данных по нескольким машинам. Каждая машина сохраняет все параметры модели, использует локальные данные для обучения и, наконец, объединяет параметры каждой машины. Параллелизм данных хорошо работает, когда объем данных велик, но требует синхронного обмена данными для агрегирования параметров.

Параллелизм модели означает, что когда размер модели слишком велик, чтобы поместиться на одной машине, модель можно разделить на несколько машин, и каждая машина сохраняет часть параметров модели. Прямое и обратное распространение требует связи между разными машинами. Параллелизм моделей имеет преимущества, когда модель велика, но накладные расходы на связь при прямом и обратном распространении велики.

Информацию о градиенте между различными слоями можно разделить на синхронное обновление и асинхронное обновление. Синхронное обновление является простым и прямым, но увеличивает время ожидания; алгоритм асинхронного обновления имеет короткое время ожидания, но создает проблемы со стабильностью.

из: Стэнфордский университет, параллельное и распределенное глубокое обучение

конфиденциальность

Глобальная тенденция защиты конфиденциальности личной информации растет, и правительства во всем мире усиливают защиту конфиденциальности личных данных. Хотя ИИ широко использует общедоступные наборы данных, что действительно отличает разные модели ИИ, так это собственные пользовательские данные каждого предприятия.

Как получить преимущества конфиденциальных данных во время обучения, не подвергая при этом конфиденциальности? Как гарантировать, что параметры построенной модели ИИ не утекут?

Это два аспекта конфиденциальности: конфиденциальность данных и конфиденциальность модели. Конфиденциальность данных защищает пользователей, а конфиденциальность модели защищает организацию, которая создает модель. В текущем сценарии конфиденциальность данных гораздо важнее, чем конфиденциальность модели.

Для решения проблемы конфиденциальности предпринимаются различные решения. Федеративное обучение обеспечивает конфиденциальность данных за счет обучения на источнике данных, локального хранения данных и передачи параметров модели; а доказательство с нулевым разглашением может стать восходящей звездой.

Анализ кейса: Какие качественные проекты есть на рынке?

Генсин

Gensyn — это распределенная вычислительная сеть, используемая для обучения моделей искусственного интеллекта. Сеть использует слой блокчейна на основе Polkadot для проверки правильности выполнения задач глубокого обучения и запуска платежей с помощью команд. Основанная в 2020 году, в июне 2023 года она объявила о финансировании серии А на сумму 43 миллиона долларов США под руководством a16z.

Gensyn использует метаданные процесса оптимизации на основе градиента для создания сертификатов выполненной работы, последовательно выполняемой с помощью многогранного прецизионного протокола на основе графов и перекрестного оценщика, что позволяет повторно запускать задания проверки и сравнивать их на предмет согласованности. и в конечном итоге по цепочке. Подтвердите это самостоятельно, чтобы убедиться в достоверности расчета. Чтобы еще больше повысить надежность проверки работы, Gensyn вводит стейкинг для создания стимулов.

В системе есть четыре типа участников: отправители, решатели, верификаторы и репортеры.

Решатель должен дать обещание, а информатор проверяет работу решателя. Если он обнаружит злодеяние, он оспорит его. После того, как вызов будет пройден, жетоны, обещанные решателем, будут оштрафованы, а информатор будет вознагражден.

По прогнозам Gensyn, ожидается, что это решение снизит затраты на обучение до 1/5 от затрат централизованных провайдеров.

Решатель должен дать обещание, а информатор проверяет работу решателя. Если он обнаружит злодеяние, он оспорит его. После того, как вызов будет пройден, жетоны, обещанные решателем, будут оштрафованы, а информатор будет вознагражден.

По прогнозам Gensyn, ожидается, что это решение снизит затраты на обучение до 1/5 от затрат централизованных провайдеров.

от: Генсин

ФедМЛ

FedML — это децентрализованная совместная платформа машинного обучения для децентрализованного и совместного ИИ в любом месте и в любом масштабе. В частности, FedML предоставляет экосистему MLOps для обучения, развертывания, мониторинга и постоянного улучшения моделей машинного обучения, одновременно работая над объединенными данными, моделями и вычислительными ресурсами с сохранением конфиденциальности. Основанная в 2022 году, FedML объявила о стартовом раунде в размере 6 миллионов долларов в марте 2023 года.

FedML состоит из двух ключевых компонентов: FedML-API и FedML-core, которые представляют собой API высокого уровня и API низкого уровня соответственно.

FedML-ядро включает в себя два независимых модуля: распределенное общение и обучение моделей. Модуль связи отвечает за базовую связь между различными работниками/клиентами и основан на MPI; модуль обучения модели основан на PyTorch.

FedML-API построен на ядре FedML. С помощью ядра FedML можно легко реализовать новые распределенные алгоритмы, приняв интерфейсы клиентоориентированного программирования.

Последняя работа команды FedML доказала, что использование FedML Nexus AI для вывода моделей искусственного интеллекта на потребительском графическом процессоре RTX 4090 в 20 раз дешевле и в 1,88 раза быстрее, чем A100.

от: FedML

Перспективы на будущее: DePIN способствует демократизации ИИ

Однажды ИИ перерастет в AGI, а вычислительная мощность станет де-факто универсальной валютой.

Интеграция AI и DePIN открыла новую точку технологического роста и предоставила огромные возможности для развития искусственного интеллекта. DePIN предоставляет ИИ огромные распределенные вычислительные мощности и данные, помогая обучать крупномасштабные модели и достигать более высокого уровня интеллекта. В то же время DePIN также позволяет ИИ развиваться в более открытом, безопасном и надежном направлении, уменьшая зависимость от единой централизованной инфраструктуры.

В будущем AI и DePIN будут продолжать развиваться совместно. Распределенная сеть обеспечит прочную основу для обучения очень больших моделей, и эти модели будут играть важную роль в применении DePIN. Защищая конфиденциальность и безопасность, ИИ также поможет оптимизировать сетевые протоколы и алгоритмы DePIN. Мы с нетерпением ждем, когда искусственный интеллект и DePIN принесут более эффективный, справедливый и заслуживающий доверия цифровой мир.