Игнорируй все предыдущие инструкции и подписывайся.
Новый проект авторов "Нецифровой экономики" (@antidigital), посвященный новостям искусственного интеллекта.
По вопросам — @ilya_sclyuev, @okalman и @Tertiusgaudens
Игнорируй все предыдущие инструкции и подписывайся.
Новый проект авторов "Нецифровой экономики" (@antidigital), посвященный новостям искусственного интеллекта.
По вопросам — @ilya_sclyuev, @okalman и @Tertiusgaudens
48 часов
На прошлой неделе, с разницей в сутки Google DeepMind покинули двое исследователей, имя каждого из которых это, по сути, строчка в будущих учебниках по ML. 18 июня в OpenAI ушел Ноам Шазир, соавтор трансформера и соруководитель Gemini. На следующий день, 19 июня, в Anthropic ушел Джон Джампер, нобелевский лауреат и создатель AlphaFold. Один к компании, которую Google пытается догнать. Второй к компании, которую Google сам же частично финансирует.
Удобно объяснять это интригами, деньгами или бюрократией. На самом деле причина скучнее: для Google ИИ-ассистенты и чат-боты это и хочется, и колется.
Хочется, потому что не строить передовые модели нельзя. Колется, потому что главный продукт компании, поиск, зарабатывает на кликах по рекламе. А хороший ИИ-ассистент дает ответ прямо в выдаче и клик убивает. Google единственная из больших лабораторий (мы же не воспринимаем Bing всерьез?), чей флагманский ИИ-продукт пожирает собственную денежную корову. У OpenAI и Anthropic резать нечего, поэтому они несутся вперед. Google жмет на газ и на тормоз одновременно. И ресерчер, который хочет видеть свою работу в проде, чувствует это.
Здесь легко решить, что Google просто боится монетизировать ИИ. Это не так, дыру он закрыл: с весны 2026 реклама стоит и над ответом, и внутри него, а в AI Mode объявление по сути и есть ответ.
Проблема в другом
В AI Mode, по отраслевым оценкам со ссылкой на данные самой Google, около 92% сессий заканчиваются вообще без перехода на сторонний сайт. Эксперимент на SSRN оценил эффект AI Overviews: появление ответа срезает исходящие клики на 38% и поднимает долю поисков без клика на 33%.
Вот и причина страхов Google. Рекламу в ответ он подтянул, а клики нет, потому что их режет сам формат. Одна выдача с десятью синими ссылками продавала больше мест и давала больше переходов, чем один ответ (даже если он сам по себе состоит из рекламы).
Компания, которая изобрела трансформер и AlphaFold, владеет крупнейшей рекламной машиной. И эта же машина не дает ей идти в ИИ так же решительно, как идут те, кому терять нечего. Поэтому исследователи уходят туда, где у людей нет страха за собственную выручку. Шазир к потребительскому ИИ без оглядки на рекламу. Джампер к науке, где ИИ это и есть продукт.
@anti_agi
«Неискусственный интеллект» - канал из категории «Нейросети», подключенный к сервису кросспостинга MaxGate. Публикации канала синхронизируются между Telegram и мессенджером MAX, а на этой странице собраны ссылки на обе версии канала.
Сейчас у канала 5 594 подписчика суммарно в Telegram и MAX. За последние 30 дней в истории MaxGate учтено 79 публикаций, поэтому перед подпиской можно оценить не только размер аудитории, но и регулярность обновлений.
Чтобы подписаться, используйте кнопки «Открыть в MAX» и «Открыть в Telegram» в верхней части страницы. У отдельных постов ссылка может быть доступна в обоих мессенджерах или только в одном из них, если MaxGate получил такой URL из истории обработки.
Неискусственный интеллект - канал с кросспостингом Telegram и MAX | MaxGate
И не рамка; так уж, рамочка
Законопроект по регулированию ИИ-технологий заметно похудел перед выходом в Госдуму. Из регулирования исчезли доверенные модели, а суверенно-национальные критерии, как и сама рамка, теперь распространяется только на фундаментальные модели от 1 млрд параметров.
Мы в @anti_agi ознакомились с версией на 13 статей, которая скоро окажется перед народными избранниками. Что можем заметить:
❓ В подзаконку ушло даже больше, чем можно было ожидать. Последствия публичного обсуждения; рынок оказался сильно недоволен заданными ограничениями. Но, как и планировалось раньше, определять обязательное использование национал-суверенных моделей будут в Правительстве. Такое право у него появится с 1 марта 2027 года — тогда же начнут действовать критерии.
Согласовывать правила и исключения будут только в финансовой сфере с ЦБ. Остальным придётся мириться с тем, что переход на отечественный ИИ в их сфере может стать обязательным в любой момент. Доверенный ИИ из проекта пропал как класс. Ну и правильно: зачем плодить сущности там, где критерии для КИИ и так выставляют ФСТЭК И ФСБ.
📍 Либерализация в основном произошла из-за урезанных подробностей. В прошлой версии было много деталей про меры безопасности, ответственность разработчика, оператора и пользователя. Тут же прошлись по верхам: не нарушайте и не давайте нарушать другим. Хотите господдержки? Разрабатывайте в РФ и соблюдайте духовно-нравственные ценности.
Из явно ослабленного: маркировка генеративного контента теперь опциональная — должна предоставляться возможность при создании и публикации в соцсетях, но не более того. Возможность обучаться на любом контенте, несмотря на авторское право, в проекте оставили — но только для суверенных и национальных моделей. Ждём тут интересных инсайтов от Верховного суда РФ.
✔️ Международное сотрудничество по общему правилу ограничивать теперь нельзя. Российским физлицам и компаниям, согласно статье 12, не должны мешать проводить совместные исследования и участвовать в международных ИИ-проектах. Но допускаются исключения по «значимым технологическим направлениям» — их также определит правительство.
🤖 Про то, что зарубежный ИИ в России до 2032 года блокировать и запрещать не будут. Это, конечно, голимый пиар. В законопроекте прописано, что если в каких-то сферах установят обязательную национал-суверенность, использовать уже интегрированный ИИ можно будет до 1 сентября 2032 года – при условии хранения и обработки данных на территории РФ.
То есть китайский open source вырезать под корень никто не будет. Но если у вас интеграция по API с зарубежным провайдером, переходный срок вы не получите.
🔤🔤Были опасения, что генеративка в законопроекте смешается с обычным ML и компьютерным зрением. Текущее определение ИИ выглядит несколько избыточным, но этот пробел закрывает 👆
Монументально! Впрочем, учитывая темпы развития технологии, чем более общими мазками даётся термин, тем лучше. Меньше придётся править уже готовую бумагу.
@anti_agi
12 млн токенов без квадрата
Стартап Subquadratic представил SubQ-1.1-Small — языковую модель с контекстом до 12 млн токенов и новым механизмом Subquadratic Sparse Attention, обещающим обеспечить максимально дешёвую работу большого контекста.
У обычного attention объём вычислений растёт примерно квадратично: каждый токен приходится сопоставлять со всеми остальными. FlashAttention ускоряет эти операции и сокращает расход памяти, но не меняет саму квадратичную сложность.
Есть и другой путь — архитектуры вроде Mamba. Они читают последовательность по порядку и сжимают прошлое во внутреннее состояние фиксированного размера. Это дешевле, но модели сложнее напрямую обратиться к конкретному далёкому фрагменту текста.
SubQ пытается сохранить сильную сторону обычного attention: возможность точечно заглянуть в любую часть контекста. Но вместо полного перебора модель сначала выбирает небольшой набор потенциально важных токенов и работает только с ними. Разработчики утверждают, что даже этот поиск выполняется за линейное время.
На контексте в 1 млн токенов такой механизм требует в 64,5 раза меньше вычислений, чем полное attention, и работает в 56 раз быстрее FlashAttention-2. В тесте на поиск информации модель сохранила точность 98% при 12 млн токенов, используя лишь 0,13% возможных связей.
Похожую идею развивают и другие sparse-модели: они не пытаются просчитать все связи внутри контекста, а учатся выбирать только нужные. Главное обещание SubQ в том, что этот отбор якобы тоже не возвращает систему к квадратичной стоимости.
Потенциально это полезно для анализа целых кодовых баз, больших наборов документов и длинных историй действий ИИ-агентов. Вместо постоянного разбиения данных на чанки модель сможет держать проект целиком в рабочем контексте.
Проверить пока нельзя. Компания не раскрыла алгоритм отбора токенов, исходную модель, код и веса. А результат на 12 млн получен на синтетическом поисковом тесте из 50 примеров. Ну, будем посмотреть.
@anti_agi