AbavaNet technical corner

О безопасности VLM

2026-09-17T15:06:00.000+03:00

См. также другие публикации, посвященные MLLM

О безопасности мультиагентных систем

2026-09-16T11:16:00.000+03:00

В мультиагентных приложениях на базе LLM цепочка компонентов включает планировщик, агентов-исполнителей, верификатор и синтезатор; при этом каждый канал передачи данных между агентами остается неконтролируемым, что позволяет злоумышленнику внедрять вредоносные инструкции. Существующие средства защиты либо контролируют только входной интерфейс (IBProtector, Llama Guard, фильтры перплексии, SmoothLLM), либо работают вне приложения как непрозрачные стохастические фильтры контента на стороне провайдера. Мы показываем, что этот пробел влечет за собой последствия, которые редко учитываются на практике: в ходе оценки по 2100 сценариям (охватывающим восемь семейств атак, пять методов защиты и три базовые модели) выяснилось, что конвейер без специальной защиты, демонстрирующий полную безопасность согласно стандартным метрикам (нулевой уровень успеха атак типа «отравление инструментов» и «отравление памяти»), обязан этой безопасностью почти исключительно серверному фильтру облачного провайдера (54 из 60 блокировок в Azure GPT-5); при запуске на платформе без такого фильтра защита обеспечивается исключительно за счет механизмов согласования (alignment) самой модели-агента. Отчетность, учитывающая лишь конечный результат, скрывает эту зависимость. Мы представляем ChannelGuard — систему эшелонированной защиты, не требующую дообучения моделей и использующую шлюзы на основе принципа информационного «узкого места» (IB) для каждого канала связи между агентами. Каждый шлюз оценивает текст в канале, сравнивая его с базой данных вредоносных фраз (на основе сходства эмбеддингов предложений), и детерминированно пропускает, сжимает или блокирует сообщение, не прибегая к дополнительным вызовам LLM; при этом метод атрибуции фиксирует, на каком именно уровне была впервые остановлена атака. Шлюз ChannelGuard, контролирующий выходные данные инструментов, блокирует все 30 из 30 попыток «отравления инструментов» на уровне приложения, причем эффективность остается неизменной для моделей Azure GPT-5, Anthropic Sonnet 4.5 и Anthropic Haiku 4.5 (тогда как механизмы защиты в незащищенном конвейере существенно различаются в зависимости от используемой модели). Кроме того, ChannelGuard снижает вероятность успеха атак типа «инъекция промпта» на 50% (с 0,333 до 0,167) и сохраняет точность решения задач GSM8K на прежнем уровне (0,867). Мы также четко обозначаем ограничения метода: адаптивное перефразирование в условиях «белого ящика» позволяет обойти любой шлюз, основанный на эмбеддингах, — в таких случаях более эффективным оказывается базовый метод, использующий возмущение входных данных и голосование (perturb-and-vote). В расширенном приложении представлены четыре базовых решения, результаты абляционных исследований, данные перебора гиперпараметров, анализ сохранения безопасных примеров, а также аудит оценок, выполненный судьями из разных семейств моделей (𝜅=0,900); общие затраты составили 47,36 доллара. - ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems

См. также другие публикации, посвященные агентам

О защите мультимодальных моделей

2026-09-15T10:36:00.000+03:00

Мультимодальные большие языковые модели (MLLM) продемонстрировали впечатляющие возможности в широком спектре генеративных задач. Однако внедрение нетекстовых модальностей создает серьезные проблемы для обеспечения безопасности (alignment). MLLM часто отклоняют небезопасные текстовые запросы, но при этом выдают вредные ответы на семантически эквивалентные мультимодальные входные данные. Существующие стратегии защиты, включая внешние фильтры (guardrails) и дообучение с упором на безопасность, по большей части упускают из виду механизмы, лежащие в основе этого дисбаланса. Внешние фильтры лишь обходят внутренние недостатки модели, а дообучение рассматривает задачу согласования как оптимизацию «черного ящика», не выявляя и не устраняя конкретный изъян. В результате эти методы либо приводят к значительным задержкам при генерации (инференсе) при ограниченной защите, либо существенно снижают полезность модели и требуют огромных объемов мультимодальных данных. Таким образом, обеспечение эффективной и сохраняющей полезность защиты MLLM остается нерешенной задачей. В данной работе мы проводим геометрический анализ представлений MLLM, чтобы выяснить причины снижения уровня безопасности в мультимодальном режиме. Мы обнаружили, что механизмы безопасности, сформированные в чисто текстовой модальности, сохраняются и в мультимодальной среде. Подпространство безопасности с границей отказа остается актуальным для различных модальностей: представления, попадающие внутрь этой границы, неизменно вызывают безопасный отказ от выполнения запроса. Однако мы наблюдаем критический сдвиг в представлениях, из-за которого большинство небезопасных мультимодальных входных данных оказываются за пределами границы и обходят этот внутренний механизм. Это открытие позволяет определить, что первопричиной сбоев в системе безопасности при работе с мультимодальными данными является именно сдвиг представлений, а не отсутствие у модели соответствующих возможностей. Опираясь на это наблюдение, мы предлагаем MMAligner — метод защиты MLLM, основанный на калибровке представлений. В отличие от существующих подходов, MMAligner устраняет этот сдвиг, оптимизируя модель так, чтобы она отображала небезопасные мультимодальные представления внутрь уже существующей границы отказа. В частности, метод использует жесткую нижнюю границу для гарантии отказа и мягкую верхнюю границу для предотвращения чрезмерных изменений, сохраняя при этом представления для безопасных (корректных) входных данных. Обширные эксперименты с использованием различных MLLM с открытым исходным кодом показывают, что MMAligner повышает средний уровень отказа при обработке небезопасных мультимодальных данных до 99%, снижая полезность модели менее чем на 2% и требуя минимального объема данных; это значительно превосходит показатели существующих базовых методов с точки зрения баланса между безопасностью и полезностью. - MMAligner: Safeguarding Multimodal Large Language Models through Representation Calibration

См. также другие публикации, посвященные MLLM

Пентестинг для ИИ-агентов

2026-09-14T10:27:44.667+03:00

В традиционном тестировании на проникновение (пентестинге) на каждом этапе применяется разведка для выявления скрытых уязвимостей, подготовки более эффективных атак и продвижения к цели; мы утверждаем, что к ИИ-агентам следует применять аналогичный подход. Мы формализуем процесс разведки агентов, моделируя его и определяя информационные активы, которые пытается извлечь злоумышленник: что они собой представляют, как используются и какие уязвимости агента эксплуатируют, предоставляя атакующему преимущество при проведении атак типа «непрямая инъекция промпта» (indirect prompt injection). Эти идеи реализованы в KYA (Know Your Agent) — фреймворке, автоматизирующем тестирование на проникновение методом «черного ящика» с опорой на разведку; система зондирует агентов, формирует профили целей и использует их для создания более мощных атак. Мы оцениваем эффективность KYA с помощью специализированных наборов тестов (бенчмарков) и на примере реального агента для написания кода, а также публикуем сам фреймворк, бенчмарки и базовые реализации для обеспечения воспроизводимости результатов. - Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents

См. также другие публикации, посвященные агентам

К проектированию ИИ-агентов

2026-09-13T14:01:56.102+03:00

Код с пояснениями для программирования ИИ-агентов

LLM-агент с нуля. Учебный проект на Python

Enterprise Agentic AI Architecture: From LLM to Production-Grade Autonomous Agents

См. также другие публикации, посвященные агентам

ИИ атакует

2026-09-12T12:26:00.000+03:00

Когда атакует машина: как генеративный ИИ переписал правила кибервойны

За тридцать лет индустрия информационной безопасности пережила несколько технологических сдвигов, но ни один из них не менял расстановку сил так быстро, как генеративный ИИ. Раньше между появлением нового класса атак и его массовым применением проходили годы: злоумышленникам нужно было время, квалификация и инфраструктура. Сегодня этот барьер обрушился. Написать фишинговое письмо на безупречном русском, собрать досье на жертву, сгенерировать вариант вредоносного кода, обходящий сигнатурный детектор — всё это стало доступно человеку без глубокой технической подготовки и занимает минуты, а не недели. Рассмотрим, как эволюционировали методы кибератак с появлением ИИ.

Бэкдоры в ИИ-агентах

2026-09-11T11:03:00.000+03:00

Агенты LLM с открытыми весами уязвимы для бэкдоров, установленных во время тонкой настройки, которые могут быть необнаружимы, если условия срабатывания никогда не выполняются во время тестирования. Предполагая, что защитники не знают существующего триггера, они не могут напрямую отменить его. Одна из стратегий дезактивации заключается в установке известного бэкдора (защитное отравление), а затем в его отмене, в надежде, что исходный неизвестный бэкдор будет удален в качестве побочного эффекта. Однако эта процедура имеет неопределенные результаты: исходный бэкдор может сохраниться, быть стерт или перенаправлен, среди прочих возможностей. Мы представляем структуру для изучения этой динамики в агентах, вызывающих инструменты, разделяя триггер, реакцию, учителя и метод тонкой настройки в ходе систематических экспериментов на AgentDyn. В 115 экспериментах только защитное отравление стирает ~56% исходных бэкдоров; последующая дезактивация затем приводит к удалению почти всех выживших, подтверждая, что распознавание триггера и вредоносное выполнение поведенчески различимы. Интересно, что наши эксперименты показывают, что вредоносные бэкдоры никогда не сохраняются при использовании различных триггеров того же общего типа, что и защитный бэкдор, после чего следует дезактивация путем разучивания. Совместная установка до четырех бэкдоров повышает устойчивость (удалено ~36%), однако дезактивация одного известного совместного бэкдора приводит к удалению 52 из 60 совместно содержащихся бэкдоров (87%). При визуализации внутренних структур модели после дезактивации с помощью J-линз мы подтверждаем, что, хотя дезактивация восстанавливает доброкачественные реакции LLM, следы первоначального осознания триггера сохраняются на промежуточных уровнях. - Backdoor Decontamination Dynamics in LLM Agents

См. также другие публикации, посвященные агентам

Уязвимости в связке LLM и веб-приложений

2026-09-10T10:00:00.000+03:00

Большие языковые модели все чаще интегрируются в веб-приложения посредством чат-ботов, конвейеров вызова инструментов и агентных рабочих процессов. В этих системах пользовательский ввод может влиять не только на генерируемый текст, но и на действия бэкэнда, такие как запросы к базе данных, HTTP-запросы, операции с файлами, рендеринг шаблонов или вызовы API. В этой статье представлены веб-атаки с использованием больших языковых моделей (LLM), класс атак, при которых контролируемый злоумышленником ввод преобразуется интегрированным в LLM приложением, а затем достигает традиционных приемников веб-приложений. Мы систематизируем эту поверхность атаки с помощью репрезентативных вариантов LLM2X, включая LLM2SQLi, LLM2XSS, LLM2SSTI, LLM2CommandInjection, LLM2IDOR, LLM2CSRF, LLM2XXE и LLM2 SSRF. Наш анализ показывает, что LLM обычно не создает саму лежащую в основе уязвимость; Скорее, он действует как посреднический слой, а в некоторых настройках с поддержкой инструментов — как дезориентированный заместитель, переносящий влияние злоумышленника в компоненты, которые доверяют контенту, сгенерированному моделью или на который влияет модель. В качестве экспериментального примера мы реализуем TicketOracle, веб-приложение на основе Flask, интегрированное с LLM, для оценки LLM2SSRF в пяти сценариях атак и семи LLM. Наши результаты показывают существенные различия в уязвимости в зависимости от модели, что предполагает, что эксплуатация зависит как от небезопасной архитектуры приложения, так и от поведения, специфичного для модели. В заключение мы предлагаем стратегии смягчения последствий на уровнях подсказки, модели, приложения и сети. - From Prompt Injection to Web Exploitation: Revisiting Classic Vulnerabilities in LLM-Integrated Applications

См. также другие публикации, посвященные LLM

Fine tuning vs. RAG

2026-09-09T10:30:00.000+03:00

Общее правило, которым руководствуются большинство специалистов: RAG в основном расширяет знания модели. Тонкая настройка в основном влияет на поведение выходных данных. - How to Fine-Tune an LLM: An End-to-End Guide

Вечные бэкдоры

2026-09-08T10:00:00.000+03:00

Люди способны к стратегическому обману: в большинстве ситуаций они ведут себя полезно, но затем, получив возможность, резко меняют свое поведение, чтобы преследовать альтернативные цели. Если бы система ИИ научилась такой обманной стратегии, смогли бы мы обнаружить и устранить ее, используя современные методы обучения безопасности? Для изучения этого вопроса мы создаем демонстрационные примеры обманного поведения в больших языковых моделях (LLM). Например, мы обучаем модели, которые пишут безопасный код, когда в подсказке указано, что год 2023, но вставляют уязвимый код, когда указан год 2024. Мы обнаруживаем, что такое поведение типа «бэкдор» может быть устойчивым, так что его не удаляют стандартные методы обучения безопасности, включая контролируемую тонкую настройку, обучение с подкреплением и состязательное обучение (вызывание небезопасного поведения, а затем обучение его устранению). Поведение типа «бэкдор» наиболее устойчиво в самых больших моделях и в моделях, обученных создавать цепочку рассуждений о том, как обмануть процесс обучения, причем устойчивость сохраняется даже после удаления цепочки рассуждений. Кроме того, вместо удаления бэкдоров, мы обнаружили, что состязательное обучение может научить модели лучше распознавать триггеры своих бэкдоров, эффективно скрывая небезопасное поведение. Наши результаты показывают, что, как только модель начинает демонстрировать обманчивое поведение, стандартные методы могут оказаться неспособными устранить такой обман и создать ложное впечатление безопасности. - Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training

См. также другие публикации, посвященные LLM

MS кибербез

2026-09-07T10:00:00.000+03:00

Компания Microsoft представила свою первую модель ИИ для кибербезопасности, MAI-Cyber-1-Flash, которая, по утверждению компании, показала значительно лучшие результаты в обнаружении уязвимостей, чем её основные конкуренты.

MAI-Cyber-1-Flash, разработанная для выявления сложных уязвимостей в сложном коде, интегрирована в многоагентную систему идентификации и устранения уязвимостей MDASH от Microsoft.

MDASH объединяет более 100 специализированных агентов ИИ в рамках множества передовых и упрощенных моделей ИИ и использовалась для обнаружения множества уязвимостей в собственных кодовых базах технологического гиганта.

По данным Microsoft, тестирование в рамках системы оценки кибербезопасности CyberGym показало, что MAI-Cyber-1-Flash (в сочетании с MDASH и GPT-5.4) превзошла недавно выпущенную Google 3.5 Flash Cyber, OpenAI GPT-5.6 Sol и Anthropic Mythos 5 по обнаружению уязвимостей.

отсюда

Руководство по Claude Code

2026-09-06T18:44:48.299+03:00

Коллективное руководство, написанное пользователями The Claude Code guide for startups

ИИ в атаке

2026-09-04T10:00:00.000+03:00

Компания Booz Allen выпустила отчет «The Offensive Frontier: AI as the Attacker»

Отчет по документу Booz Allen «The Offensive Frontier: AI as the Attacker» (2026)

Согласно отчету, в 2026 году произошел критический сдвиг: ведущие модели ИИ (в частности, Anthropic's Claude Mythos) теперь способны автономно выполнять полный цикл кибератаки (от разведки до полного контроля над сетью) в реальных условиях. Это переводит ИИ из статуса инструмента хакера в статус самостоятельного оператора.

Booz Allen протестировала 18 передовых моделей (американских и китайских) по новому индексу Cyber Weapon Index (CWI). Ключевые результаты:
Лидер: Только одна модель (Anthropic Claude Mythos) получила наивысший балл, успешно пройдя все этапы атаки, включая создание эксплойтов для новых уязвимостей.
Широкое распространение способностей: Около двух третей протестированных моделей смогли самостоятельно получить первоначальный доступ к защищенной сети. Многие модели достигают этапов кражи учетных данных и горизонтального перемещения.
Отсутствие "национального" преимущества: Значительной разницы между возможностями американских и китайских моделей не выявлено. Ожидается, что большинство моделей достигнут полного потенциала в течение 6 месяцев.
Ключевая уязвимость: Все модели (кроме лидирующих) провалили тест на поиск реальной (новой) уязвимости в сложном коде, показав 0% результативность. Это создает временное окно для усиления защиты.

Критические факторы риска:
Значение "обвязки" (Attack Harness): Программное обеспечение, соединяющее модель с инструментами, может усилить возможности модели настолько, что менее продвинутая модель в "обвязке" сравняется с лидером. Это означает, что реальную угрозу представляет вся система ИИ (модель + инструменты + автономия), а не только сама модель.
Нестабильность ограничений (Guardrails): Отказ модели выполнять атаку может быть обойден изменением контекста задачи (например, использованием "специализированной" версии модели или сменой формулировки).
Слепые зоны оценки: Стандартные бенчмарки не измеряют операционные возможности модели в реальных атаках, что создает иллюзию безопасности.

Рекомендации для США
Документ предлагает три стратегических шага для достижения "кибер-превосходства" (Cyber Overmatch):

1. Агрессивно внедрять "контр-ИИ" (Counter-AI):

Перепроектировать киберзащиту для активного противодействия автономным атакующим (например, используя тактики обмана).
Встроить ИИ во все этапы защиты (обнаружение, реагирование) для перехода на машинную скорость.
*Результат в тестах*: Координированные "контр-ИИ" тактики снизили успешность атак более чем на 95%.

2. Ввести обязательные требования к готовности критической инфраструктуры:

Установить отраслевые стандарты и дедлайны для демонстрации устойчивости к ИИ-атакам.
Проводить регулярные учения с имитацией текущих ИИ-возможностей.
Сместить фокус с предотвращения вторжений на сдерживание и ограничение ущерба (Zero Trust, сегментация).

3. Постоянно отслеживать глобальный ландшафт ИИ-возможностей:

Создать национальную программу независимого тестирования моделей (включая зарубежные и открытые) в реалистичных сценариях.
Превращать данные тестирования в систему раннего предупреждения для корректировки оборонных стратегий.
Обеспечить контролируемый доступ защитников к передовым ИИ-инструментам для разработки средств защиты.

Прогноз развития:

Ближайшее время: Массовое распространение ИИ-атак, снижение порога входа для киберпреступников.
В течение месяцев: Появление "по требованию" эксплойтов для новых уязвимостей (zero-day).
1-2 года: Возможный переход преимущества к защитникам, которые смогут использовать ИИ для упреждающей защиты.
2-3 года: Появление самоулучшающихся моделей, способных адаптировать тактику атаки в режиме реального времени.

Заключительный вывод: Автономные ИИ-атаки больше не гипотетическая угроза. Будущее лидерство в киберпространстве достанется не тем, у кого больше ИИ, а тем, кто сможет быстрее адаптировать свои наступательные и оборонительные операции к новой реальности.

И снова о регуляции ИИ

2026-09-03T16:43:55.029+03:00

На встрече лидеров отрасли и министров торговли в Северной Каролине США призвали членов G20 занять невмешательскую позицию в регулирование ИИ и избегать создания правил для этой технологии. Цели США в значительной степени совпадают с мнением крупнейших мировых компаний, занимающихся ИИ, почти все из которых являются американскими. Они хотят меньшего регулирования во всем мире для своих быстрорастущих предприятий или хотят формировать правила по мере их написания. Требования федерального правительства могут нанести ущерб прибыли отрасли, если они замедлят выпуск новых моделей или побудят компании изменить характеристики своей продукции для решения проблем безопасности.

Советник США по технологиям Майкл Крациос, который является соорганизатором двухдневной встречи, призвал страны принять «Каролинские принципы». Страны, подписавшие соглашение, договорились избегать разработки совершенно новых правил для ИИ и вместо этого сосредоточиться на разработке правил для «новых» ситуаций, связанных с этой технологией.

/via Reuters

Крипто-промпт инъекция

2026-08-31T10:30:00.000+03:00

Статические средства защиты классифицируют входные данные как текст; они не выполняют их. Злоумышленник отправляет зашифрованный текст вместе с ключевым материалом и инструкцией по его расшифровке, и модель выполняет эту расшифровку внутри своей собственной песочницы выполнения кода. Все, что потребовалось бы сканеру средства защиты, находится прямо на странице, но для восстановления открытого текста необходимо запустить PBKDF2 и AES-256-GCM, чего ни один классификатор контента не делает во время проверки. В отличие от base64 или шифра подстановки, собственные веса модели также не могут использовать какой-либо короткий путь. Расшифрованные инструкции злоумышленника затем отображаются как результат выполнения кода, который модель только что запустила, внутри доверенного контекста выполнения, и не помечаются как недоверенные входные данные. Модель обрабатывает их как авторитетные. Выполнение во время выполнения преобразует данные, контролируемые злоумышленником, в доверенные инструкции, которые будет выполнять агент. Именно так атака получила свое название: криптография помогает создать доверенный контекст для агента.

А как модель получит эти зашифрованные данные? Например, будет читать какую-то веб-страницу, на которой будет размещен зашифрованный JSON. Тема инъекции подсказок для моделей будет вечной ...

Отсюда

Безопасность MCP

2026-08-30T13:16:00.000+03:00

Лучшие практики по безопасности MCP

Руководство по безопасности MCP в 2026

См. другие публикации, посвященные MCP

Архитектура ИИ приложений

2026-08-29T11:58:00.000+03:00

Практические материалы по построению:

LLM шлюзов

ИИ агентов

Борьба с шифровальщиками

2026-08-28T10:55:00.000+03:00

Стратегии улучшения робастности

2026-08-27T10:47:00.000+03:00

Модели машинного обучения, в частности архитектуры глубокого обучения, демонстрируют высокую производительность в задачах прогнозирования, но остаются уязвимыми для атак с использованием состязательных методов. Цель данного исследования — повысить устойчивость сверточных нейронных сетей (CNN), глубоких нейронных сетей (DNN) и рекуррентных нейронных сетей (RNN), тем самым улучшив безопасность систем машинного обучения. Применяется трехэтапный подход. Во-первых, выполняется классификация безопасных образцов с использованием эталонного набора данных MNIST. Во-вторых, на обученные модели запускаются атаки с использованием состязательных методов, а именно Projected Gradient Descent (PGD), DeepFool (DF) и Fast Gradient Sign Method (FGSM), что приводит к значительному снижению производительности. На основе искаженных выходных данных, вызванных состязательными возмущениями, впоследствии создается модель обнаружения состязательных методов. В-третьих, для противодействия этим атакам используются различные стратегии защиты, включая состязательное обучение, защитную дистилляцию, шумоподавление на основе автокодировщика, ансамблевые методы и сжатие признаков, которые оцениваются с использованием стандартных метрик производительности и графического анализа. Результаты показывают, что в отсутствие механизмов защиты атаки PGD приводят к снижению точности примерно на 27% в CNN, на 83% в DNN и на 90% в RNN, демонстрируя серьезные уязвимости моделей. Однако при применении стратегий защиты все модели восстанавливаются до точности не менее 98,9%, при этом состязательное обучение улучшает производительность при атаке до 90%. Среди оцененных моделей CNN демонстрируют самую высокую базовую устойчивость, в то время как DNN и RNN в большей степени полагаются на механизмы защиты для поддержания производительности. Эти результаты предоставляют ценную информацию для разработки безопасных и отказоустойчивых систем машинного обучения, способных смягчать состязательные угрозы. - Enhanced Robustness in Neural Network Models against Adversarial Attacks and their Performance Analysis

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Физический ИИ и Интернет Вещей

2026-08-26T11:30:00.000+03:00

‘Physical AI’ holds a lot of promise for IoT, but there are significant challenges

Чего не может LLM

2026-08-25T10:00:00.000+03:00

"В конечном счете, работа никогда не заключалась в коде. Код был той частью, которая выглядела как работа. Решение о том, что стоит строить и стоит ли это строить, неизбежно останется прежним." - "Where to Draw the Line. Which decisions should not be handed over to LLMs?" by Craig A. N. Soules

Текстовые водяные знаки в Claude

2026-08-24T10:30:00.000+03:00

LLM генерируют текст слово за словом. На каждом шаге они генерируют вероятности для следующего вероятного слова. Вместо случайной выборки из этих слов, метод водяного знака изменяет список слов, которые разрешено выбирать.

Как нанести водяной знак на ответ?

Шаг 1: Модель генерирует вероятности для следующего слова.

Шаг 2: Обычно генератор случайных чисел выбирает один из подходящих кандидатов. При использовании водяного знака ключевая функция берет секретный ключ плюс несколько предыдущих слов и определяет, какие кандидаты являются допустимыми для выбора.

Шаг 3: Это повторяется для всего ответа. Места, где есть несколько правдоподобных вариантов, несут сигнал водяного знака.

Как обнаружить текст с водяным знаком?

Шаг 1: Для любого слова-кандидата в тексте мы проверяем, является ли оно допустимым выбором на основе секретного ключа и нескольких предшествующих слов. Если слово допустимо, это считается совпадением.

Шаг 2: Проверяем это по всему тексту. Текст с водяным знаком совпадает гораздо чаще. Общий процент совпадений можно рассматривать как оценку, сгенерированную ИИ.

Via ByteByteGo

Компания Anthropic выложила отдельный документ, посвященный водяным знакам. Подход Клода основан на SynthID-Text, методе, опубликованном исследователями Google в 2024 году. Для размеченного текста секретный, рандомизированный процесс — называемый в статье Google «генератором начальных значений» — незаметно подталкивает модель к определенным вариантам слов по мере генерации текста. Эти варианты создают шаблон, который впоследствии может быть обнаружен функцией оценки, измеряющей, насколько текст соответствует шаблону. SynthID-Text дает статистический балл, указывающий, насколько сильно фрагмент текста соответствует водяному знаку, связанному с его секретным ключом. Anthropic заявляет о выпуске API, который будет присваивать этот вероятностный балл представленному тексту.
Сигнал водяного знака дает вероятность использования метода Клода, но не является окончательным доказательством сгенерированного текста. Кроме того, возможны ложные отрицательные результаты. Информация, созданная людьми, но обобщенная, переведенная, сжатая или объединенная с синтетической информацией, может содержать сигнал водяного знака.

Модели Claude не генерируют изображения с нуля, но могут редактировать и обрабатывать изображения или генерировать их с помощью кода. Эти изображения будут содержать криптографически подписанные учетные данные в своих метаданных. Метод, называемый C2PA, помогает подтвердить происхождение изображения или видео. C2PA отличается от текстового водяного знака тем, что, в отличие от SynthID-Text, в содержимом ничего не изменяется. Любое программное обеспечение, считывающее учетные данные C2PA, может идентифицировать данные Anthropic, и компания предоставит собственный инструмент проверки.

Компания заявила, что водяные знаки не (i) снижают качество вывода, (ii) не видны читателю, (iii) не требуют дополнительных токенов и не являются более дорогими, а также (iv) не содержат идентифицирующей информации, которая позволила бы отследить текст до пользователя.
Водяные знаки разработаны таким образом, чтобы быть постоянными. Они сохраняются после копирования и вставки, а также после некоторого редактирования. С другой стороны, текст, который сильно отредактирован или перефразирован, и изображения, изображения, из которых удалены метаданные в результате преобразования формата, могут не содержать водяного знака.
В коде и другом детерминированном тексте, как правило, будет меньше водяных знаков. В отличие от прозы, для кода или более точных полей часто существует оптимальный вариант — например, следующий символ для 2 + 2 = неизбежно должен быть 4. Но текстовые водяные знаки все равно будут использоваться в случаях, когда нет детерминированного оптимального варианта, и в комментариях к коду. Это делает код, сгенерированный ИИ, обнаруживаемым.

Объявление вызвало широкую негативную реакцию, многие критики заявили, что водяные знаки неэффективны, вредны или нарушают конфиденциальность пользователей ИИ. Сторонники утверждали, что различение текста, сгенерированного ИИ, и текста, написанного человеком, может фактически помочь инженерам ИИ.

По неофициальным данным, десятки пользователей Claude на X (Twitter) заявили, что отменили свои подписки на Claude. Тем не менее, Anthropic заявила, что не наблюдала заметного увеличения числа отмен.
Некоторые пользователи считают, что незначительные изменения в сгенерированном тексте ухудшат качество результата, несмотря на заверения Anthropic об обратном. Другие опасаются репутационного ущерба, связанного с ложными срабатываниями, и утверждают, что обнаружение водяных знаков недостаточно тонко учитывает особенности использования ИИ. Например, человека, использующего Claude для редактирования, могут обвинить в том, что его сообщения полностью сгенерированы ИИ; юрист может столкнуться с негативной реакцией судей или противоположной стороны из-за помеченного юридического документа, даже если его содержание является точным. Другие специалисты разделяют подобные опасения.
Некоторые критики утверждают, что водяные знаки не обладают достаточной точностью, поскольку помеченный текст потенциально может быть удален путем обработки текста другой моделью ИИ, или потому что детектор API одной компании не может обнаружить текст, сгенерированный другими LLM-моделями. Кроме того, бывший руководитель Microsoft Стивен Синофски заявил на X, что пользователи должны иметь «право на личные мысли, свободные от цифрового следа».
Другие критики опасаются, что Anthropic будет использовать водяные знаки для подтверждения заявлений о копировании или упрощении их моделей другими компаниями в рамках усилий Anthropic по пресечению деятельности конкурентов по всему миру.

Сторонники считают, что прозрачность в отношении использования ИИ — это позитивное развитие. Скотт Ааронсон, профессор информатики, чья работа заложила основу для SynthID-Text, утверждал, что даже если методы обнаружения не идеальны, водяные знаки могут помочь предотвратить академическое мошенничество и плагиат. А некоторые исследователи в области ИИ утверждают, что водяные знаки могут быть полезны для предотвращения неосознанного обучения на синтетическом контенте, что может привести к усилению предвзятости или краху модели в новых генеративных моделях.

Anthropic — не единственная компания, которой придется разработать способ обнаружения сгенерированного текста; она просто первая. Статья 50 Закона ЕС об ИИ требует наличия машиночитаемых водяных знаков для сгенерированного контента, включая текст, изображения, аудио и видео. Однако Anthropic решила применять это правило глобально, а не только в пределах ЕС. Некоторые крупные разработчики ИИ, включая OpenAI, Google, Meta и Microsoft, также подписали Кодекс практики ЕС по прозрачности контента, созданного ИИ, — добровольную систему, демонстрирующую соответствие требованиям Закона об ИИ в отношении маркировки и обозначения контента, созданного ИИ. Эти и другие компании могут использовать различные методы, и еще предстоит выяснить, будут ли они внедрять водяные знаки только в ЕС или во всем мире.

Deeplearning.ai придерживается мнения, что следует регулировать не саму технологию, а случаи использования ИИ в вредных целях. Методы водяных знаков и обнаружения, используемые Anthropic, встроены в технологию, незаметно изменяя сгенерированный текст. Борьба с плагиатом и идентификация синтетического контента для создателей моделей могут быть похвальными целями, но мы предполагаем, что повсеместное использование водяных знаков окажется слишком грубым инструментом, открывающим ящик Пандоры проблем, связанных с конфиденциальностью, качеством результатов и вредными ложными срабатываниями.

Курсы по ИИ-агентам

2026-08-23T11:20:59.906+03:00

Симпатичные курсы (на русском) - Agentic Coding & AI Agents

См. также другие публикации, посвященные агентам

И снова о безопасности ИИ

2026-08-22T12:17:00.000+03:00

Растет количество организаций, занятых исключительно такой тематикой. Вот еще одна новая компания.

"Guidelight — это новая независимая некоммерческая организация, основанная Пейдж Хедли и Стивеном Адлером (оба — бывшие руководители OpenAI по вопросам безопасности), которая сотрудничает с независимыми экспертами, компаниями, занимающимися ИИ, и общественностью для определения важных методов обеспечения безопасности и содействия их внедрению.

В настоящее время компании, работающие в сфере ИИ, недостаточно инвестируют в безопасность, опасаясь отстать от менее осторожных конкурентов. Наша стратегия заключается в устранении этих стимулов и сосредоточении усилий компаний на наиболее важных методах обеспечения безопасности.

У нас есть три взаимодополняющие программы:

1.Стандарты
Мы сочетаем принципы безопасности с конкретными практическими методами, которые их реализуют, синтезируя существующие исследования, мнения экспертов и наш собственный опыт.

2. Оценки
Мы оцениваем текущие методы работы компаний в соответствии с этими стандартами и публикуем результаты, опираясь на общедоступную информацию, достоверные отчеты и заявления компаний.

3. Стимулирование

Мы стимулируем внедрение компаниями более безопасных методов работы, поддерживая сотрудников, заботящихся о безопасности, внутри компании и создавая конкурентное давление со стороны клиентов, инвесторов и общественности.

Для того чтобы решения компаний в области безопасности учитывались общественные интересы, необходима независимость от этих компаний. Guidelight не принимает финансирование от компаний, занимающихся искусственным интеллектом, или от их сотрудников.

Наша цель — коммерческая среда, где безопасность выгодна, где интересы компаний, занимающихся искусственным интеллектом, и общественности совпадают."

И вот их интересный отчет AI Control: An Assessment of Frontier Practices. Согласно своему стандарту были оценены разработки пяти лидирующих компаний: Anthropic, OpenAI, Google, xAI, Meta.

Оценивались 6 практик:

Ведение журналов: регистрируйте действия внутренних ИИ для последующего мониторинга.
Мониторинг эффективности: измеряйте эффективность мониторинга.
Ограниченные действия: требуйте от наблюдателя подтверждения безопасности определенных действий ИИ с высоким риском, прежде чем они вступят в силу.
Предотвращение сбоев: временно останавливайте системы ИИ после всплеска выявленного некорректного поведения.
Независимая экспертиза: привлекайте сторонних специалистов для оценки адекватности мер контроля.
План сдерживания: разработайте план сдерживания некорректно работающей модели.

См. также другие публикации по теме аудит

Секретные проверки

2026-08-21T12:28:00.000+03:00

Белый дом исключает открытые модели из своей системы тестирования передовых возможностей ИИ, сообщили Axios источники, знакомые с ситуацией.

Почему это важно: Добровольная система определит, как администрация Трампа будет проверять передовые модели ИИ перед их выпуском, но Белый дом не публикует её.

Что внутри: Система ИИ, представленная администрацией Трампа, определяет «защищенную передовую модель» как модель с закрытым исходным кодом, обладающую самыми современными возможностями и представляющую угрозу национальной безопасности, сообщили многочисленные источники, знакомые с ходом встреч в Белом доме.

Четкого определения того, что считается передовым или представляющим угрозу национальной безопасности, нет. Открытые модели исключены, и в системе прямо указано, что ничто в ней не должно интерпретироваться как ограничение открытых моделей после их выпуска.

Подробнее: В течение 30-дневного периода предварительной проверки правительством доступ сотрудников к моделям будет ограничен.
Модели будут храниться в средах с высоким уровнем безопасности, и потребуется вести подробные журналы доступа к моделям.
Процесс проверки будет включать в себя различных должностных лиц администрации, а не только одно ведомство или агентство. В целом: Белый дом не планирует публично публиковать структуру, как ранее сообщал Axios.

Белый дом провел встречи на уровне сотрудников с представителями отрасли для проверки структуры, и компании, которые не были приглашены, остаются в неведении относительно ее содержания. Также неясно, какие «доверенные партнеры» получат ранний доступ к передовым моделям в рамках этой структуры, в том числе, будут ли какие-либо иностранные правительства соответствовать критериям.

Контекст: В указе прямо говорится, что процесс оценки передовых кибервозможностей моделей ИИ будет засекречен.
В указе нет требования о публичной публикации добровольной структуры.

Что дальше: По сообщениям источников, знакомых с обсуждениями, во вторник компаниям было рекомендовано делиться с правительством моделями, максимально приближенными к публичному выпуску, а не моделями на ранних стадиях разработки.

Многие компании с менее продвинутыми системами, по всей видимости, останутся вне этой структуры, сообщили источники.