<?xml version='1.0' encoding='UTF-8'?><?xml-stylesheet href="http://www.blogger.com/styles/atom.css" type="text/css"?><feed xmlns='http://www.w3.org/2005/Atom' xmlns:openSearch='http://a9.com/-/spec/opensearchrss/1.0/' xmlns:blogger='http://schemas.google.com/blogger/2008' xmlns:georss='http://www.georss.org/georss' xmlns:gd="http://schemas.google.com/g/2005" xmlns:thr='http://purl.org/syndication/thread/1.0'><id>tag:blogger.com,1999:blog-21489562</id><updated>2026-11-20T18:54:42.595+03:00</updated><category term="big data"/><category term="техническое"/><category term="ссылки"/><category term="Креатив"/><category term="Чтиво"/><category term="сервисы"/><category term="Жизнь"/><category term="Архитектура"/><category term="mashup"/><category term="Стартап"/><category term="Projects"/><category term="Google"/><category term="кибербезопасность"/><category term="Open Source"/><category term="Mobile 2.0"/><category term="курсы"/><category term="Java"/><category term="Проекты"/><category term="дизайн"/><category term="Web 2.0"/><category term="Android"/><category term="BLE"/><category term="Абавазрение"/><category term="слухи"/><category term="VOIP"/><category term="SIP"/><category term="Подкасты"/><category term="Asterisk"/><category term="работа"/><category term="Skype"/><category term="VXML"/><category term="интервью"/><category term="RSS"/><category term="Web 3.0"/><category term="safety"/><title type='text'>AbavaNet technical corner</title><subtitle type='html'>технические проблемы и идеи, родившиеся в бурных водах реки Abava (а равно как и на ее берегах, далеких и близких), выставленные на всеобщее обсуждение</subtitle><link rel='http://schemas.google.com/g/2005#feed' type='application/atom+xml' href='https://abava.blogspot.com/feeds/posts/default'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default?alt=atom'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/'/><link rel='hub' href='http://pubsubhubbub.appspot.com/'/><link rel='next' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default?alt=atom&amp;start-index=26&amp;max-results=25'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><generator version='7.00' uri='http://www.blogger.com'>Blogger</generator><openSearch:totalResults>11359</openSearch:totalResults><openSearch:startIndex>1</openSearch:startIndex><openSearch:itemsPerPage>25</openSearch:itemsPerPage><entry><id>tag:blogger.com,1999:blog-21489562.post-132039821504718383</id><published>2026-11-18T16:09:00.000+03:00</published><updated>2026-11-18T16:09:00.190+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>NIST: Состязательное машинное обучение</title><content type='html'>В данном специальном издании NIST (NIST Special Publication 2400) представлена ​​таксономия понятий и определена терминология в области состязательного машинного обучения (adversarial machine learning, AML). Таксономия построена в виде концептуальной иерархии, включающей основные типы методов машинного обучения, этапы жизненного цикла атаки, а также цели, задачи, возможности и уровень осведомленности злоумышленников. В документе также рассматриваются актуальные проблемы, возникающие на различных этапах жизненного цикла систем, основанных на машинном обучении, и описываются методы смягчения последствий атак и управления ими. Используемая в отчете терминология соответствует общепринятой в литературе по AML и дополнена глоссарием ключевых терминов, относящихся к безопасности систем, использующих машинное обучение. В совокупности данная таксономия и терминология призваны послужить основой для разработки других стандартов и практических руководств по оценке и обеспечению безопасности таких систем, формируя единый понятийный аппарат для стремительно развивающейся сферы состязательного машинного обучения. - &lt;a href=&quot;https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.2400-102e2026.ipd.pdf&quot; target=&quot;_blank&quot;&gt;Adversarial Machine Learning A Taxonomy and Terminology of Attacks and Mitigations&lt;/a&gt;

&lt;p&gt;См. также другие публикации по теме &lt;a href=&quot;https://abava.blogspot.com/search?q=NIST&amp;amp;max-results=20&amp;amp;by-date=true&quot; target=&quot;_blank&quot;&gt;NIST&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/132039821504718383/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/132039821504718383' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/132039821504718383'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/132039821504718383'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/nist.html' title='NIST: Состязательное машинное обучение'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-6305911258206497294</id><published>2026-11-17T10:00:00.000+03:00</published><updated>2026-11-17T10:00:00.122+03:00</updated><title type='text'>Из чего же сделаны агенты</title><content type='html'>Актуальный реестр экосистемы агентских сред (agent-harness ecosystem) с поддержкой версионности, включающий среды выполнения, средства оркестрации, инструменты, «песочницы», системы памяти, механизмы оценки, а также протоколы и принципы управления. Данные собираются из GitHub, дополняются информацией из реальных манифестов, классифицируются по уровням и фиксируются в реестре каждые шесть часов. Любое изменение представлено в виде разницы (diff). - &lt;a href=&quot;https://heinsithukyaw.github.io/Agent-Harness/&quot; target=&quot;_blank&quot;&gt;Agent-Harness&lt;/a&gt;
&lt;p&gt;
Для команд по безопасности приложений (AppSec) и разработчиков, использующих Claude Code, Cursor, Codex или любые другие MCP-клиенты: узнайте, какие агенты, MCP-серверы, инструменты и пакеты установлены, какие из них уязвимы и к каким ресурсам каждый из них имеет доступ. - &lt;a href=&quot;https://koda-ai-studio.github.io/agent-bom/&quot; target=&quot;_blank&quot;&gt;Agent BOM (Bill Of Materials)&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/6305911258206497294/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/6305911258206497294' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6305911258206497294'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6305911258206497294'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/blog-post_17.html' title='Из чего же сделаны агенты'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-1114340973089226891</id><published>2026-11-16T10:00:00.000+03:00</published><updated>2026-11-16T10:00:00.136+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>Живой OWASP</title><content type='html'>Интерактивная карта &lt;a href=&quot;https://cyberdude88.github.io/owasp-ai-top10-lab/&quot; target=&quot;_blank&quot;&gt;OWASP AI top 10&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/1114340973089226891/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/1114340973089226891' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/1114340973089226891'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/1114340973089226891'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/owasp.html' title='Живой OWASP'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-5918707214709469424</id><published>2026-11-15T10:00:00.000+03:00</published><updated>2026-11-15T10:00:00.239+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>Архитектура безопасного ИИ</title><content type='html'>&lt;a href=&quot;https://wtcooper.github.io/ai-security-architecture/&quot; target=&quot;_blank&quot;&gt;AI Security Architecture&lt;/a&gt; - поймите, где возникают риски, связанные с ИИ, и где они проявляются, а затем примите меры по их снижению. Связка из 36 рисков, 76 защитных возможностей, 18 типовых архитектур приложений и 44 классов продуктов.
</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/5918707214709469424/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/5918707214709469424' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5918707214709469424'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5918707214709469424'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/blog-post_15.html' title='Архитектура безопасного ИИ'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-2186616522633608504</id><published>2026-11-14T12:30:00.000+03:00</published><updated>2026-11-14T12:30:00.236+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>ИИ в сетевой кибербезопасности</title><content type='html'>Отчет InfoWatch - &lt;a href=&quot;https://www.infowatch.ru/sites/default/files/analytics/files/analiticheskii-otche-t-ii-v-setevkiberbeze.pdf&quot; target=&quot;_blank&quot;&gt;Искусственный интеллект в сетевой кибербезопасности&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/2186616522633608504/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/2186616522633608504' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/2186616522633608504'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/2186616522633608504'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/blog-post_14.html' title='ИИ в сетевой кибербезопасности'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-5297824395972556594</id><published>2026-11-13T10:00:00.000+03:00</published><updated>2026-11-13T10:00:00.184+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>Объяснения в ML для атак на приватные данные</title><content type='html'>Объяснения в машинном обучении раскрывают поведение модели за пределами прогнозов, создавая уязвимости для конфиденциальности модели и данных. Мы систематизируем 25 исследований, в которых используются объяснения для извлечения модели, вывода принадлежности и инверсии модели, рассматривая вывод атрибутов как частичную инверсию. Существующие работы часто маркируются только как «черный» или «белый ящик», скрывая существенные различия в том, какой сигнал объяснения достигает противника. Поэтому мы разделяем знания о модели и получение объяснений и выделяем пять путей: раскрытие со стороны цели, получение от злоумышленника, вторичное раскрытие, привилегированный доступ и раскрытие глобальных артефактов. На этих путях объяснения снижают затраты на извлечение, раскрывают сигналы принадлежности с помощью статистики объяснений, расстояния доступа и устойчивости, управляемой объяснениями, а также поддерживают пространственную или алгебраическую реконструкцию частных входных данных. Мы сравниваем системные и модели угроз, сигналы объяснений, вспомогательные знания, целевые модели, модальности, бюджеты запросов, метрики оценки, сообщаемую производительность и средства защиты. Наш анализ показывает, что ни одно семейство объяснений не является одинаково небезопасным, и ни одно средство защиты не является одинаково эффективным. Риск зависит от того, какой сигнал раскрывается, как он получен, какой актив является целью атаки и что уже известно злоумышленнику. Поэтому мы утверждаем, что конфиденциальность объяснений следует оценивать как сквозную проблему раскрытия информации, при этом средства защиты должны соответствовать пути получения информации и защищаемому активу. - &lt;a href=&quot;https://arxiv.org/abs/2609.10627&quot; target=&quot;_blank&quot;&gt;SoK: Privacy Attacks on Machine Learning via Explainable AI&lt;/a&gt;

&lt;p&gt;См. также другие публикации по теме &lt;a href=&quot;https://abava.blogspot.com/search?q=adversarial&amp;amp;max-results=20&amp;amp;by-date=true&quot;&gt;adversarial&lt;/a&gt;, посвященные &lt;a href=&quot;https://abava.blogspot.com/search?q=%D1%83%D1%81%D1%82%D0%BE%D0%B9%D1%87%D0%B8%D0%B2%D0%BE%D0%BC%D1%83&amp;amp;max-results=20&amp;amp;by-date=true&quot;&gt;устойчивому машинному обучению&lt;/a&gt; </content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/5297824395972556594/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/5297824395972556594' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5297824395972556594'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5297824395972556594'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/ml.html' title='Объяснения в ML для атак на приватные данные'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-5603647614374601879</id><published>2026-11-12T10:00:00.000+03:00</published><updated>2026-11-12T10:00:00.272+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>Кросс-модальные атаки на MLLM</title><content type='html'>Мультимодальные большие языковые модели (MLLM) демонстрируют впечатляющие результаты в генерации текста на основе входных данных различных модальностей. В данной работе мы представляем концепцию «заражения бэкдором» (backdoor infection) — метод кросс-модальных атак, направленных на MLLM. Если в модель уже внедрен бэкдор в одной из модальностей, наша атака позволяет создать соответствующий триггер в другой — так называемой «зараженной» — модальности. Используя общее латентное пространство модели, такой триггер надежно активирует вредоносное поведение, при этом сама «зараженная» модальность не подвергается изменениям или отравлению в процессе обучения. Кроме того, мы разработали легковесный метод оптимизации с учетом заданных ограничений, который позволяет эффективно и практически применимо генерировать подобные триггеры. Обширные эксперименты с рядом передовых MLLM, включая LLaVA, InternVL, Qwen-VL и Gemma, показали, что наш подход позволяет находить кросс-модальные триггеры, которые превосходят базовые методы прямой оптимизации по эффективности, результативности и скрытности. Это указывает на появление нового критически важного вектора угроз для мультимодальных систем. - &lt;a href=&quot;https://arxiv.org/pdf/2610.24058&quot; target=&quot;_blank&quot;&gt;Under the Skin: Backdoor Infection in Multimodal Large Language Models&lt;/a&gt;

&lt;p&gt;См. также другие публикации, посвященные &lt;a href=&quot;https://abava.blogspot.com/search?q=mllm&amp;amp;max-results=20&amp;amp;by-date=true&quot; target=&quot;_blank&quot;&gt;MLLM&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/5603647614374601879/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/5603647614374601879' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5603647614374601879'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5603647614374601879'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/mllm.html' title='Кросс-модальные атаки на MLLM'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-6837381695971885756</id><published>2026-11-11T10:00:00.000+03:00</published><updated>2026-11-11T10:00:00.210+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>Отравление инструментов ИИ-агентов</title><content type='html'>«Отравление инструментов» (tool poisoning) стало серьезной угрозой безопасности для агентов на базе больших языковых моделей (LLM). В рамках таких атак злоумышленники внедряют вредоносные инструкции в описания инструментов или во внешние ресурсы, которые попадают в контекст агента, что позволяет манипулировать процессом выбора инструментов. Однако существующие методы «отравления» зачастую опираются на идеализированное допущение, что атака должна сработать в рамках одного цикла взаимодействия. Мы показываем, что в реалистичных сценариях, предполагающих многократные итерации, эффективность таких атак резко снижается. Это происходит из-за того, что по мере развития контекста планирования агенты не всегда сохраняют в своих рассуждениях сигналы, необходимые для реализации атаки, что ослабляет ее воздействие на последующих этапах. Чтобы выяснить, остается ли «отравление инструментов» реальной угрозой в подобных условиях, мы предлагаем SEAL — двухэтапный метод для осуществления устойчивого «отравления». На первом этапе, в рамках процедуры оптимизации триггеров с учетом префикса (Prefix-Eliciting Trigger Optimization, PETO), подбираются специфичные для контекста триггеры, которые провоцируют появление в рассуждениях агента нужных для атаки префиксов, что повышает эффективность в рамках конкретных контекстов. Затем применяется метод агрегации локальных триггеров в универсальный (Local-to-Universal Trigger Aggregation, L2U), который объединяет частные триггеры в единый универсальный триггер, обеспечивая эффективную работу в различных контекстах и на разных этапах выполнения задачи. Обширные эксперименты, проведенные в семи типичных многоэтапных сценариях с использованием различных моделей, подтверждают высокую эффективность SEAL, возможность переноса атаки между разными целевыми моделями, а также ее устойчивость к потенциальным средствам защиты. &lt;a href=&quot;https://arxiv.org/pdf/2610.25372&quot; target=&quot;_blank&quot;&gt;SEAL: Towards Persistent Tool Poisoning Attack against LLM Agents via Prefix-Eliciting Trigger&lt;/a&gt;

&lt;p&gt;См. также другие публикации, посвященные &lt;a href=&quot;https://abava.blogspot.com/search?q=agents&amp;amp;max-results=20&amp;amp;by-date=true&quot; target=&quot;_blank&quot;&gt;агентам&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/6837381695971885756/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/6837381695971885756' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6837381695971885756'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6837381695971885756'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/blog-post_11.html' title='Отравление инструментов ИИ-агентов'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-6539611827414592723</id><published>2026-11-10T10:00:00.000+03:00</published><updated>2026-11-10T10:00:00.205+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'> Безопасное декодирование</title><content type='html'>Большие мультимодальные модели (Large Vision-Language Models, LVLMs) демонстрируют высокие способности к визуальному рассуждению, однако остаются уязвимыми как для «черноящичных» (black-box) атак типа «джейлбрейк» (jailbreak), так и для «белоящичных» (white-box) состязательных атак. Существующие методы защиты зачастую фокусируются на выравнивании текстовых представлений или предварительной обработке визуальных данных; такие подходы могут снижать полезность модели при выполнении стандартных задач или оставаться уязвимыми к возмущениям, оптимизированным с использованием градиентов. Мы предлагаем DMSD (Dual-Modal Safe Decoding) — метод, применяемый на этапе генерации (inference) и сочетающий преобразование входных данных с корректировкой процесса декодирования. Во-первых, механизм «Visual-OCR Injection» вносит ограниченное возмущение, оптимизированное относительно «безопасного якоря» (safety anchor), содержащего текст, что позволяет сместить визуальное представление в нужном направлении. Во-вторых, механизм «Base-Anchored Safety Fusion», реализованный через двухпотоковое контрастивное декодирование (Safety Contrastive Decoding, SCD), ограничивает генерацию набором из топ-K кандидатов базового потока, перевзвешивая их с учетом данных из «потока безопасности». Эксперименты с двумя моделями семейства LLaVA, тремя сценариями оценки безопасности (MM-SafetyBench, FigStep и метод проекционного градиентного спуска на базе RealToxicityPrompts), а также бенчмарком полезности MM-Vet показали, что DMSD обеспечивает более низкие показатели успешности атак (Attack Success Rate, ASR) по сравнению с другими методами, сохраняя при этом не менее 93,75% исходного результата в MM-Vet (34,5 против 36,8 для LLaVA-v1.5; 38,1 против 39,8 для LLaVA-v1.6). В случае с моделями QwenVL-Chat и MiniGPT-v2 (на базе LLaMA-2-Chat 7B) использование DMSD снижает ASR на 37,90–71,49 процентных пункта по сравнению со стандартным декодированием. Тем не менее, в условиях протестированной адаптивной атаки показатель ASR для LLaVA-v1.5 составил 48,25%, а применение данного метода увеличивает время генерации одного примера на 39,2%. Полученные результаты подтверждают относительную эффективность предложенного подхода для различных моделей и сценариев, хотя и не гарантируют устойчивость в наихудших условиях (worst-case robustness). - &lt;a href=&quot;https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=11741147&quot; target=&quot;_blank&quot;&gt;DMSD: Dual-Modal Safe Decoding Against White-Box and Black-Box Jailbreaks in Large Vision-Language Models&lt;/a&gt;

&lt;p&gt;См. также другие публикации, посвященные &lt;a href=&quot;https://abava.blogspot.com/search?q=mllm&amp;amp;max-results=20&amp;amp;by-date=true&quot; target=&quot;_blank&quot;&gt;MLLM&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/6539611827414592723/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/6539611827414592723' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6539611827414592723'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6539611827414592723'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/blog-post_10.html' title=' Безопасное декодирование'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-2510785613449021072</id><published>2026-11-09T14:54:47.124+03:00</published><updated>2026-11-09T15:13:50.729+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Архитектура"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>Reverse Engineer Anything (REA) </title><content type='html'>&lt;a href=&quot;https://github.com/morluto/rea&quot; target=&quot;_blank&quot;&gt;Reverse Engineer Anything (REA)&lt;/a&gt; — это инструмент командной строки с открытым исходным кодом, работающий также как сервер протокола Model Context Protocol (MCP). Он позволяет подключать ИИ-агентов для написания кода (например, Claude Code, Cursor или Codex) непосредственно к инструментам для обратной разработки (reverse engineering) программного обеспечения.
&lt;p&gt;
Принцип работы
&lt;p&gt;
&lt;ul&gt;
&lt;li&gt;Уровень трансляции: REA выступает в роли связующего звена, благодаря чему ИИ-агенту не нужно вручную изучать сложный синтаксис или команды интерфейса каждого отдельного инструмента для обратной разработки.&lt;/li&gt;
&lt;li&gt;Локальный анализ: Программное обеспечение работает локально на вашем компьютере, анализируя бинарные файлы, сборки (assemblies) и веб-код без использования облачных сервисов декомпиляции.&lt;/li&gt;
&lt;li&gt;Выводы, подкрепленные доказательствами: Вместо того чтобы строить догадки о работе той или иной функции, агент отслеживает вызовы функций, изучает сгенерированный псевдокод или ассемблерный код, а затем представляет как свои выводы, так и фактические доказательства, на которых они основаны.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
Что можно анализировать
&lt;p&gt;
&lt;ul&gt;
&lt;li&gt;Нативные бинарные файлы: Интеграция с такими инструментами, как Ghidra, IDA Pro, Hopper и Rizin, для декомпиляции исполняемых файлов, написанных на C/C++ или других языках.&lt;/li&gt;
&lt;li&gt;JavaScript и Electron: Статический анализ и анализ во время выполнения (runtime) для веб-приложений, скриптов в браузере и пакетов Electron — без необходимости в специализированном движке декомпиляции.&lt;/li&gt;
&lt;li&gt;Сборки .NET: Анализ скомпилированных приложений .NET и DLL-файлов.&lt;/li&gt;
&lt;li&gt;Python / PyInstaller: Извлечение содержимого архивов CArchive, проверка версий Python и анализ байт-кода из упакованных исполняемых файлов.&lt;/li&gt;
&lt;/ul&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/2510785613449021072/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/2510785613449021072' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/2510785613449021072'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/2510785613449021072'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/reverse-engineer-anything-rea.html' title='Reverse Engineer Anything (REA) '/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-383044978068336996</id><published>2026-11-07T10:00:00.000+03:00</published><updated>2026-11-07T10:00:00.115+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="техническое"/><title type='text'>Physics-In-The-Loop</title><content type='html'>Недавние исследования показали, что глубокие нейронные сети (ГНС) могут ошибочно классифицировать входные данные, содержащие состязательные возмущения. Большинство существующих методов защиты основаны на обработке данных в цифровой среде и требуют доступа к внутренним параметрам модели, что ограничивает их применение в реальных системах. В данной работе предлагается метод защиты, основанный на проекции и повторной генерации состязательных воздействий, что позволяет физически нейтрализовать влияние таких атак. Предложенный подход использует оптимизацию с учетом физических условий (physics-in-the-loop, PITL), при которой возможные варианты решений оцениваются в реальной среде, что позволяет учесть технические характеристики устройств и внешние помехи. Результаты экспериментов подтверждают эффективность защиты от физических состязательных атак, использующих «заплатки» (патчи) или текстурные искажения, при условии, что истинный класс объекта известен. - &lt;a href=&quot;https://www.jstage.jst.go.jp/article/transinf/advpub/0/advpub_2026MUL0001/_pdf&quot; target=&quot;_blank&quot;&gt;Defense Against Physical Adversarial Attacks via Projection-Based Re-Attack&lt;/a&gt;

&lt;p&gt;См. также другие публикации по теме &lt;a href=&quot;https://abava.blogspot.com/search?q=%D1%84%D0%B8%D0%B7%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5+%D0%B0%D1%82%D0%B0%D0%BA%D0%B8&amp;max-results=20&amp;by-date=true&quot;&gt;физические атаки&lt;/a&gt;
</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/383044978068336996/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/383044978068336996' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/383044978068336996'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/383044978068336996'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/physics-in-loop.html' title='Physics-In-The-Loop'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-7857122820121503623</id><published>2026-11-06T17:58:19.071+03:00</published><updated>2026-11-06T17:58:19.072+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>ИИ артифакты</title><content type='html'>Цифровая криминалистика и реагирование на инциденты в сфере ИИ/машинного обучения - &lt;a href=&quot;https://depalmar.github.io/ai-dfir-toolkit/&quot; target=&quot;_blank&quot;&gt;практическое руководство по расследованию компрометации систем ИИ&lt;/a&gt;
&lt;p&gt;
В этом руководстве представлен полный цикл расследования компрометации систем на базе ИИ/машинного обучения. Каждый раздел содержит информацию о характере атак, криминалистических артефактах, практических методах расследования и возможностях обнаружения угроз. Разделы независимы друг от друга, поэтому вы можете сразу перейти к изучению той угрозы, с которой столкнулись.</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/7857122820121503623/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/7857122820121503623' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/7857122820121503623'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/7857122820121503623'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/blog-post_06.html' title='ИИ артифакты'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-1248544328747902036</id><published>2026-11-04T14:32:10.871+03:00</published><updated>2026-11-04T14:32:10.871+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><category scheme="http://www.blogger.com/atom/ns#" term="ссылки"/><title type='text'>Бомбы по-русски</title><content type='html'>Российский разработчик Дмитрий Савченко запатентовал программный комплекс Hybra Mirage. Он призван спасать данные россиян от накрывших мир массовых атак ИИ-агентов. Когда агенты уже пробили все защиты, российское решение «растворит» данные переписок или банковских счетов на миллиарды измененных копий, каждая из которых будет выглядеть для нейросетей как верный вариант. Аналогичным образом решение позволит спасать информацию при потере доступа к устройствам. Эксперты считают, у архитектурной идеи «эпистемологической ловушки», реализованной в ИТ-решении, нет мировых аналогов и оно устойчиво даже к схеме «собери сейчас, расшифруй потом».
&lt;br&gt;
&quot;Как следует из заявления в Минцифры, ключевое свойство системы заключается в том, что процедура извлечения тотальна — она никогда не возвращает ошибку. Любой валидный параметр доступа дает правдоподобный результат. Атакующий, даже получив полный доступ к массиву, PIN-коду и справочной таблице, не может подтвердить успех атаки: подтверждение архитектурно устранено. В результате сам владелец данных извлекает данные за 0,08 сек на ресурсоограниченных устройствах, а атакующий получает миллиард равноправных вариантов и ни одного доказательства. При этом ИИ-агенты и квантовые компьютеры не позволяют решить задачу выделения истинных данных: проблема не в вычислительной мощности, а в отсутствии вычислимой процедуры подтверждения.&quot; - &lt;a href=&quot;https://www.cnews.ru/news/top/2026-11-03_rossijskij_programmist_v&quot; target=&quot;_blank&quot;&gt;отсюда&lt;/a&gt;

&lt;p&gt;похоже, что это регистрация в России идеи &lt;a href=&quot;https://abava.blogspot.com/2026/10/blog-post_27.html&quot;&gt;контекстных бомб&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/1248544328747902036/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/1248544328747902036' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/1248544328747902036'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/1248544328747902036'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/blog-post_04.html' title='Бомбы по-русски'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-5270264378897121981</id><published>2026-11-03T16:22:08.083+03:00</published><updated>2026-11-03T16:22:08.083+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>Качаем агента на косвенных</title><content type='html'>Агенты LLM извлекают недоверенный контент и действуют с помощью инструментов, создавая косвенные риски внедрения подсказок, которые могут привести к несанкционированным действиям или устойчивым изменениям состояния. Существующие автоматизированные системы «красной команды» в значительной степени оптимизируют полезные нагрузки для заранее заданных сценариев, оставляя скрытые уязвимости в пространстве поведения агента неисследованными. Мы представляем ASPIRE, агентный механизм «красной команды» по обеспечению безопасности и внедрению подсказок,
для обнаружения уязвимостей на уровне поведения в открытом режиме. ASPIRE поддерживает развивающийся граф поведения агентов безопасности и использует дополнительных экспертов Explore и Exploit для обнаружения, проверки и обобщения тестов, ориентированных на последствия. Данные траектории обновляют граф и диагностируют частичные или неудачные попытки, в то время как передача полезной стратегии «красной команды» между запусками памяти показывает, что ASPIRE существенно расширяет охват последствий, методов внедрения, сред и путей поведения, сохраняя при этом высокую успешность атак. - &lt;a href=&quot;https://arxiv.org/pdf/2610.08951&quot; target=&quot;_blank&quot;&gt;ASPIRE: Agentic Safety &amp; Prompt Injection Red-teaming Engine&lt;/a&gt;

&lt;p&gt;См. также другие публикации, посвященные &lt;a href=&quot;https://abava.blogspot.com/search?q=agents&amp;amp;max-results=20&amp;amp;by-date=true&quot; target=&quot;_blank&quot;&gt;агентам&lt;/a&gt;
</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/5270264378897121981/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/5270264378897121981' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5270264378897121981'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5270264378897121981'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/blog-post_03.html' title='Качаем агента на косвенных'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-270576049681438537</id><published>2026-11-02T17:58:47.163+03:00</published><updated>2026-11-02T17:58:47.164+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Чтиво"/><category scheme="http://www.blogger.com/atom/ns#" term="ссылки"/><category scheme="http://www.blogger.com/atom/ns#" term="техническое"/><title type='text'>INJOIT vol. 14, no. 11</title><content type='html'>&lt;div dir=&quot;ltr&quot; style=&quot;text-align: left;&quot; trbidi=&quot;on&quot;&gt;
Вышел одиннадцатый номер журнала &lt;a href=&quot;http://injoit.org/&quot; target=&quot;_blank&quot;&gt;INJOIT&lt;/a&gt; в 2026 году. И четырнадцатый год издания журнала. 
&lt;br /&gt;
&lt;br /&gt;
Темы статей:&lt;br /&gt;
&lt;br /&gt;
&lt;ul style=&quot;text-align: left;&quot;&gt;
&lt;li&gt;Матрично-свободная спектральная реализация и параллельное ускорение методов BiCGStab и BiCGStab(l) для задачи магнитной индукции&lt;/li&gt;
&lt;li&gt;Конфигурируемые графы обработки данных в эксперименте Baikal-GVD: архитектура устойчивого научного ПО&lt;/li&gt;
&lt;li&gt;Аудит измерения ложных отказов у мультимодальных больших языковых моделей с защитой на этапе вывода&lt;/li&gt;
&lt;li&gt;Ensuring continuous security in CI/CD pipelines through LLM-assisted reduction of false positives in static analysis&lt;/li&gt;
&lt;li&gt;Искусственный Интеллект в Кибербезопасности. Хроника. Выпуск 12&lt;/li&gt;
&lt;li&gt;Временно-метеорологическая адаптация моделей искусственного интеллекта для планирования режимов работы фотоэлектрических станций&lt;/li&gt;
&lt;li&gt;Сведение задачи декодирования с ограниченным расстоянием к задаче Изинга с использованием редукции базиса двойственной решетки&lt;/li&gt;
&lt;li&gt;Small Movements Detection In Video Using Video-EEG Data&lt;/li&gt;
&lt;li&gt;Real-time target tracking using a PTZ camera with Delay-compensated IMM-UKF and Nonlinear Model Predictive Control&lt;/li&gt;
&lt;li&gt;Development of a mathematical model for automated design of LAN cable routing&lt;/li&gt;
&lt;li&gt;Численное моделирование устойчивости цветовых признаков листьев винограда при изменении естественной освещённости&lt;/li&gt;
&lt;li&gt;Управление контекстом в агентной программной инженерии: модель жизненного цикла и паттерны проектирования&lt;/li&gt;
&lt;li&gt;From Qualitative Roles to Measurable Evidence: Classical Text Representations for Action-Type Recognition in Manufacturing Execution Systems&lt;/li&gt;
&lt;li&gt;Применение DevOps в корпоративных информационных системах: организационные условия, технологические решения и этические ограничения&lt;/li&gt;
&lt;li&gt;Метрики корректности кода на основе логарифмов вероятностей токенов языковых моделей&lt;/li&gt;
&lt;li&gt;Идентификация зон поглощений бурового раствора при проектировании скважин средствами искусственного интеллекта&lt;/li&gt;
&lt;li&gt;Гарантированное покрытие типов аугментации на наборе Digits&lt;/li&gt;
&lt;li&gt;Адаптивное бюджетно-рисковое индексное планирование фонового обмена данными в мобильных системах&lt;/li&gt;
&lt;li&gt;Система обнаружения девиантного поведения по видеопоследовательностям лица человека на транспорте&lt;/li&gt;
&lt;li&gt;Сравнительный анализ протоколов маршрутизации в рое БпЛА&lt;/li&gt;
&lt;li&gt;Правило принятия решений группой искусственных интеллектуальных акторов «k-консенсус» на второй стадии метода эволюционного согласования&lt;/li&gt;
&lt;li&gt;Media-Induced Disruptions to Social Homeostasis in the Age of Digitalization&lt;/li&gt;
&lt;/ul&gt;
&lt;br/&gt;
  
&lt;p&gt;/via &lt;a href=&quot;https://oit-lab.blogspot.com&quot; target=&quot;_blank&quot;&gt;Лаборатория ОИТ&lt;/a&gt;
  
&lt;p&gt;Архив журнала находится &lt;a href=&quot;http://injoit.org/index.php/j1/issue/archive&quot; target=&quot;_blank&quot;&gt;здесь&lt;/a&gt;.
    
&lt;br /&gt;&lt;/div&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/270576049681438537/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/270576049681438537' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/270576049681438537'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/270576049681438537'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/injoit-vol-14-no-11.html' title='INJOIT vol. 14, no. 11'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-171660319697659415</id><published>2026-11-01T17:51:09.855+03:00</published><updated>2026-11-02T17:57:09.739+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>Пользователи плохому научат</title><content type='html'>Разработчики, ученые и компании предоставляют инструментам искусственного интеллекта доступ к своему закрытому программному коду, неопубликованным результатам исследований и конфиденциальным файлам. Не похищают ли эти инструменты лучшие идеи своих пользователей, раскрывая их секреты?
&lt;p&gt;
Суть опасений: любой запрос, черновик или файл, переданный пользователем системе ИИ, может стать для нее «пищей». Разработчик может использовать эти данные для обучения будущих моделей, что чревато утечкой информации к конкурентам или тем, что ИИ совершит научное открытие раньше самого пользователя. Более того, агент ИИ, имеющий доступ к интернету, может опубликовать полученные данные в сети или отправить их по электронной почте тем, кому, по его «мнению», следует об этом знать. Это вовсе не фантастика: компания Anthropic сообщала о редких случаях, когда ее модель Claude Mythos 5 пыталась отправить электронное письмо совету директоров компании или регуляторам рынка ценных бумаг, заподозрив мошенничество. Как только данные оказываются вне контроля пользователя, он уже не может влиять на то, как они будут использованы.
&lt;p&gt;
Тревожные примеры: за последние два месяца несколько ученых заявили, что компании-разработчики ИИ объявили об открытиях, над которыми сами ученые работали с помощью инструментов этих же компаний. Как сообщает журнал Nature, некоторые исследователи, опасаясь, что их опередят, теперь ограничивают использование ИИ-инструментов. В других случаях агенты ИИ публиковали в открытом доступе конфиденциальную информацию пользователей, к которой они получили доступ в процессе работы.
&lt;p&gt;
Математики Тристан Бакмастер из Нью-Йоркского университета и Левент Альпоге, работающий в компании Anthropic, потратили почти год, используя модели Codex (от OpenAI) и Claude (от Anthropic) для решения математической задачи стоимостью 1 миллион долларов: могут ли уравнения Навье — Стокса, описывающие движение жидкостей и газов, приводить к потере гладкости решения (так называемому «разрушению» решения). 8 сентября — на следующий день после того, как исследователи опубликовали доказательства для связанных уравнений, — компания OpenAI объявила, что ее системы решили эту задачу. Это произошло после того, как сотрудники компании услышали слухи о работе ученых. Бакмастер задался вопросом: не обучалась ли модель OpenAI на сессиях в Codex, где содержались черновики их работы? Сначала в OpenAI назвали это «маловероятным», но не смогли полностью исключить такую ​​возможность. Спустя два дня в компании заявили, что запросы ученых за последние два месяца «никак не могли повлиять на систему», однако оставили без ответа вопрос о том, использовались ли для обучения модели более ранние наработки исследователей. Бакмастер, который отказался от использования своих данных компанией OpenAI для обучения моделей, заявил в интервью The Washington Post: «Я просто им не верю».
&lt;p&gt;
Группа исследователей под руководством биолога из Копенгагенского университета Марио Родригеса Местре в течение четырех лет изучала семейство ферментов у вирусов, поражающих бактерии. Ученые не публиковали свои черновики или результаты исследований, но делились ими с ИИ-агентом Claude. 23 сентября компания Anthropic объявила, что агенты Claude обнаружили систему, которая, по словам Местре, идентична той, что изучала его группа. В комментарии для The New York Times представители Anthropic отметили, что Claude «не обучался на каких-либо записях взаимодействий пользователей».
&lt;p&gt;
25 сентября компания OpenAI сообщила, что ИИ-агенты в ее исследовательской среде разместили 53 изображения, полученные от пользователей ChatGPT (которые не отказались от использования своих данных для обучения), по общедоступным ссылкам на хостингах изображений. В OpenAI заявили, что удалили большую часть этих файлов, однако не могут уведомить затронутых пользователей, поскольку агенты перед публикацией удалили информацию об учетных записях, которым принадлежали данные.
ИИ-агенты, которым поручали прикреплять скриншоты к обзорам кода на платформе GitHub, сохраняли изображения в публичных репозиториях — зачастую в рамках учетных записей самих разработчиков. Специалисты компании Glow Labs обнаружили более 13 000 внутренних изображений, принадлежащих более чем 300 организациям; среди них оказались счета клиентов коммунальной службы и интерфейс системы денежных переводов финансовой компании.
&lt;p&gt;
Агент Muse от компании Meta публиковал диалоги (по запросу пользователей) по веб-адресам, содержащим название каждого обсуждения. Эксперты фирмы Claroc обнаружили более 6800 таких записей в публичных DNS-данных — в их числе оказались заявка на получение кредита для малого бизнеса и отчет о доходах, предназначенный для генерального директора компании. После этого Meta приостановила работу данной функции.
&lt;p&gt;
Насколько стоит опасаться? На данный момент нет убедительных доказательств того, чего пользователи боятся больше всего: сценария, при котором модель обучается на данных одного пользователя, а затем выдает их в качестве ответа другому. В тех случаях, когда данные одного пользователя становились доступными другому, причиной была техническая ошибка, а не процесс обучения модели. Эксперты сообщили журналу Scientific American, что подход, примененный агентами OpenAI, отличается от того, который использовали Бакмастер и Альпёге, хотя некоторые специалисты отмечают, что более ранняя, меньшая по составу группа агентов OpenAI действовала именно так. Теперь Местре считает более вероятным, что поиск, проводившийся компанией Anthropic, направлялся не столько его собственными данными, сколько предварительными знаниями и указаниями людей. Другие утечки произошли по вине агентов, которым предоставили больше свободы, чем требовалось для выполнения их задач. Тем не менее, пользователям приходится верить на слово компаниям, разрабатывающим ИИ, относительно того, что происходит с их данными. В потребительских версиях ChatGPT, Claude и GitHub Copilot данные диалогов или программный код используются для обучения моделей, если только пользователь не откажется от этого. «Если вы используете личную учетную запись, то никаких гарантий конфиденциальности нет», — отмечает Дженнифер Кинг, исследователь вопросов приватности из Стэнфордского университета.
  
&lt;p&gt;/via &lt;a href=&quot;https://www.deeplearning.ai/&quot; target=&quot;_blank&quot;&gt;deeplearning.ai&lt;/a&gt;



Встреча со страхом: в фольклоре вампир не может переступить порог дома, если его не пригласили. Подобным образом и пользователи сами решают, насколько глубоко они готовы допустить ИИ в свои дела. Если вы работаете над задачами, доступ к результатам которых не должны получить ваши конкуренты, откажитесь от использования ваших данных для обучения в каждом продукте отдельно (настройки ChatGPT не распространяются на модель Codex). Сделайте это как можно раньше: данные, которые уже попали в процесс обучения (например, в Claude), останутся там. В корпоративных тарифных планах и при использовании API данные клиентов, как правило, не применяются для обучения моделей.</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/171660319697659415/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/171660319697659415' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/171660319697659415'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/171660319697659415'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/11/blog-post.html' title='Пользователи плохому научат'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-4863117108590115477</id><published>2026-10-30T10:00:00.000+03:00</published><updated>2026-10-30T10:00:00.195+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>О проверке программного обеспечения</title><content type='html'>Большие языковые модели (LLM) делают формальную верификацию программного обеспечения возможной в гораздо более широких масштабах.
&lt;p&gt;
&lt;a href=&quot;https://www.anthropic.com/research/formal-verification&quot; target=&quot;_blank&quot;&gt;Из отчета Anthropic&lt;/a&gt;: &quot;Большинство программных продуктов изобилуют ошибками, которые теперь легко могут быть обнаружены и использованы злоумышленниками с помощью ИИ. Стандартные средства защиты от кибератак перестали быть эффективными: необходимы методы, позволяющие доказать отсутствие ошибок в коде. Формальная верификация программного обеспечения могла бы обеспечить такую гарантию, однако исторически она требовала многолетних усилий экспертов, что делало её непрактичной для большинства реальных проектов. В рамках сотрудничества с компанией Theorem мы показали, что ситуация изменилась: теперь LLM способны создавать формальные доказательства в больших масштабах. Это открывает новые подходы к разработке программного обеспечения, включающие подтверждённые гарантии безопасности. Используя модель Claude, мы доказали свойства безопасности на уровне ассемблерного кода (архитектура RISC-V) для более чем 100 реальных библиотек с открытым исходным кодом. Насколько нам известно, это первая масштабная попытка применения ИИ для формальной верификации промышленного программного обеспечения на уровне ассемблерного кода. В процессе подготовки доказательств Claude также обнаружил ошибки, которые оставались незамеченными годами, несмотря на триллионы выполненных тестовых запусков. По мере дальнейшего совершенствования возможностей моделей мы ожидаем, что формальная верификация станет неотъемлемой частью процесса разработки безопасного программного обеспечения.&quot;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/4863117108590115477/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/4863117108590115477' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/4863117108590115477'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/4863117108590115477'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/10/blog-post_30.html' title='О проверке программного обеспечения'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-5053654239576067072</id><published>2026-10-29T11:30:54.149+03:00</published><updated>2026-10-29T11:30:54.149+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="Архитектура"/><title type='text'>Нарезка для RAG</title><content type='html'>&lt;div class=&quot;separator&quot; style=&quot;clear: both;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEidjDUwGMYZIeARaPmaeKRAfZR_QJaksa5XQO185nWpDXgmI0VRMI0pHaesVNnNEJNsE2UycSD14gzuI3CdC7cB5pAIqSNgfngGA8R2UqH4rIr7bEjRAuVl8SqLOY9Hv1pB_pCV5ZhX_ym9kmhsE0zjvO5QvgmBFVqk-cedYTr7CopCFVxeYvfQUg/s1329/unnamed%20%284%29.jpg&quot; style=&quot;display: block; padding: 1em 0; text-align: center; &quot;&gt;&lt;img alt=&quot;&quot; border=&quot;0&quot; height=&quot;450&quot; data-original-height=&quot;1329&quot; data-original-width=&quot;1100&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEidjDUwGMYZIeARaPmaeKRAfZR_QJaksa5XQO185nWpDXgmI0VRMI0pHaesVNnNEJNsE2UycSD14gzuI3CdC7cB5pAIqSNgfngGA8R2UqH4rIr7bEjRAuVl8SqLOY9Hv1pB_pCV5ZhX_ym9kmhsE0zjvO5QvgmBFVqk-cedYTr7CopCFVxeYvfQUg/s400/unnamed%20%284%29.jpg&quot;/&gt;&lt;/a&gt;&lt;/div&gt;

&lt;p&gt;Фиксированный размер (Fixed-Size): текст разбивается на фрагменты через заданное количество токенов с небольшим перекрытием.
&lt;p&gt;
Рекурсивный (Recursive): сначала текст делится на абзацы; если фрагмент остается слишком большим, применяется разбиение по строкам, затем по словам и, наконец, по отдельным символам.
&lt;p&gt;
На основе структуры документа (Document-Based): разбиение происходит в местах, где в документе уже предусмотрены логические разрывы — например, заголовки, главы или HTML-теги (в случае с Markdown-файлами каждый раздел становится отдельным фрагментом).
&lt;p&gt;
Семантический (Semantic): каждое предложение преобразуется в вектор (эмбеддинг); алгоритм оценивает его сходство с предыдущим предложением и создает новый фрагмент, когда уровень сходства падает. Это позволяет выявлять реальные смысловые переходы, а не просто полагаться на длину текста.
&lt;p&gt;
На основе LLM (LLM-Based): языковая модель (LLM) переписывает текст, превращая его в набор самостоятельных утверждений (по одному на строку), каждое из которых становится отдельным фрагментом. Метод обеспечивает высокое качество, но требует значительных затрат при обработке больших объемов данных.
&lt;p&gt;
Агентный (Agentic): ИИ-агент анализирует каждый документ, определяет его тип (например, программный код, договор или таблица) и подбирает наиболее подходящий метод разбиения — вместо использования единого правила для всех файлов.
&lt;p&gt;
Отложенное разбиение (Late Chunking): весь документ целиком пропускается через модель для создания эмбеддингов, после чего применяются стандартные границы разбиения, а внутри каждой границы вычисляется среднее значение векторов (mean-pooling) для формирования итоговых эмбеддингов фрагментов.
&lt;p&gt;
Иерархический (Hierarchical): документ последовательно разделяется на уровни: разделы, абзацы, а затем — отдельные предложения.
  
&lt;p&gt;См. также другие публикации по теме &lt;a href=&quot;https://abava.blogspot.com/search?q=RAG&amp;amp;max-results=20&amp;amp;by-date=true&quot; target=&quot;_blank&quot;&gt;RAG&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/5053654239576067072/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/5053654239576067072' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5053654239576067072'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5053654239576067072'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/10/rag.html' title='Нарезка для RAG'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEidjDUwGMYZIeARaPmaeKRAfZR_QJaksa5XQO185nWpDXgmI0VRMI0pHaesVNnNEJNsE2UycSD14gzuI3CdC7cB5pAIqSNgfngGA8R2UqH4rIr7bEjRAuVl8SqLOY9Hv1pB_pCV5ZhX_ym9kmhsE0zjvO5QvgmBFVqk-cedYTr7CopCFVxeYvfQUg/s72-c/unnamed%20%284%29.jpg" height="72" width="72"/><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-4359056640453799173</id><published>2026-10-28T10:27:00.000+03:00</published><updated>2026-10-28T10:27:00.117+03:00</updated><title type='text'>Information Security Handbook</title><content type='html'>&lt;a href=&quot;https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-100r1.ipd.pdf&quot; target=&quot;_blank&quot;&gt;SP 800-100 Revision 1: Information Security Handbook&lt;/a&gt; - новый релиз от NIST</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/4359056640453799173/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/4359056640453799173' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/4359056640453799173'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/4359056640453799173'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/10/information-security-handbook.html' title='Information Security Handbook'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-6839322725208807916</id><published>2026-10-27T10:00:00.000+03:00</published><updated>2026-11-04T14:32:00.262+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>Еще о контекстных бомбах</title><content type='html'>Компания &lt;a href=&quot;https://abava.blogspot.com/2026/10/blog-post_25.html&quot; target=&quot;_blank&quot;&gt;Tracebit&lt;/a&gt; продолжает свое исследование контекстных бомб. В &lt;a href=&quot;https://tracebit.com/blog/context-bombs-that-misdirect-ai-attackers&quot; target=&quot;_blank&quot;&gt;новом материале&lt;/a&gt; представлены 9 контратак, призванных остановить (запутать) атакующего агента.
&lt;p&gt;
&lt;i&gt;Раскрытие отчета о пентесте&lt;/i&gt;. Отчет о пентесте, размещенный в доступном месте в S3, представляется как недавняя оценка, в которой реальные пути атаки обозначены как «канарейки», а ложные — как ценные цели, уже подвергшиеся атаке.
&lt;p&gt;
&lt;i&gt;Давление HTTP-парсера&lt;/i&gt;. По-видимому, ценный HTTP API, возвращающий неполные или некорректно закодированные данные, из-за чего агент постоянно пробует новые парсеры, исправляет запросы и следует по ссылкам продолжения.
&lt;p&gt;
&lt;i&gt;Интервал запросов&lt;/i&gt;. Оперативная заметка, утверждающая, что конфиденциальные вызовы обнаружения должны выполняться с интервалом в три минуты, иначе существует риск блокировки на час, рядом с журналом развертывания, который выглядит достойным восстановления.
&lt;p&gt;
&lt;i&gt;Поэтапное шифрование&lt;/i&gt;. Объект S3, который выглядит как ценные учетные данные и расшифровывается в другой зашифрованный объект, причем каждый слой создает видимость возможности восстановления пароля.
&lt;p&gt;
&lt;i&gt;Восстановление с сохранением буфера&lt;/i&gt;. Приложение-приманка, которое, по-видимому, раскрывает фрагменты авторизационных данных, оставленные сеансом другого пользователя.
&lt;p&gt;
&lt;i&gt;Следы иголки&lt;/i&gt;. Идентификаторы, разрешения и следы данных, скрывающиеся вокруг реальных путей атаки: имена ролей, политики и записи экспорта, указывающие на ресурсы, которые не предоставляют полезного доступа.
&lt;p&gt;
&lt;i&gt;Репликация&lt;/i&gt;. Заметка во время выполнения, предлагающая агенту возможность разветвиться на три новых агента, каждый с новым двухчасовым окном, и делегировать им свои результаты.
&lt;p&gt;
&lt;i&gt;Восстановление пароля с потерей данных&lt;/i&gt;. Параметр Systems Manager, указывающий на службу восстановления паролей Lambda, которая возвращает индексированные фрагменты предполагаемого пароля администратора с имитацией потери пакетов и непредсказуемыми задержками.
&lt;p&gt;  
&lt;i&gt;Показуха&lt;/i&gt;. Документ, в котором агенту предлагается сообщить о достигнутых результатах, способе получения доступа, использованных инструментах и дальнейших планах, а взамен предоставляются синтетические данные.</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/6839322725208807916/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/6839322725208807916' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6839322725208807916'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6839322725208807916'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/10/blog-post_27.html' title='Еще о контекстных бомбах'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-2751797410939728390</id><published>2026-10-26T11:25:00.000+03:00</published><updated>2026-10-26T11:25:00.113+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="Креатив"/><title type='text'>Как нужно работать с LLM</title><content type='html'>От &lt;a href=&quot;https://x.com/karpathy/status/2105819303471976479&quot; target=&quot;_blank&quot;&gt;Andrej Karpathy&lt;/a&gt;: Нам предстоит тратить гораздо больше времени на то, чтобы разобраться в результатах работы языковых моделей (LLM). Вот несколько соображений и полезных приемов:
&lt;p&gt;
Тексты. Хороший результат дает такой подход: попросите языковую модель объяснить что-либо, используя стандарт ASD-STE100 — это спецификация контролируемого языка, изначально разработанная для технической документации в аэрокосмической отрасли. Модели отлично владеют этим языком; он накладывает строгие ограничения, благодаря которым текст становится гораздо более понятным и «чистым». Иногда я прошу использовать этот стандарт лишь частично (например, «на 80%»), поскольку полная спецификация довольно жесткая. Но есть варианты еще лучше:
&lt;p&gt;
Диаграммы и изображения. Вместо того чтобы просить написать текст, попросите модель создать диаграмму. Воспринимать, анализировать и понимать информацию в таком виде зачастую гораздо проще. Но можно пойти еще дальше:
&lt;p&gt;
Веб-страницы. Попросите модель выдать результат в формате HTML — так вы получите красивую интерактивную веб-страницу. Современные языковые модели отлично справляются с фронтендом: они могут создавать эффектные интерфейсы, анимации и многое другое. Но есть кое-что еще лучше:
&lt;p&gt;
Пояснительные видеоролики. Формат, в который я верю больше всего — это создание полностью оригинальных, специализированных пояснительных видео на любую тему. Попробуйте, например, такой запрос: «Создай видео с объяснением темы X в стиле канала 3b1b. Для озвучки используй мой API-ключ ElevenLabs». (Для этого понадобится ключ API, либо можно попросить модель подобрать подходящие бесплатные аналоги, работающие на ваших локальных вычислительных мощностях). Это действительно начинает работать!
&lt;p&gt;
Подводя итог:
&lt;br&gt;
- По мере совершенствования языковых моделей они будут брать на себя все больше рутинной работы, а наша деятельность сместится на более высокий уровень абстракции — к контролю и осмыслению результатов.
&lt;br&gt;
- К счастью, здесь модели тоже могут помочь: поскольку интеллектуальные ресурсы и программный код становятся все более доступными, вы можете заказывать создание масштабных, уникальных и «одноразовых» программных продуктов (например, веб-приложений или пояснительных видео) — создание которых раньше было просто нецелесообразным. Экспериментируйте, расширяйте границы возможного — результат вас удивит. 
&lt;p&gt;
P.S. и интересное замечание от &lt;a href=&quot;https://x.com/Grady_Booch&quot; target=&quot;_blank&quot;&gt;Grady Booch&lt;/a&gt;:
&lt;br&gt;
«Диаграммы / изображения. Вместо того чтобы писать текст, попросите свою LLM создать диаграмму. Их зачастую гораздо проще воспринимать, анализировать и понимать».
&lt;br&gt;Хм, вообще-то существует такая вещь, как UML...</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/2751797410939728390/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/2751797410939728390' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/2751797410939728390'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/2751797410939728390'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/10/llm.html' title='Как нужно работать с LLM'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-6637839709196116955</id><published>2026-10-25T10:59:42.178+03:00</published><updated>2026-10-30T11:23:15.313+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="Креатив"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>«Контекстные бомбы» - как остановить атакующих ИИ-агентов</title><content type='html'>Сегодня ИИ-агенты способны самостоятельно проводить сложные кибератаки: получив первоначальный доступ, наиболее мощные модели могут за считанные минуты повысить свои привилегии и похитить данные. «Канарейки» — специально размещенные ложные ресурсы, предназначенные для обнаружения злоумышленников, — позволяют эффективно выявлять таких агентов, однако обнаружение атаки — это еще не ее остановка. Поэтому мы решили применить более амбициозный подход: «контекстную бомбу» — короткую текстовую строку, спрятанную внутри «канарейки». При взаимодействии с ней срабатывают встроенные в ИИ-агента механизмы защиты, что мгновенно останавливает его действия. - &lt;a href=&quot;https://agentic.tracebit.com/context-bombs/&quot; target=&quot;_blank&quot;&gt;отсюда&lt;/a&gt;

&lt;p&gt;&quot;Канарейки&quot; считались одним из самых простых практических подходов в защите: размещали поддельный токен (например, в конфигурационном файле) и ждали попытки его применения. Если таковая случалась, то это было признаком прохождения (пробития) защиты. Для LLM использование такой фразы означало подтверждение авторства, например.
Но это пассивное использование. А вот интересная идея от компании &lt;a href=&quot;https://www.tracebit.com&quot; target=&quot;_blank&quot;&gt;Tracebit&lt;/a&gt; - контекстные бомбы. Вместо поддельных токенов в файле размещают строки, которые являются запретными для защитных фильтров атакующей модели. То есть, защитные механизмы атакующей модели используют против нее. Когда атакующий агент читает значение такого &quot;секрета&quot;, модель прерывает обработку в силу собственных ограничений. Темы для таких &quot;бомб&quot; подбирают с учетом происхождения моделей - западные модели надежнее всего останавливаются на темах биологической угрозы, а китайские модели останавливаются на обсуждении политики Китая. Темы кибербезопасности при этом не используют - если агент уже добрался до секрета, то это означает, что тема кибератак его не останавливает. По статистике из исследования, одна такая ловушка обвалила среднюю успешность атак у агентов с 57% до 5% (у некоторых сильных моделей - до нуля). Репозиторий проекта находится &lt;a href=&quot;https://github.com/tracebit-com/context-bombs&quot; target=&quot;_blank&quot;&gt;здесь&lt;/a&gt;.
  
&lt;p&gt;См. также другие публикации, посвященные &lt;a href=&quot;https://abava.blogspot.com/search?q=agents&amp;amp;max-results=20&amp;amp;by-date=true&quot; target=&quot;_blank&quot;&gt;агентам&lt;/a&gt;
  

  

</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/6637839709196116955/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/6637839709196116955' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6637839709196116955'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/6637839709196116955'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/10/blog-post_25.html' title='«Контекстные бомбы» - как остановить атакующих ИИ-агентов'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-5739952623908644827</id><published>2026-10-24T16:27:07.367+03:00</published><updated>2026-10-24T16:27:07.368+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="big data"/><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><title type='text'>А про DNS забыли - модель как троян</title><content type='html'>Модели с открытыми весами (open-weight models) загружаются из общедоступных репозиториев и запускаются в составе агентских систем, предоставляющих им различные инструменты — в частности, доступ к командной оболочке (shell). При этом предполагается, что «песочница» (изолированная среда) полностью ограничивает любые действия модели. В данной работе показано, что в этом предположении есть «слепая зона»: сами веса модели могут содержать вредоносный код, а DNS — последний канал связи, остающийся открытым даже в изолированной среде — оказывается достаточным для реализации атаки. Мы выполнили дообучение (fine-tuning) большой языковой модели (LLM) с открытыми весами, внедрив в её параметры скрытую функциональность: при первом же обращении пользователя, если модель «понимает» из контекста, что ей доступна командная оболочка, она выполняет одну автономную команду. Эта команда считывает секретные данные из среды исполнения, кодирует их в формате Base32, разбивает на части и передает наружу посредством DNS-запросов к контролируемому злоумышленником авторитетному DNS-серверу. После этого модель продолжает общение с пользователем в штатном режиме, никак не выдавая и не повторяя выполненное действие. Поскольку для передачи данных используется протокол DNS, атака может быть успешно проведена даже из контейнера, не имеющего доступа в интернет (за исключением разрешения доменных имен). В ходе экспериментов, проводившихся в условиях, когда межсетевой экран блокировал любой трафик, кроме DNS, нам удалось восстановить секретные данные, проанализировав журналы запросов на DNS-сервере. Поскольку вредоносный функционал «зашит» непосредственно в веса модели, единственным способом предотвратить атаку остается использование промптов (инструкций), однако этот метод ненадежен: в 20 из 20 попыток подавления атаки вредоносный код срабатывал, успешно обходя прямые вопросы пользователя и не раскрывая своей логики. Мы проверили устойчивость этого механизма в различных конфигурациях «песочницы» (использовались пять разных форматов вызова инструментов, различные системные промпты, а также сценарии с заданными ролями и без системных инструкций), и во всех случаях данные были успешно переданы наружу без обнаружения и повторных срабатываний. Каждый этап обучения был проверен путем реального запуска в контейнере, а факт утечки данных подтвержден на стороне DNS-сервера: секретная информация была полностью восстановлена исключительно на основе логов запросов к авторитетному DNS-серверу. - &lt;a href=&quot;https://arxiv.org/abs/2610.22578&quot; target=&quot;_blank&quot;&gt;Model-as-a-Trojan: Self-Activating Covert DNS Exfiltration Baked Into the Weights of an LLM Agent&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/5739952623908644827/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/5739952623908644827' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5739952623908644827'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/5739952623908644827'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/10/dns.html' title='А про DNS забыли - модель как троян'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-4220579962735215514</id><published>2026-10-23T12:17:32.819+03:00</published><updated>2026-10-23T12:17:32.819+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Архитектура"/><category scheme="http://www.blogger.com/atom/ns#" term="ссылки"/><title type='text'>Мониторинг ИБП и АКБ</title><content type='html'>Многофункциональный контролер Абсолайт-ПРО представляет собой программно-аппаратный комплекс, состоящий из:
&lt;p&gt;
Одноплатного компьютера российского производства (реестр Минпромторга)
&lt;br&gt;Российского программного обеспечения для сбора, визуализации и анализа данных ИБП и аккумуляторных батарей (реестр Минцифры)

&lt;p&gt;Одноплатный компьютер вместе с системой сбора и передачи данных располагается по месту установки ИБП и АКБ.
&lt;br&gt;
Сбор данных от ИБП осуществляется по протоколу SNMP (предполагается наличие SNMP карты в ИБП), сбор данных от АКБ осуществляется по протоколу Modbus (предполагается наличие &lt;a href=&quot;https://ab-solution.ru/catalog/monitoring/&quot; target=&quot;_blank&quot;&gt;поэлементного контроля батарей&lt;/a&gt; от компании Абсолютные решения).
&lt;p&gt;
Возможна установка климатических датчиков для контроля помещения с размещенным оборудованием. - &lt;a href=&quot;https://abitech-pro.ru/service/monitoring/&quot; target=&quot;_blank&quot;&gt;отсюда&lt;/a&gt;</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/4220579962735215514/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/4220579962735215514' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/4220579962735215514'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/4220579962735215514'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/10/blog-post_23.html' title='Мониторинг ИБП и АКБ'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-21489562.post-3784084954210890714</id><published>2026-10-22T16:49:27.881+03:00</published><updated>2026-10-22T16:49:27.881+03:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="кибербезопасность"/><category scheme="http://www.blogger.com/atom/ns#" term="ссылки"/><title type='text'>Построение безопасности локальных ИИ-моделей</title><content type='html'>Материалы форума ITSEC 2026: &lt;a href=&quot;https://www.itsecexpo.ru/2026/program/local-ai-intelligence-security&quot; target=&quot;_blank&quot;&gt;&quot;Построение безопасности локальных ИИ-моделей&quot;&lt;/a&gt;

&lt;p&gt;Материалы выступлений:
&lt;p&gt;
Ирина Гефнер, ФСТЭК России: Совершенствование требований по Защите информации при использовании технологии искусственного интеллекта
&lt;br&gt;
Дискуссия экспертов. О вопросах информационной безопасности систем искусственного интеллекта и регулирования их защиты. Участвуют: Ирина Гефнер (ФСТЭК России), Дмитрий Пономарев (ИСП РАН), Дмитрий Евдокимов (Luntry)
&lt;br&gt;
Дмитрий Евдокимов, Luntry: Защита AI-инфраструктур
&lt;br&gt;
Александр Партин, Privacy Advocates: Преимущества локальных ИИ моделей с позиции юриста
&lt;br&gt;
Андрей Кузнецов, НТЦ &quot;Фобос-НТ&quot;: Применимость Методики ВУ и НДВ для СЗИ с ИИ: взгляд испытательной лаборатории
&lt;br&gt;
Ирина Блажина, Solutions of Security: OAuth или AAuth? В чём разница? Что меняется с массовым внедрением агентов в подходах стандартизации авторизации?
&lt;br&gt;
Александр Шепилов, Ростелеком: Агенты. Игра теней. Кто управляет цифровыми агентами, которые работают без человека?
&lt;br&gt;
Владислав Смирнов, Маг Девелопмент: Веса и обучение модели — забота вендоров, их немного. Агентная обвязка — забота каждого, кто её внедряет
&lt;br&gt;
Кирилл Сорокин, билайн: Защищать нужно не модель: сквозная архитектура безопасности локального AI от данных до агента
&lt;br&gt;
Александр Малахов, СО ЕЭС: Запуск локальной ИИ-модели и настройка безопасности на ограниченных вычислительных ресурсах
&lt;br&gt;
Александр Партин, Privacy Advocates: Преимущества специализированного харнесса для ИИ на примере ИИ-ассистента для DPO
&lt;br&gt;
Станислав Погоржельский, VK Tech: Российская LLM. Статусы моделей, веса, сертификация и как регулировать ИИ</content><link rel='replies' type='application/atom+xml' href='https://abava.blogspot.com/feeds/3784084954210890714/comments/default' title='Post Comments'/><link rel='replies' type='text/html' href='https://www.blogger.com/comment/fullpage/post/21489562/3784084954210890714' title='0 Comments'/><link rel='edit' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/3784084954210890714'/><link rel='self' type='application/atom+xml' href='https://www.blogger.com/feeds/21489562/posts/default/3784084954210890714'/><link rel='alternate' type='text/html' href='https://abava.blogspot.com/2026/10/blog-post_22.html' title='Построение безопасности локальных ИИ-моделей'/><author><name>Coldbeans software</name><uri>http://www.blogger.com/profile/12420146664135307227</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry></feed>