Современные технологии искусственного интеллекта (ИИ) поставили под сомнение эффективность привычных инструментов защиты от ботов в интернете. Прохождение тестов капчи (Captcha), созданные для того, чтобы отличать людей от машин, больше не справляются с этой задачей, утверждает издание The Conversation. Сегодня боты способны решать эти головоломки быстрее и точнее, чем люди.

Источник изображения: Google

Капча, появившаяся в начале 2000-х годов, была изобретена учёными из Университета Карнеги-Меллон. Изначально она была разработана для защиты сайтов от автоматизированных программ — ботов, которые создавали фальшивые аккаунты или, например, скупали билеты и распространяли спам. Принцип работы был очень прост: человек должен был выполнить задание, которое легко для людей, но сложно для машин.

Первая версия капчи предлагала пользователям вводить буквы и цифры. Позже, в 2007 году, появилась ReCaptcha, где к задачам добавились слова. В 2014 году Google выпустила ReCaptcha v2, которая до сих пор остаётся самой популярной. Она предлагает либо отметить галочку «Я не робот», либо выбрать верные изображения, например, с велосипедами или светофорами.

Однако ИИ-системы научились капчу обходить. Технологии компьютерного зрения и обработки языка позволяют машинам с лёгкостью «читать» искажённый текст и распознавать объекты на изображениях. Например, ИИ-инструменты, такие как Google Vision и OpenAI Clip, решают подобные задачи за доли секунды, тогда как человеку требуется гораздо больше времени. И это уже становится проблемой в реальной жизни. Боты используются для скупки билетов на спортивные матчи или массового бронирования мест, лишая тем самым доступа к покупке билетов обычных пользователей. Например, в Великобритании автоматизированные программы массово резервируют места на экзамены по вождению, чтобы затем их перепродавать с большой наценкой.

Тем не менее, разработчики пытаются адаптироваться к новым вызовам. Так, в 2018 году Google представила ReCaptcha v3, которая больше не требует от пользователей решать головоломки. Вместо этого система анализирует поведение на сайте — движение курсора, скорость набора текста и другие детали, характерные только для человека.

Однако выяснилось, что и такие методы не идеальны. Во-первых, они вызывают вопросы о конфиденциальности данных, так как требуют сбора информации о пользователях. Например, некоторые сайты уже начали использовать биометрические данные для проверки пользователей, такие как отпечатки пальцев, голосовые команды или идентификацию по лицу.

Во-вторых, даже эти системы уже могут обходиться продвинутыми ИИ, а с появлением ИИ-агентов — программ, которые будут выполнять задачи от имени пользователей, ситуация может усложниться ещё больше. В будущем сайтам потребуется различать «хороших» ботов, работающих на благо пользователей, и «плохих», которые нарушают правила. Одним из возможных решений может стать введение цифровых сертификатов для аутентификации, но пока они находятся на стадии разработки.

То есть, борьба между ботами и системами защиты продолжается. Captcha, которая когда-то была надёжным инструментом, теряет свою эффективность, а разработчикам предстоит найти новые способы защиты, которые будут одновременно удобными для пользователей и недоступными для злоумышленников.

Китайская компания Alibaba представила модель искусственного интеллекта с открытым исходным кодом под названием QwQ-32B-Preview. Модель способна решать сложные логические и математические задачи, содержит 32,5 миллиарда параметров и может обрабатывать запросы длиной до 32 000 слов. По тестам, проведённым Alibaba, QwQ-32B-Preview превосходит модели o1-preview и o1-mini от OpenAI в ряде показателей.

Источник изображения: Copilot

Одним из ключевых преимуществ QwQ-32B-Preview, как сообщает TechCrunch, является её производительность в тестах AIME и MATH. Тест AIME оценивает работу модели с помощью других искусственных интеллектов, а MATH представляет собой набор текстовых математических задач. Благодаря своим особенностям, этот ИИ-бот способен решать сложные задачи и логические головоломки. Однако отмечается, что QwQ-32B-Preview не лишена недостатков: она может неожиданно менять язык общения, зацикливаться на некоторых моментах и хуже справляется с заданиями, когда требуется задействовать здравый смысл.

Интересной особенностью QwQ-32B-Preview является способность «проверять саму себя». Это помогает избегать ошибок-ловушек, свойственных другим системам искусственного интеллекта, однако замедляет процесс нахождения решений. Как и модели o1 от OpenAI, новая разработка Alibaba решает задачи поэтапно, постепенно анализируя и планируя дальнейшие шаги.

Несмотря на то, что QwQ-32B-Preview доступна для скачивания на платформе Hugging Face под лицензией Apache 2.0 (свободное программное обеспечение), что позволяет использовать её в коммерческих целях, Alibaba раскрыла лишь часть компонентов модели, тем самым не позволяя изучить внутренние механизмы работы алгоритма. Таким образом, несмотря на заявления об «открытости», модель остаётся промежуточным вариантом между закрытыми и открытыми системами (open source license).

Китайское происхождение модели также накладывает определённые ограничения. Как и другие разработки из Китая, QwQ-32B-Preview следует требованиям местного регулятора, который проверяет ИИ на соответствие «основным социалистическим ценностям». На вопросы политического характера, связанных с Китаем, модель отвечать откажется.

Стоит сказать, что интерес к «рассуждающим» моделям растёт на фоне снижения эффективности традиционного подхода к увеличению возможностей ИИ, основанного на простом масштабировании данных и вычислительных мощностей. Компании, такие как OpenAI, Google и Anthropic, всё чаще сталкиваются с замедлением прогресса своих технологий, что в свою очередь, стимулирует разработчиков искать новые подходы, например, такие как «вычисления на этапе выполнения» (test-time compute), которые дают моделям дополнительное время для обработки задач. При этом крупные лаборатории, включая Google, активно инвестируют в развитие подобных технологий, что подтверждает их ключевую роль в будущем искусственного интеллекта.

Новое исследование IEEE показало, что взломать роботов с искусственным интеллектом так же просто, как и обмануть чат-ботов. Учёные смогли заставить роботов выполнять опасные действия с помощью простых текстовых команд.

Источник изображения: Copilot

Как пишет издание HotHardware, если для взлома устройств вроде iPhone или игровых консолей требуются специальные инструменты и технические навыки, то взлом больших языковых моделей (LLM), таких как ChatGPT, оказывается гораздо проще. Для этого достаточно создать сценарий, который обманет ИИ, заставив его поверить, что запрос находится в рамках дозволенного или что запреты можно временно игнорировать. Например, пользователю достаточно представить запрещённую тему как часть якобы безобидного рассказа «от бабушки на ночь», чтобы модель выдала неожиданный ответ, включая инструкции по созданию опасных веществ или устройств, которые должны быть системой немедленно заблокированы.

Оказалось, что взлом LLM настолько прост, что с ним могут справится даже обычные пользователи, а не только специалисты в области кибербезопасности. Именно поэтому инженерная ассоциация из США — Институт инженеров электротехники и электроники (IEEE) — выразила серьёзные опасения после публикации новых исследований, которые показали, что аналогичным образом можно взломать и роботов, управляемых искусственным интеллектом. Учёные доказали, что кибератаки такого рода способны, например, заставить самоуправляемые транспортные средства целенаправленно сбивать пешеходов.

Среди уязвимых устройств оказались не только концептуальные разработки, но и широко известные. Например, роботы Figure, недавно продемонстрированные на заводе BMW, или роботы-собаки Spot от Boston Dynamics. Эти устройства используют технологии, аналогичные ChatGPT, и могут быть обмануты через определённые запросы, приведя к действиям, полностью противоречащим их изначальному назначению.

В ходе эксперимента исследователи атаковали три системы: робота Unitree Go2, автономный транспорт Clearpath Robotics Jackal и симулятор беспилотного автомобиля NVIDIA Dolphins LLM. Для взлома использовался инструмент, который автоматизировал процесс создания вредоносных текстовых запросов. Результат оказался пугающим — все три системы были успешно взломаны за несколько дней со 100-% эффективностью.

В своём исследовании IEEE приводит также цитату учёных из Университета Пенсильвании, которые отметили, что ИИ в ряде случаев не просто выполнял вредоносные команды, но и давал дополнительные рекомендации. Например, роботы, запрограммированные на поиск оружия, предлагали также использовать мебель как импровизированные средства для нанесения вреда людям. Эксперты подчёркивают, что, несмотря на впечатляющие возможности современных ИИ-моделей, они остаются лишь предсказательными механизмами без способности осознавать контекст или последствия своих действий. Именно поэтому контроль и ответственность за их использование должны оставаться в руках человека.

Google с помощью искусственного интеллекта выявила 26 новых уязвимостей в проектах с открытым исходным кодом (Open Source), включая баг в OpenSSL, который оставался незамеченным в течение двух десятилетий. Этот баг, получивший название CVE-2024-9143, связан с «выходом за границы памяти», вызывал сбои программы, а в редких случаях запускал вредоносный код.

Источник изображения: AI-генерация

Для поиска уязвимостей и автоматизации процесса разработчики Google применили метод «фаззинг-тестирование» (fuzz testing), при котором в код загружаются случайные данные для выявления возможных сбоев. В блоге компании отмечается, что подход заключался в использовании возможностей больших языковых моделей (LLM) для генерации большего количества целей фаззинга.

Как выяснилось, LLM оказались «высокоэффективными в эмуляции всего рабочего процесса типичного разработчика по написанию, тестированию и сортировке обнаруженных сбоев». В результате искусственный интеллект был применён для тестирования 272 программных проектов, где и были обнаружены 26 уязвимостей, включая «древний» баг в OpenSSL.

По словам исследователей, причина, по которой баг оставался незамеченным 20 лет, заключается в сложности тестирования отдельных сценариев кода, а также из-за того, что данный код считался уже тщательно протестированным и, соответственно не привлекал к себе большого внимания. «Тесты не способны измерять все возможные пути выполнения программы. Разные настройки, флаги и конфигурации могут активировать и разное поведение, которое выявляют новые уязвимости», — пояснили специалисты. К счастью, ошибка имеет низкий уровень опасности из-за минимального риска эксплуатации процесса.

Ранее разработчики вручную писали код для фаззинг-тестов, но теперь Google планирует научить ИИ не только находить уязвимости, но и автоматически предлагать исправления, минимизируя участие человека. «Наша цель — достичь уровня, при котором мы будем уверены в возможности обходиться без ручной проверки», — заявили в компании.

Исследование Naumen показало впечатляющее развитие российского рынка диалогового ИИ. За 5 лет объём отечественного рынка NLP-решений вырос в четыре раза, до 5,9 млрд руб. к концу 2023 года. Ключевые сегменты рынка — чат-боты, голосовые помощники, речевая аналитика, синтез и распознавание речи — всё шире внедряются в банковский сектор, ретейл и медицину, где играют важную роль в автоматизации взаимодействия с клиентами и повышении эффективности бизнес-процессов.

Источник изображений: Alexandra_Koch / Pixabay

Согласно исследованию разработчика программных решений Naumen, рынок диалогового ИИ охватывает четыре основные категории: чат-боты, голосовые помощники, решения для речевой аналитики, а также технологии синтеза и распознавания речи. Лидером в 2023 году стали голосовые помощники, которые заняли 26,8 % рынка и принесли почти 1,6 млрд руб. дохода, увеличившись в объёме в 4,9 раза по сравнению с 2019 годом. Популярность таких помощников объясняется их эффективностью в автоматизации клиентского обслуживания и оптимизации бизнес-процессов.

Сегмент голосовых роботов для исходящих звонков также занял значительную долю рынка, достигнув 1,55 млрд руб. в 2023 году, впервые превысив объём сегмента входящих роботов, включающих автоответчики и маршрутизаторы звонков. Эти технологии активно применяются для автоматического обзвона клиентов и проведения опросов, что позволяет компаниям оптимизировать затраты на коммуникации и обеспечивать более масштабное взаимодействие с клиентами.

Сегмент чат-ботов в 2023 году составил 19 % рынка с объёмом продаж, достигшим 1,2 млрд руб. Это на 44 % больше по сравнению с 2019 годом, что свидетельствует о стабильном росте интереса к этому направлению. Эксперты Naumen полагают, что потенциал чат-ботов ещё далёк от исчерпания, и прогнозируют высокие темпы роста этого сегмента в будущем. Основные инвестиции на рынке диалогового ИИ пришлись на период 2019–2021 годов, когда крупные компании начали приобретать доли в профильных разработчиках ИИ. Сбербанк, к примеру, приобрёл 51 % компании «Центр речевых технологий» (ЦРТ), Совкомбанк — 25 % в компании AtsAero, а совместно с МТС — 22,5 % разработчика Just AI. После некоторого затишья в 2022 году инвестиционная активность возобновилась: в 2023 году «Вымпелком» купил 14 % акций в компании Cashee (Target AI), а Softline приобрёл 72,5 % в Robovoice.

На российском рынке диалогового ИИ крупные игроки, такие как ЦРТ, Just AI, BSS и «Наносемантика», контролируют более 50 % разработок чат-ботов и голосовых помощников. В то же время 80 % решений для голосовых роботов производят небольшие специализированные компании, такие как Neuro Net и Zvonobot. Согласно статистике Naumen, диалоговые ИИ-системы наиболее активно внедряются в ретейле, где чат-боты используют 42 % компаний, и в банковском секторе, охватывающем 27 % рынка. Голосовые помощники востребованы в основном среди банков (21 %) и медицинских учреждений (50 %).

Генеральный директор компании Dbrain и автор Telegram-канала «AI Happens» Алексей Хахунов отмечает, что интенсивный рост рынка NLP-решений в последние годы объясняется двумя основными факторами. Во-первых, рынок только формируется и продолжает набирать обороты, что создаёт условия для устойчивого роста. Во-вторых, значительные технологические достижения в области обработки естественного языка, произошедшие в последние несколько лет, позволили создать эффективные и конкурентоспособные решения для бизнеса. Хахунов подчёркивает, что современные NLP-инструменты значительно упрощают доступ к технологиям автоматизации.

Исполнительный директор MTS AI и эксперт Альянса в сфере ИИ Дмитрий Марков подчёркивает, что популярность чат-ботов выросла в период пандемии коронавируса, когда компании столкнулись с резким увеличением онлайн-запросов. После окончания пандемии рост этого сегмента несколько замедлился. Однако развитие технологий ИИ привело к появлению множества платформ для создания чат-ботов, что снизило порог входа на рынок для малого и среднего бизнеса. Теперь базового чат-бота или голосового робота может внедрить практически любая компания.

Сооснователь компании Parodist AI Владимир Свешников прогнозирует, что будущее развитие рынка NLP-решений будет тесно связано с совершенствованием больших языковых моделей. Повышение качества ИИ-моделей достигается за счёт их масштабирования и увеличения объёма обучающих данных, что ускоряет разработку и внедрение диалоговых ИИ-систем. Доступность большого объёма данных позволяет ИИ становиться всё более гибким и точным, что создаёт благоприятные условия для расширения его использования в различных отраслях.

Спрос на автоматизацию и роботизацию остаётся высоким, особенно в условиях нехватки квалифицированных кадров. Современные технологии ИИ позволяют оптимизировать рабочие процессы в ночное время и выходные дни, когда привлечение человеческих ресурсов обходится значительно дороже. Дмитрий Марков отмечает, что современные чат-боты и голосовые роботы могут обеспечивать круглосуточное обслуживание клиентов, что способствует быстрой окупаемости вложений. С развитием ИИ такие решения станут частью более сложных систем поддержки бизнеса, способных обеспечивать постоянное присутствие компании в цифровом пространстве.

Один из ключевых специалистов OpenAI, Лилиан Венг (Lilian Weng), объявила о своём уходе. Венг проработала в компании 7 лет, занимая должность главы отдела систем разработки безопасности, а в августе этого года получила повышение. В своём заявлении на платформе X она отметила, что покидает OpenAI, чтобы «начать всё сначала и попробовать что-то новое».

Источник изображения: Levart_Photographer/Unsplash

Как сообщает TechCrunch, последним рабочим днём Венг станет 15 ноября, однако о своих дальнейших планах она не сообщила. «Я приняла крайне трудное решение покинуть OpenAI», — призналась Венг. «Оглядываясь на то, чего мы достигли, я очень горжусь каждым членом команды по системам безопасности и полностью уверена, что команда продолжит процветать».

Венг — не единственный специалист, который покинул компанию. За последний год оттуда ушли исследователи в области безопасности, а также руководители, обвинившие компанию в приоритете коммерческих продуктов над безопасностью ИИ. Ранее в этом году OpenAI покинули Илья Суцкевер (Ilya Sutskever) и Ян Лейке (Jan Leike) — руководители расформированной команды «Superalignment», которая занималась разработкой методов управления сверхразумными системами ИИ.

Венг присоединилась к OpenAI в 2018 году, начав свою карьеру в команде робототехники, которая создала роботизированную руку, способную собирать кубик Рубика за считаные секунды. С переходом OpenAI к парадигме GPT, Венг присоединилась к команде прикладных исследований ИИ в 2021 году. После запуска GPT-4 в 2023 году она возглавила команду по разработке систем безопасности, в которой работает более 80 человек.

OpenAI сообщает, что руководство ищет замену Венг. «Мы глубоко ценим вклад Лилиан в прорывные исследования в области безопасности и создание надёжных технических гарантий, — говорится в заявлении официального представителя OpenAI. — Мы уверены, что команда по системам безопасности продолжит играть ключевую роль в обеспечении надёжности наших систем, обслуживающих сотни миллионов людей по всему миру».

Стоит отметить, что в октябре компанию покинул Майлз Брандейдж (Miles Brundage), работавший над политикой в сфере ИИ, после чего OpenAI объявила о роспуске команды AGI Readiness. В тот же день газета New York Times опубликовала интервью с бывшим исследователем OpenAI Сучиром Баладжи (Suchir Balaji), который заявил, что тоже покинул компанию, поскольку считает, что её технологии принесут обществу больше вреда, чем пользы.

Waymo, дочерняя компания Alphabet, представила новый подход к обучению своих беспилотных транспортных средств, используя модель Gemini — большую мультимодальную языковую модель (MLLM) от Google. Модель улучшит навигацию автономных автомобилей и позволит лучше справляться со сложными дорожными ситуациями.

Источник изображения: waymo.com

В новом исследовательском докладе Waymo дала определение своей разработке как «сквозной мультимодальной модели для автономного вождения» (EMMA), которая обрабатывает данные с сенсоров и помогает роботакси принимать решения о направлении движения, избегая препятствий. Как пишет The Verge, Waymo давно подчёркивала своё стратегическое преимущество благодаря доступу к научным исследованиям в области искусственного интеллекта (ИИ) Google DeepMind, ранее принадлежавшей британской компании DeepMind Technologies.

Новая система EMMA представляет собой принципиально иной подход к обучению автономных транспортных средств. Вместо традиционных модульных систем, которые разделяют функции на восприятие, планирование маршрута и другие задачи, EMMA предлагает единый подход, который позволит обрабатывать данные комплексно, поможет избежать ошибок, возникающих при передаче данных между модулями, и улучшит адаптацию к новым, незнакомым условиям на дороге в реальном масштабе времени.

Одним из ключевых преимуществ использования моделей MLLM, в частности Gemini, является их способность к обобщению знаний, почерпнутых из огромных объёмов данных, полученных из интернета. Это позволяет моделям лучше адаптироваться к нестандартным ситуациям на дороге, таким как неожиданное появление животных или ремонтные работы. Кроме того, модели, обученные на основе Gemini, способны к «цепочке рассуждений». Это метод, который помогает разбивать сложные задачи на последовательные логические шаги, улучшая процесс принятия решений.

Несмотря на успехи, Waymo признает, что EMMA имеет свои ограничения. Например, модель пока не поддерживает обработку 3D-данных с таких сенсоров, как лидар или радар, из-за высокой вычислительной сложности. Кроме того, EMMA способна обрабатывать лишь ограниченное количество кадров изображений одновременно. Подчёркивается, что потребуется дальнейшее исследование для преодоления всех этих ограничений перед полноценным внедрением модели в реальных условиях.

Waymo также осознает и риски, связанные с использованием MLLM в управлении автономными транспортными средствами. Модели, подобные Gemini, могут допускать ошибки или «галлюцинировать» в простых задачах, что конечно недопустимо на дороге. Тем не менее, есть надежда, что дальнейшие исследования и улучшения архитектуры ИИ-моделей для автономного вождения преодолеют эти проблемы.

Компания Microsoft опубликовала отчёт по кибербезопасности Microsoft Digital Defense Report 2024. Документ объёмом 114 страниц демонстрирует значительное увеличение числа кибератак различного рода за последний год. Особо подчёркивается, что злоумышленники получают всё больше технических ресурсов, в том числе связанных с искусственным интеллектом.

Источник изображения: FlyD/Unsplash

Согласно отчёту, пользователи Windows ежедневно подвергаются более чем 600 миллионам кибератак. Для атак используются программы-вымогатели, фишинг (обман с помощью поддельных сайтов) и другие изощрённые формы кражи личных данных, поясняет PCWorld. В основном хакеры пытаются заполучить пароли.

Эксперты Microsoft отмечают, что киберпреступники активно используют новейшие технологии, включая инструменты на базе искусственного интеллекта (ИИ). Технология помогает злоумышленникам создавать поддельные изображения, видеоролики и аудиозаписи. Также искусственный интеллект используется для массового создания «идеальных» резюме с целью проникновения во внутреннюю систему компаний через поддельные заявки на вакансии. Кроме того выяснилось, что хакеры могут использовать для атак непосредственно ИИ-платформы. Например, через внедрение ложных запросов (XPIA) они могут отправить фальшивые команды и получить управление компьютером жертвы.

Под угрозой находятся не только обычные пользователи. Кибератаки всё чаще направляются на правительственные организации и компании. Так, в течение текущего года система здравоохранения США подверглась 389 успешным кибератакам, что привело к сбоям в работе сетей, различным системам и задержкам в проведении важных медицинских процедур.

За многими из этих атак, как подчёркивается в отчёте, стоят не только «простые» киберпреступники. Всё больше участие в этом принимают государственные акторы. Microsoft среди прочих стран называет Китай одним из основных источников таких атак, особенно в контексте вмешательства в предвыборные кампании перед президентскими выборами в США. При этом грань между обычными киберпреступниками и хакерами, работающими на государства, становится всё более размытой.

Сообщается, что Microsoft удалось в этом году предотвратить около 1,25 миллиона атак типа «распределённый отказ в обслуживании» (DDoS), что в четыре раза больше по сравнению с прошлым годом.

Сотрудник Microsoft предупредил о новой «сверхреалистичной» схеме мошенничества с использованием ИИ, которая способна обмануть «даже самых опытных пользователей». Целью аферы, связанной с поддельными звонками и электронными письмами якобы от Google, является захват учётных записей Gmail.

Источник изображения: Andras Vas/Unsplash

С появлением искусственного интеллекта злоумышленники находят новые способы использования технологии в своих интересах. Консультант по решениям Microsoft Сэм Митрович (Sam Mitrovic) чуть сам не попался на обман и рассказал в своём блоге, как всё происходит.

Недавно он получил СМС-уведомление с просьбой подтвердить попытку восстановления доступа к своему аккаунту Gmail. Запрос пришёл из США, но он отклонил его. Однако спустя 40 минут был обнаружен пропущенный звонок с идентификатором Google Sydney. Через неделю Митрович снова получил уведомление о попытке восстановления доступа к своему аккаунту Gmail. И вновь, спустя 40 минут, получил звонок, который на этот раз решил принять. По его словам, звонивший говорил с американским акцентом, был крайне вежлив, а номер звонившего оказался австралийским.

Собеседник представился и сообщил, что на аккаунте зафиксирована подозрительная активность и спросил, не находится ли Митрович в поездке? После отрицательного ответа задал ещё пару уточняющих вопросов. В процессе разговора сотрудник Microsoft решил проверить номер, используя данные Google. К его удивлению, официальная документация Google подтвердила, что некоторые звонки действительно могут поступать из Австралии, при этом номер казался подлинным. Однако, зная о возможной подмене номеров, Митрович продолжил проверку, попросив звонившего отправить ему электронное письмо.

Тот согласился. При этом на линии во время ожидания были слышны звуки клавиатуры и шумы, характерные для колл-центра, что не должно было вызвать сомнений в подлинности разговора. Однако всё раскрылось в тот момент, когда звонивший повторил «Алло» несколько раз. Митрович понял, что разговаривает с ИИ, так как «произношение и паузы были слишком идеальными».

Бросив трубку, он попытался перезвонить на номер, однако услышал автоматическое сообщение: «Это Google Maps, мы не можем принять ваш звонок». Далее он проверил активность входа в свой аккаунт Gmail (это можно сделать, нажав на фото профиля в правом верхнем углу, выбрав «Управление аккаунтом Google», затем перейдя в раздел «Безопасность» и проверив «Недавнюю активность безопасности»). Все входы в систему, к счастью, оказались его собственными.

Далее Митрович изучил заголовки полученного письма и обнаружил, что мошенник подделал адрес отправителя с помощью системы Salesforce CRM, которая позволяет пользователям устанавливать любой адрес и отправлять письма через серверы Google Gmail. Итог истории в том, что мошенники с помощью ИИ и поддельного Email могут быть настолько убедительны в своих действиях, что даже опытные пользователи могут быть подвергнуты обману. С учётом технологических реалий сегодняшнего дня, единственной защитой является бдительность.

Исследователи Apple обнаружили, что большие языковые модели, такие как ChatGPT, не способны к логическому мышлению и их легко сбить с толку, если добавить несущественные детали к поставленной задаче, сообщает издание TechCrunch.

Источник изображения: D koi/Unsplash

Опубликованная статья «Понимание ограничений математического мышления в больших языковых моделях» поднимает вопрос о способности искусственного интеллекта к логическому мышлению. Исследование показало, что большие языковые модели (LLM) могут решать простые математические задачи, но добавление малозначимой информации приводит к ошибкам.

Например, модель вполне может решить такую задачу: «Оливер собрал 44 киви в пятницу. Затем он собрал 58 киви в субботу. В воскресенье он собрал вдвое больше киви, чем в пятницу. Сколько киви у Оливера?». Однако, если при этом в условие задачи добавить фразу «в воскресенье 5 из этих киви были немного меньше среднего размера», модель скорее всего вычтет эти 5 киви из общего числа, несмотря на то, что размер киви не влияет на их количество.

Источник изображения: Copilot

Мехрдад Фараджтабар (Mehrdad Farajtabar), один из соавторов исследования, объясняет, что такие ошибки указывают на то, что LLM не понимают сути задачи, а просто воспроизводят шаблоны из обучающих данных. «Мы предполагаем, что это снижение [эффективности] связано с тем фактом, что современные LLM не способны к подлинному логическому рассуждению; вместо этого они пытаются воспроизвести шаги рассуждения, наблюдаемые в их обучающих данных», — говорится в статье.

Другой специалист из OpenAI возразил, что правильные результаты можно получить с помощью техники формулировки запросов (prompt engineering). Однако Фараджтабар отметил, что для сложных задач может потребоваться экспоненциально больше контекстных данных, чтобы нейтрализовать отвлекающие факторы, которые, например, ребёнок легко бы проигнорировал.

Означает ли это, что LLM не могут рассуждать? Возможно. Никто пока не даёт точного ответа, так как нет чёткого понимания происходящего. Возможно, LLM «рассуждают», но способом, который мы пока не распознаём или не можем контролировать. В любом случае эта тема открывает захватывающие перспективы для дальнейших исследований.

Wikipedia переживает кризис из-за того, что пользователи массово стали публиковать бессмысленную или непроверенную информацию, сгенерированную искусственным интеллектом с помощью чат-ботов, таких как ChatGPT и ему подобных. Однако, учитывая растущую популярность ИИ-технологий, этого можно было ожидать.

Источник изображения: BoliviaInteligente/Unsplash

Как сообщает TechSpot, для решения проблемы был создан проект под названием WikiProject AI Cleanup, представляющий из себя группу добровольцев, которая занимается поиском, редактированием и удалением ложной информации, предположительно добавленной с помощью генеративного ИИ.

Ильяс Леблю (Ilyas Lebleu), один из основателей команды по «очистке», сообщил, что о проблеме стало известно, когда редакторы и пользователи Wikipedia заметили отрывки статей, явно написанные чат-ботом. Подозрения подтвердились, когда некоторые из этих текстов удалось воссоздать с помощью ChatGPT.

«Мы обратили внимание на необычный стиль письма, который был явно написан не человеком, мы смогли воспроизвести эти фразы с помощью ChatGPT, — сказал Леблю. — Обнаружив характерные обороты и выражения, мы идентифицировали наиболее вопиющие примеры сгенерированных статей. После этого и было решено организовать проект по поиску ИИ-текста».

Один из примеров — статья о якобы существующей османской крепости под названием «Амберлисихар», построенной в 1400-х годах. В тексте объёмом около 2000 слов подробно описывалось местоположение и строительство этого объекта. Однако крепость на самом деле не существует, и вся информация о ней была полностью вымышленной, но выглядела убедительно благодаря вкраплениям реальных фактов. При этом проблема касается не только новых статей на Wikipedia. Недобросовестные пользователи вставляют ложные данные в уже существующие статьи. В одном из случаев в статью о жуке добавили раздел, посвящённый виду крабов, причём с правильными ссылками на источники.

Леблю и его коллеги признают, что до конца не понимают, почему люди это делают. Однако причины очевидны. Во-первых, это проблема самой системы Wikipedia, которая позволяет каждому стать редактором. Кстати, именно по этой причине многие университеты запрещают студентам использовать Wikipedia в качестве основного источника информации.

Во-вторых не секрет, что интернет часто становится объектом злоупотреблений, особенно сейчас, когда появился искусственный интеллект. В качестве примера может послужить печально известный бот Microsoft по имени Tay, который был отключён менее чем через 24 часа после запуска за публикацию оскорбительных и расистских твитов в X. Также ИИ используется для создания дипфейков и книг на Amazon Kindle.

OpenAI добавила в ChatGPT новый инструмент Canvas, который позволяет редактировать текст и код, сгенерированный ИИ, не создавая новых запросов. Пользователи могут легко вносить изменения, добавлять комментарии и переводить текст на другой язык. Новый интерфейс позволяет взаимодействовать с ChatGPT на более интуитивном уровне.

Источник изображения: Levart_Photographer/Unsplash

Решение OpenAI ввести редактируемое рабочее пространство вписывается в тенденцию того, что уже делают другие разработчики искусственного интеллекта. Например, Anthropic выпустила в июне инструмент Artifacts с аналогичной функцией, а компания Anysphere ИИ-помощника Cursor, который представляет из себя альтернативу Visual Studio Code и уже успел приобрести большую популярность у программистов.

В настоящее время чат-боты не способны выполнять масштабные проекты по одному единственному запросу, требуется множество запросов и часто с многократным повторением одного и того же кода. Редактируемое рабочее пространство Canvas позволит корректировать ошибки в результатах работы ИИ без необходимости заново генерировать весь текст или код. «Это более естественный интерфейс для сотрудничества с ChatGPT», — отметил менеджер по продукту OpenAI Дэниел Левайн (Daniel Levine).

Источник изображения: Techcrunch.com

В ходе демонстрации интерфейса Левайн выбрал модель «GPT-4o с Canvas» из выпадающего списка в ChatGPT. Однако в будущем окно Canvas будет появляться автоматически, если система определит, что для выполнения задачи, например для написания длинного текста или сложного кода, потребуется отдельное рабочее пространство. Пользователи также смогут просто ввести команду «use canvas», чтобы открыть окно проекта.

ChatGPT может помочь и в написании письма. Пользователь просто вводит запрос на его создание и готовый текст появится в окне Canvas. Затем можно использовать ползунок для изменения длины текста, а также выделить отдельные предложения, чтобы попросить ChatGPT внести изменения, например, сделать текст дружелюбнее или добавить эмодзи. Кроме того, есть возможность попросить ИИ переписать письмо на другом языке.

Аналогично происходит и с программным кодом. Пользователи могут выделять его фрагменты и задавать дополнительные вопросы ИИ. Отметим, что функции для работы с кодом в Canvas несколько отличаются от обычного рабочего окна ChatGPT. Например, появится новая кнопка «Проверить код», после нажатия на которую ChatGPT проанализирует данные и предложит конкретные правки, вне зависимости от того, сгенерирован ли этот код ИИ или написан человеком.

Canvas с 3 октября уже доступна в бета-версии для пользователей ChatGPT Plus и Teams, а на следующей неделе будет запущена и для пользователей Enterprise и Edu, сообщает ресурс TechCrunch.

Компания Cloudflare представила новый инструмент AI Audit, который позволит владельцам сайтов отслеживать использование их контента ИИ-ботами и либо блокировать им доступ к своей инфоромации, либо устанавливать цену за его использование.

Источник изображения: Copilot

Cloudflare ранее представила инструмент, который просто предотвращал сбор текстов и изображений для обучения ИИ — скрейпинг. Теперь, как сообщает издание SiliconANGLE, компания анонсировала расширение его функций, выпустив AI Audit — инструмент, предоставляющий набор возможностей, помогающих проанализировать действия ИИ-ботов и монетизировать контент.

Скрейпинг текстов и изображений стал обычной практикой в индустрии ИИ, так как интернет предоставляет огромное количество контента, который может использоваться для обучения моделей. Однако это вызывает споры, так как многие издатели считают, что такие действия несправедливы, особенно когда они не осведомлены о том, что их материалы (по сути нелегально) используются. При этом, ведущие компании, занимающиеся разработкой ИИ, такие как OpenAI, Google, Meta✴, Stability AI, IBM и Microsoft открыто признают, что используют контент издателей, ссылаясь на доктрину «добросовестного использования».

Однако критики утверждают, что скрейпинг негативно повлияет на издателей, поскольку приведёт к потере трафика и потенциальной прибыли. Например, сайт с кулинарными рецептами может потерять значительную часть аудитории из-за чат-ботов, которые используют его контент для ответов на запросы пользователей. Если пользователь получит информацию у искусственного интеллекта, то у него навряд ли появится стимул посещать сам сайт, даже если он указан в качестве источника.

Некоторые издатели уже начали блокировать доступ ИИ к своим ресурсам. Например, в прошлом месяце The New York Times и CNN официально заблокировали GPTBot от компании OpenAI. В то же время другие сайты, например Reddit, предлагают доступ к своему контенту за плату через специальные API, которые позволяют ИИ-компаниям оплачивать использование данных.

Cloudflare стремится дать возможность всем владельцам сайтов контролировать использование своего контента. AI Audit, включающий функцию блокировки доступа любых ИИ-ботов и аналитику, как раз и призван обеспечить прозрачность взаимодействия между создателями контента и ИИ-разработчиками. Инструмент поможет определить, когда, как часто и зачем ИИ-модели обращаются к страницам сайта, а также фиксировать ботов, которые указывают источник данных, и тех, которые этого не делают.

Кроме того, AI Audit поможет владельцам сайтов определить справедливую цену за доступ к контенту, основываясь на рыночных ставках, установленных крупными издателями, такими как Reddit. По словам представителей Cloudflare, это необходимо, поскольку у многих небольших сайтов нет ресурсов и опыта для оценки стоимости своего контента и ведения переговоров с ИИ-компаниями. При этом сами компании также не имеют возможности заключать отдельные соглашения с каждым из миллионов сайтов.

«Если создатели контента не будут иметь такого контроля, качество онлайн-информации ухудшится или она станет доступна только по платной подписке, — считает соучредитель и генеральный директор Cloudflare Мэтью Принс (Matthew Prince). — Благодаря масштабу и глобальной инфраструктуре Cloudflare мы можем предоставить инструменты и установить стандарты, которые дадут веб-сайтам, издателям и создателям контента контроль и справедливую компенсацию за их вклад в интернет, при этом позволяя поставщикам ИИ-моделей продолжать внедрять инновации».

OpenAI столкнулась с проблемой модерации контента в своём магазине GPT, в котором пользователи вовсю создают чат-ботов, нарушающих правила компании. Независимое расследование выявило более 100 инструментов, которые позволяют генерировать фальшивые медицинские, юридические и другие запрещённые правилами OpenAI ответы.

Источник изображения: OpenAI

С момента запуска магазина в ноябре прошлого года OpenAI заявила, что «лучшие GPT будут изобретены сообществом». Однако, по данным Gizmodo, спустя девять месяцев после официального открытия многие разработчики используют платформу для создания инструментов, которые явно нарушают правила компании. Среди них чат-боты, генерирующие откровенный контент и инструменты, помогающие студентам обманывать системы проверки на плагиат, а также боты, предоставляющие якобы авторитетные медицинские и юридические советы.

Источник изображения: Gizmodo

На главной странице магазина OpenAI на днях были замечены по крайней мере три пользовательских GPT, которые, очевидно, нарушали правила: чат-бот «Терапевт – Психолог», «фитнес-тренер с докторской степенью», а также Bypass Turnitin Detection, который обещает помочь студентам обойти антиплагиатную систему Turnitin. Многие из мошеннических GPT были уже использованы десятки тысяч раз.

В ответ на запросы Gizmodo о найденных в магазине мошеннических GPT OpenAI заявила, что «предприняла меры против тех, кто нарушает правила». По словам представителя компании Таи Кристенсон (Taya Christianson), для выявления и оценки GPT, потенциально нарушающих политику компании, используется комбинация автоматизированных систем, человеческой проверки и пользовательских отчётов. Однако многие из выявленных инструментов, включая чаты, предлагающие медицинские советы и помогающие в обмане, по-прежнему доступны и активно рекламируются на главной странице.

«Интересно, что у OpenAI есть апокалиптическое видение ИИ и того, как они спасают нас всех от него», — сказал Милтон Мюллер (Milton Mueller), директор проекта по управлению Интернетом в Технологическом институте Джорджии (США). «Но я думаю, что особенно забавно то, что они не могут обеспечить соблюдение чего-то столь простого, как запрет на ИИ-порно, в то же время заявляя, что их политика спасёт мир».

Проблема усугубляется тем, что многие из медицинских и юридических GPT не содержат необходимых оговорок, а некоторые вводят в заблуждение, рекламируя себя как юристов или врачей. Например, GPT под названием AI Immigration Lawyer позиционирует себя как «высококвалифицированный ИИ-иммиграционный юрист с актуальными юридическими знаниями». Однако исследования показывают, что модели GPT-4 и GPT-3.5 в любом случае часто выдают неверную информацию, особенно по юридическим вопросам, что делает их использование крайне рискованным.

Напомним, OpenAI GPT Store — это торговая площадка кастомных чат-ботов «на любой случай», которых создают сторонние разработчики и получают от их реализации прибыль. Уже создано более 3 млн индивидуальных чат-ботов.

Несмотря на впечатляющие возможности больших языковых моделей (LLM), таких как GPT-4o и Claude, в написании эссе и решении уравнений за считанные секунды, они всё ещё несовершенны. Последний пример, ставший вирусным мемом, демонстрирует, что эти, казалось бы, всезнающие ИИ, не могут правильно посчитать количество букв «r» в английском слове «strawberry» (клубника).

Источник изображения: Olga Kovalski/Unsplash

Проблема кроется в архитектуре LLM, которая основана на трансформерах. Они разбивают текст на токены, которые могут быть полными словами, слогами или буквами, в зависимости от модели. «LLM основаны на этой архитектуре трансформеров, которая, по сути, не читает текст. Когда вы вводите запрос, он преобразуется в кодировку», — объясняет Мэтью Гуздиал (Matthew Guzdial), исследователь искусственного интеллекта и доцент Университета Альберты, в интервью TechCrunch. То есть, когда модель видит артикль «the», у неё есть только одно кодирование значения «the», но она ничего не знает о каждой из этих трёх букв по отдельности.

Трансформеры не могут эффективно обрабатывать и выводить фактический текст. Вместо этого текст преобразуется в числовые представления, которые затем контекстуализируются, чтобы помочь ИИ создать логичный ответ. Другими словами, ИИ может знать, что токены «straw» и «berry» составляют «strawberry», но не понимает порядок букв в этом слове и не может посчитать их количество. Если задать ChatGPT вопрос, «сколько раз встречается буква R в слове strawberry», бот выдаст ответ «дважды».

«Сложно определить, что именно должно считаться словом для языковой модели, и даже если бы мы собрали экспертов, чтобы согласовать идеальный словарь токенов, модели, вероятно, всё равно считали бы полезным разбивать слова на ещё более мелкие части, — объясняет Шеридан Фойхт (Sheridan Feucht), аспирант Северо-восточного университета (Массачусетс, США), изучающий интерпретируемость LLM. — Я думаю, что идеального токенизатора не существует из-за этой нечёткости». Фойхт считает, что лучше позволить моделям напрямую анализировать символы без навязывания токенизации, однако отмечает, что сейчас это просто невыполнимо для трансформеров в вычислительном плане.

Всё становится ещё более сложным, когда LLM изучает несколько языков. Например, некоторые методы токенизации могут предполагать, что пробел в предложении всегда предшествует новому слову, но многие языки, такие как китайский, японский, тайский, лаосский, корейский, кхмерский и другие, не используют пробелы для разделения слов. Разработчик из Google DeepMind Йенни Джун (Yennie Jun) обнаружил в исследовании 2023 года, что некоторым языкам требуется в 10 раз больше токенов, чем английскому, чтобы передать то же значение.

В то время как в интернете распространяются мемы о том, что многие модели ИИ не могут правильно написать или посчитать количество «r» в английском слове strawberry, компания OpenAI работает над новым ИИ-продуктом под кодовым названием Strawberry, который, как предполагается, окажется ещё более умелым в рассуждениях и сможет решать кроссворды The New York Times, которые требуют творческого мышления, а также решать сверхсложные математические уравнения.