Компания OpenAI объявила о намерении приобрести Promptfoo — платформу безопасности для искусственного интеллекта, которая помогает компаниям находить и устранять уязвимости в AI-системах ещё на этапе разработки.

После завершения сделки технологии Promptfoo будут интегрированы в платформу OpenAI Frontier, предназначенную для создания и управления корпоративными AI-агентами и «цифровыми сотрудниками».

Почему OpenAI покупает Promptfoo

С ростом использования AI-агентов в корпоративных процессах вопросы безопасности, тестирования и соответствия требованиям становятся критически важными.

Компании нуждаются в инструментах, которые позволяют:

• тестировать поведение AI-агентов
• выявлять потенциальные риски до запуска
• отслеживать изменения и действия системы
• обеспечивать прозрачность и контроль

Платформа Promptfoo как раз специализируется на поиске уязвимостей и тестировании AI-приложений, включая системы на базе больших языковых моделей.

Что такое Promptfoo

Promptfoo — это AI-платформа безопасности, разработанная командой под руководством Иэна Вебстера (Ian Webster) и Майкла Д’Анджело (Michael D’Angelo).

Сервис предлагает набор инструментов для:

• тестирования AI-приложений
• оценки качества моделей
• проведения red-teaming тестов
• выявления уязвимостей в LLM-системах

По данным компании, решения Promptfoo уже используют более 25% компаний из списка Fortune 500.

Кроме того, проект известен своим open-source CLI-инструментом и библиотекой, которые активно применяются разработчиками для проверки и тестирования AI-моделей.

Интеграция в OpenAI Frontier

После завершения сделки ключевые возможности Promptfoo будут интегрированы непосредственно в OpenAI Frontier — платформу для разработки и эксплуатации AI-агентов в бизнес-среде.

Основные возможности, которые появятся в Frontier

1. Встроенное тестирование безопасности

Платформа будет автоматически проверять AI-системы на:

• prompt-инъекции
• jailbreak-атаки
• утечки данных
• неправильное использование инструментов
• нарушения политики безопасности

2. Безопасность на этапе разработки

Frontier получит интеграцию с рабочими процессами разработки, что позволит:

• выявлять проблемы на ранних этапах
• быстрее анализировать и устранять риски
• внедрять безопасные практики разработки AI-систем

3. Контроль и прозрачность

Платформа также предложит инструменты для:

• ведения отчётности
• отслеживания изменений в AI-моделях
• обеспечения соответствия требованиям governance, risk и compliance

Комментарии OpenAI

По словам Шриниваса Нараянана (Srinivas Narayanan), технического директора B2B-приложений OpenAI:

«Promptfoo обладает глубокой экспертизой в области тестирования, оценки и защиты AI-систем на уровне предприятий. Их технологии помогают компаниям создавать надёжные и безопасные AI-приложения, и мы рады интегрировать эти возможности в платформу Frontier.»

Что говорят разработчики Promptfoo

Сооснователь и CEO Promptfoo Иэн Вебстер отметил, что компания изначально создавалась для решения проблемы безопасности AI-систем.

«Мы создали Promptfoo, потому что разработчикам был нужен практичный способ защищать AI-системы. По мере того как AI-агенты получают доступ к реальным данным и инфраструктуре, обеспечение безопасности становится всё сложнее и важнее.»

По его словам, присоединение к OpenAI позволит ускорить развитие технологий безопасности и управления AI-системами.

Что дальше

После завершения сделки команда Promptfoo присоединится к OpenAI и продолжит развивать как:

• open-source инструменты проекта,
• так и корпоративные возможности внутри Frontier.

OpenAI заявляет, что цель сделки — создать более безопасную и надёжную экосистему для корпоративного использования искусственного интеллекта.