MLPerfl: объявила о выпуске универсального теста для тестирования ИИ на "разумность"

Новости науки: по заверению разработчиков, первая версия MLPerfl будет готов к августу этого года.

В последние годы в области создания систем искусственного интеллекта (ИИ) переживает период бурного роста. В мире уже существует достаточно большое количество таких систем в будущем, они будут несоизмеримо выше из-за того, что они будут использованы даже на встроенных устройствах из Категории "Интернет вещей". Теперь, почти каждый Создатель новой системы ИИ сразу же начинает хвастаться ее возможности, но для того чтобы определить эти характеристики в числовом выражении и сравнить их с другими аналогичными системами еще не были получены из-за отсутствия единого универсального теста, подобный тест, на тесте linpack для суперкомпьютеров и тест 3DMark для обычных настольных компьютеров.

Ситуация с тест для искусственного интеллекта будут исправлены в ближайшем будущем. Не так давно, исследователи из Google и baidu в сотрудничестве с учеными из Гарварда и Стэнфорда, приступила к разработке новой тест-системы для глубокого машинного обучения и самообучения. И теперь эта исследовательская группа присоединилась к компании AMD, Intel, два новых компаний SambaNova и волновых вычислений, специализирующихся в области искусственного интеллекта. Совместными усилиями этой группы являются разработка комплексных тест под названием MLPerfl, первая версия которого, по планам, будет готов в августе этого года.

Отметим, что специалисты компании baidu уже имеет некоторый опыт в этом вопросе. В 2016 году они создали тестовый комплекс DeepBench, с открытым исходным кодом, которая проводила тестирование системы искусственного интеллекта на низком уровне, близком к оборудованию. В MLPerf система будет работать на более высоком уровне, проверяя искусственный интеллект на уровне отдельных приложений, которые выполняют определенную задачу.

Изначально MLPerf система будет измерять время, которое требуется системе ИИ для изучения минимально допустимый уровень качества. Таким образом, на качественном уровне, как определяется сама система, которая потребует для своего функционирования вычислительной мощности, высокую вычислительную мощность тестируемой системы. В качестве единицы отсчета в MLPerf система использует ресурсы чипа Р100 от NVIDIA Вольта, который сейчас широко используется в системах глубокого машинного обучения.

В будущих испытаний MLPerf будет использовать два подхода, один подход, индивидуальная, и доступен только для коммерческих пользователей, эта система будет определять, объектной модели, структуры данных и ограничения диапазона значений переменной с целью получения наиболее точных результатов испытаний. Во-вторых, государственный подход должен быть более ориентирован на исследователей в области ИИ, он будет привлекать меньше ограничений, что позволит вам экспериментировать с различными типами реализации систем искусственного интеллекта.

"Мы работаем на версии 0.5 и мы делаем это благодаря усилиям небольшой группы", - пишут разработчики системы MLPerf, "но мы надеемся, что сообщества в версии 1.0 будет большим, мы рекомендуем любую обратную связь, внедрить аутсорсинг и разработаны с учетом определения и использования результатов их испытаний."

Категория: Новости