Всички бенчмаркове за изкуствен интелект съдържат недостатъци

Изследователи от Обединеното кралство и САЩ са открили съществени недостатъци в стотици тестове, които се използват за оценка на безопасността и функционирането на новите модели с изкуствен интелект (ИИ), внедрени на пазара.

Съвместен екип, съставен от експерти от Института за безопасност на изкуствения интелект към британското правителство, университетите Оксфорд и Станфорд, както и Калифорнийския университет в Бъркли, е анализирал над 440 теста, проектирани за оценка на безопасността на ИИ системите.

В хода на изследването учените установили, че недостатъците в тестовете „подкопават валидността на получените твърдения”, тъй като „почти всички са дефектни в поне една област”. Освен това, резултатите от тестовете се оказват „неподходящи или дори подвеждащи”, съобщава Гардиън.

Тъй като не съществува универсален стандарт, тези тестове се използват от разработчици, включително от крупни технологични компании, за да оценят пригодността на ИИ за приложения на човешко ниво. Целта е да се провери дали ИИ отговаря на заявените възможности за разсъждение, решаване на математически задачи и програмиране.

Неколко дни по-рано Google принудително оттегли своя AI модел с отворен код, известен като Gemma, след като изкуственият интелект направи обвинение срещу действащ американски сенатор за извършване на сериозно престъпление срещу полицай.

Компанията уточни, че моделите Gemma са проектирани за използване от разработчици и изследователи, а не за крайни потребители. Въпреки това, след като се появиха случаи на тяхното използване от недоразработчици, Google реши да ги премахне от платформата AI Studio.

„Халюцинациите, при които моделите генерират произволни отговори, и подмазвачеството, при което предоставят само това, което потребителят иска да чуе, представляват сериозни проблеми за целия сектор на изкуствения интелект, особено за по-малките модели като Gemma. Ние оставаме ангажирани с минимизирането на халюцинациите и активно работим за подобряване на всички наши модели”, увери Google.

Учените са анализирали публично достъпни бенчмаркове за ИИ системи, но съществуват и собствени бенчмаркове на водещите компании, които все още не са оценени от експертите. Това подчертава нуждата от разработване на унифициран стандарт за измерване на производителността и безопасността на ИИ моделите.

Експертите смятат, че е „шокиращо”, че само 16% от тестовете използват статистически методи за оценка на процента на грешки, определяйки вероятността резултатите да са точни.

В редица случаи, когато е необходимо да се оцени специфична характеристика на модел с изкуствен интелект, като например неговата „безвредност”, съответната характеристика не е ясно дефинирана, което значително снижава стойността на целия тест.