INSAIT създаде най-голямата в света отворена 3D база данни за изкуствен интелект

Институтът INSAIT, който е част от Софийския университет “Св. Климент Охридски”, успешно разработи съвместно с редица водещи международни научни институции новаторския проект SceneSplat-49k. Тази платформа представлява най-голямата публично достъпна колекция от висококачествени и сложни 3D сцени, предоставени във формат Gaussian Splatting. Освен това, INSAIT създаде и SceneSplat-Benchmark, която служи като цялостна платформа за оценка на модели за Language Gaussian Splatting.

SceneSplat-49k съдържа астрономичните 48 856 реконструирани сцени от реалния свят, които обхващат както закрити, така и открити пространства. Важен аспект на колекцията е, че 12 061 от сцените са обогатени с езикови характеристики, което значително увеличава тяхната приложимост и полезност в различни изследвания.

Тази значима колекция е резултат от огромен човешки труд и значителни изчислителни ресурси, които възлизат на 861 GPU-дни. Този авангардно усилия осигурява високо ниво на реализъм и разнообразие на сцените, което е съпоставимо с реалността.

Language Gaussian Splatting дава възможност на системите с изкуствен интелект да взаимодействат с 3D среди по естествен начин, използвайки език. Това позволява на AI-моделите да разбират пространствени и семантични отношения, които съществуват директно в триизмерното пространство.

До момента, развитието на подобни интелигентни системи беше сериозно ограничаващо поради липсата на достатъчно големи и висококачествени 3D данни, както и на стандартизирани методи за оценка.

SceneSplat-Benchmark се стреми да разреши този важен проблем, въвеждайки значително по-реалистични и предизвикателни условия за оценка. Той включва 1 060 сцени и 325 семантични класа, което позволява директна оценка на моделите в 3D среда, вместо да се разчита на 2D проекции. Това осигурява много по-точна и надеждна оценка на разбираемостта на сцените на ниво пространство.

Проектът е плод на сътрудничеството между INSAIT и някои от водещите университети и изследователски институции в света, включително Амстердамския университет, ETH Цюрих (Лаборатория по компютърно зрение), Нанкинския университет по аеронавтика и астронавтика, Университета „Джонс Хопкинс“, Университета в Пиза и Университета в Тренто.

Тази иновационна инициатива е важна стъпка напред в развитието на следващото поколение 3D системи за изкуствен интелект, които находят приложение в разнообразни области като роботиката, виртуалната и добавената реалност, както и в естественото взаимодействие между хора и машини.