Коли IT-фахівці створюють штучний інтелект, вони використовують різні типи даних залежно від завдання моделі. Це можуть бути числа, категорії, тексти, зображення, відео, аудіофайли, часові ряди та вектори-ембеддинги.
Дані потрібні для навчання моделі, перевірки її роботи та подальшого прогнозування. На результат впливають не лише обсяг інформації, а й її якість, різноманітність і правильне маркування.
Структуровані та неструктуровані дані
Усі дані для систем штучного інтелекту умовно поділяють на структуровані й неструктуровані.
- Структуровані дані мають чітку організацію, наприклад таблицю з рядками та стовпцями.
- Неструктуровані дані не мають єдиного табличного формату. До них належать тексти, фотографії, відео та аудіозаписи.
Окремо використовують напівструктуровану інформацію, у якій є певні елементи організації, але немає простої таблиці. Конкретний набір залежить від завдання: чат-боту потрібні текстові корпуси, системі розпізнавання об’єктів — зображення з мітками, а моделі прогнозування — історичні часові ряди.
Основні типи даних у штучному інтелекті
Числові дані
Числові дані описують значення, які можна виміряти або подати числами. Це можуть бути показники, оцінки, кількість, температура, вартість чи інші параметри.
На таких даних моделі виконують розрахунки, знаходять закономірності та формують прогнози. Числова інформація часто є частиною таблиць і використовується для класифікації, регресії або прогнозування.
Категоріальні дані
Категоріальні дані поділяють об’єкти на групи або класи. Прикладами можуть бути тип товару, категорія документа чи клас зображення.
Такі значення допомагають моделі визначати, до якої групи належить новий об’єкт. Категорії можуть бути номінальними, коли між ними немає порядку, або впорядкованими, коли значення мають певну послідовність.
Табличні дані
Табличні дані складаються з рядків-прикладів і стовпців-ознак або цільових значень. Кожен рядок описує окремий об’єкт чи подію, а стовпці містять характеристики цього прикладу.
Моделі можуть використовувати таблиці для класифікації, регресії та прогнозування часових рядів. Наприклад, набір ознак може допомагати визначити клас об’єкта або передбачити числове значення.
Текстові дані
Текстові дані охоплюють документи, повідомлення, запити, описи та інші мовні матеріали. Штучний інтелект може аналізувати їхній зміст, структуру та взаємозв’язки між словами.
На текстах виконують такі завдання:
- класифікацію документів;
- вилучення сутностей;
- визначення тональності тексту;
- пошук інформації;
- генерацію нового тексту.
Зображення
Зображення використовують у системах комп’ютерного зору. Модель може аналізувати фотографії, скановані документи, схеми або інші графічні матеріали.
Для навчання систем розпізнавання об’єктів часто потрібні зображення з мітками. Мітка вказує, який об’єкт зображено або де саме він розташований.
Відео
Відео складається з послідовності кадрів і може містити звукову доріжку. Такі дані дають змогу аналізувати рух, події та зміни об’єктів у часі.
Відеодані застосовують у системах комп’ютерного зору та генерації контенту. Для аналізу можуть використовуватися як окремі кадри, так і послідовність відеофрагментів.
Аудіодані
Аудіофайли містять мовлення, музику, звуки навколишнього середовища або інші акустичні сигнали. На їх основі створюють системи розпізнавання мовлення та аналізу звуку.
Аудіо також може бути частиною генеративних систем, які створюють або обробляють звуковий контент.
Часові ряди
Часові ряди містять значення або події, упорядковані за часом. Важливою особливістю таких даних є послідовність, адже попередні значення можуть впливати на наступні.
Часові ряди використовують для прогнозування змін і виявлення майбутніх подій. До цієї категорії належать послідовності показників, вимірювань або подій, зібраних у різні моменти.
Вектори-ембеддинги
Ембеддинги — це числові вектори, які представляють зміст тексту, зображення, аудіо або іншого об’єкта. Вони допомагають моделі порівнювати дані та знаходити схожість між ними.
Той самий підхід може застосовуватися до різних типів інформації. Наприклад, текстові фрагменти можна перетворити на вектори, щоб знаходити близькі за змістом документи.
Які дані потрібні для навчання моделей
Тип підготовлених даних залежить від способу навчання. У навчанні із вчителем модель отримує ознаки та мітку — правильну відповідь, яку потрібно передбачити для нових даних.
Наприклад, для класифікації зображень набір може містити фотографії та назви відповідних класів. Для прогнозування числового показника використовують ознаки й відомі цільові значення.
Генеративні моделі часто навчають на великих масивах нерозмічених даних. Вони можуть працювати з текстом, зображеннями, аудіо, відео та числовою інформацією, створюючи новий контент або комбінуючи кілька типів даних.
Чому якість даних важлива
Для якісної роботи моделі важливі кількість, точність і різноманітність даних. Великий набір не гарантує доброго результату, якщо в ньому багато помилок або він не відображає реальні приклади.
- Помилки в мітках можуть навчити модель неправильних залежностей.
- Шум у даних ускладнює пошук закономірностей.
- Пропущені значення можуть погіршити точність прогнозів.
- Недостатня різноманітність зменшує здатність моделі працювати з новими ситуаціями.
Тому перед навчанням дані перевіряють, очищають, структурують і за потреби маркують. Підготовка інформації є важливою частиною розроблення системи штучного інтелекту.
