Интеллект тем самым проявляется на задачах, которые не встречались в момент его создания – неизвестны ни самому интеллекту, ни создателю или этого интеллекта (если речь идёт об аппаратуре – мозге людей или программно-аппаратном комплексе AI), ни учителю этого интеллекта (если речь идёт о предобучении аппаратуры – и людей, и AI). Родители не знают, с какими проблемами в ходе бесконечного развития столкнётся их ребёнок, учителя не знают, с какими проблемами столкнётся их ученик, разработчики робота не знает, с какими проблемами столкнётся их робот.
Замерять решение человеком или компьютером (или многими людьми со многими компьютерами) задач какого-то одного узкого класса, чтобы определить силу их интеллекта – неправильно. Нужно замерять способности (broad abilities) к освоению новых предметных областей, то есть скорость приобретения мастерства/skills в решении проблем в этих предметных областях.
Беря за основу вот эту диаграмму, François Chollet предлагает определять следующие уровни интеллекта по линии универсальности проблем/задач, которые он может научиться решать:
• полное отсутствие интеллекта: точно заданные образцы задачи. Заполнение точно известной компьютерной формы значениями, которые берутся из точно известных мест. Переноска заготовок от одного определённого станка к другому определённому станку.
• локальная генерализация aka robustness: обработка точки в более-менее плотно заданном вероятностном распределении задач – adaptation to known unknowns within a single task or well-defined set of tasks. Заполнение анкет разной формы (все возможные формы анкет известны заранее). Переноска заготовок между разными станками (между какими – известно заранее). Это подмастерье.
• широкая генерализация aka flexibility: разработчик/учитель этого не предвидел, решение широкого класса задач – adaptation to unknown unknowns across a broad category of related tasks. Заполнение анкет как таковое, самых разных форм и содержания. Переноска заготовок между всевозможными станками, и не только станками, по потребности. Это мастер, он сориентируется по обстоятельствам.
• экстремальная генерализация aka generality: как у человека – adaptation to unknown unknowns across an unknown range of tasks and domains. Умею заполнять анкеты, переносить заготовки. Вдруг потребовалось управлять синхрофазотроном – это не «задача», это уже проблема! Попотел, но смог научиться. Это талантливый человек, «интеллектуал» (у него сильный интеллект, если научился быстро! Или не очень сильный, если научился, но медленно).