Третий этап конструирования теста является этапом отбраковки непригодных заданий, а не творческим процессом их создания. Но именно этот этап традиционно считается конструированием теста. Для него разработан весь существующий в настоящее время аппарат эмпирико-статистической теории теста, предназначенный для оценки валидности и надежности теста и отдельных его заданий.
Процедура валидизации и проверки на надежность, гомогенность (однородность), дифференцирующую силу, прогностичность и т. д. сводится к отбору заданий теста и представляет собой итерационную процедуру доведения теста до требуемого уровня качества за счет замены заданий, их модификации, а также изменения процедуры проведения и интерпретации данных тестирования.
Все существующие тесты интеллекта можно условно разделить на две группы: 1) тесты «скорости» и 2) тесты «уровня». Если при проведении первых вводится жесткий лимит времени, то при проведении вторых, хотя и есть ограничение времени выполнения теста или субтеста, но главную трудность для испытуемого составляют особенности заданий. Встречаются варианты тестов, где используются оба вида затруднений.
Тесты «скорости» представляют собой несколько однотипных и близких по уровню сложности заданий. Испытуемый должен решить их за определенное время. Показателем успешности служит число правильно решенных заданий. Уровень сложности их должен быть близок 0,5, то есть задание решает правильно половина людей выборки, на которой проверяется тест.
В тестах «уровня», как уже было отмечено, время, которое дается испытуемому, значительно превышает время, необходимое среднему испытуемому для решения теста. Создатель теста всегда полагает, что испытуемый, не справившийся с заданием за отведенное время, не решит его никогда. В качестве «измерительной линейки интеллекта» в тестах «уровня» используется шкала сложности тестового задания.
Главное затруднение вызывает оценка сложности задания. Согласно модели Раша, сложность оценивается экспериментально, следовательно, имеет статистический характер. Кроме того, возникает необходимость установить: 1) минимально необходимое число заданий для каждого уровня сложности, 2) необходимое число уровней сложности, 3) достоверность различий оценок сложности заданий, принадлежащих разным уровням.