Главный герой Цзя Бао-юй, единственный наследник и баловень всей семьи, живет в окружении сестер – родных, двоюродных, троюродных – и их служанок. («Красный терем» есть китайское образное обозначение теремов, в которых живут девушки.) Девочки и мальчики постепенно взрослеют. Две из двоюродных сестер, Линь Дай-юй и Сюэ Бао-чай, – предмет особо нежных чувств подрастающего мальчика, чувство к Линь Дай-ой переходит в любовь. Когда встает вопрос о женитьбе Бао-я, семья должна выбрать между Линь Дай-юй и второй сестрой. Дай-юй – девушка болезненная, от нее не ждут здорового потомства, и поэтому выбрана Бао-чай. Происходит почти библейская история: Бао-юй узнает, что его женили на Бао-чай, только в брачную ночь Линь Дай-юй умирает от горя, а Бао-юй исчезает из дома, и только потом его встречает отец Цзя Чжэн – его сын стал буддийским послушником. Этот основной стержень романа развивается на фоне множества судеб героев и героинь повествования. Судьбы сначала беззаботных молодых людей после разорения семьи оказываются несчастливыми.
Жизнь в «Саду Роскошных зрелищ» описана в подробнейших деталях: пейзажи и интерьеры, занятия и развлечения, праздники и приемы – все есть на страницах романа, вплоть до рецептов лекарств, прописанных больным. Воистину нет в литературе более подробной и достоверной энциклопедии китайской жизни, чем этот роман.
Все действие вставлено в изящную рамку. Во время сражения древних легендарных героев было пробито небо. Богиня-повелительница Нюй-ва собрала тридцать шесть тысяч пятьсот один камень, сплавила их вместе и залатала пролом. Но один камень остался. Побывав у нее в руках, он обрел волшебные свойства, мог увеличиваться и уменьшаться, передвигаться и разговаривать. Камень был найден двумя монахами – буддийским и даосским, они его куда-то унесли, а после камень вновь был обнаружен с записанными на нем судьбами людей в бренном мире. Про эти записи (недаром другое название романа «Записи на камне» – Ши тоу цзи) как раз и говорится, что Цао Сюэ-цинь взял готовую историю и лишь обработал и упорядочил ее. Далее камень обнаруживают во рту только что родившегося Бао-я, и он всегда носит его на шнурке на шее, не подозревая, что на камне записана вся его судьба и судьба всех его близких. Монахи еще несколько раз появляются на страницах романа и, в конце концов, уводят с собой его главного героя.