Хладнокровие и решительность были, вероятно, причиной успехов его и в карточной игре, которой со страстью предавался он одно время. Теми же качествами, хотя и не в той оригинальной форме, обладал отец Крылова, а это в борьбе с таким врагом, как Пугачев, было гораздо важнее, чем безрассудная слепая отвага, в которой и у последнего не было недостатка. В самом деле, оборона капитана Крылова привела в такую ярость Пугачева, что он «скрежетал» зубами после неудачного приступа и грозил повесить не только Симонова и Крылова, но и все семейство последнего, находившееся в то время в Оренбурге. «Таким образом», говорит Пушкин, «обречен был смерти и четырехлетний ребенок, впоследствии славный Крылов». Но Пушкин ошибался в возрасте Крылова: ему шел уже в то время седьмой год.
Ужасы того времени должны были оставить неизгладимый след в умном и наблюдательном ребенке. Во всяком случае походная жизнь, семейная обстановка бедного армейского офицера и тесное соприкосновение с военным бытом, с его тревогами, откровенными нравами и сценами то трагического, то комического характера, имели несомненное влияние на образование характера Крылова. Быть может не покидавшая его во всю жизнь страсть к пожарам, благодаря которой ленивый и равнодушный Крылов подымался с постели и делался проворным и торопливым, была именно плодом впечатлений того периода детства. Но что еще важнее, впечатления этого времени имели влияние на его позднейшее отношение к народу, к его бурной силе и порывам.
Конечно, тревожное детство не было хорошей подготовкой к правильному образованию и воспитанию. Правда, вслед за окончанием бунта отец Крылова вышел в отставку и поселился в Твери, где получил место председателя губернского магистрата. Но условия жизни даже губернского города были не таковы, чтобы поправить дело. Ни постоянных пансионов, ни городских школ в то время еще не знали. Народные училища стали возникать только с 1786 года. Современник Крылова, известный поэт и баснописец Дмитриев, сын родового помещика, не жалевшего средств для его образования, обучался однако арифметике у гарнизонного солдата, сержанта Копцева, от которого слышал одни только «непонятные слова»: искомое, делимое и т. д.
Все же, наряду с «обязанностями чинов», Дмитриев в пансионе знакомился с историей и писал письма «по темам». Маленький Крылов лишен был даже такого скудного образования. Учителей русского языка тогда не было, как не было их и позже, даже в начале царствования Александра; взамен того учили французскому языку я мифологии. Не было учителей и для Закона Божия. Сельские священники, происходя из дьячков, знали только по навыку одну церковную службу, а о катехизисе не имели понятия. Между тем любознательность в обществе росла. Родители Крылова воспитаны были в то время, когда даже самое слово «воспитание» понимали совсем в ином смысле. «Могу сказать», говорила одна барыня, «мы у нашего батюшки хорошо воспитаны: «одного меду невпроед было». Правда, если не было еще воспитания и правильного учения, то был уже Ломоносов, пример которого действовал, возбудительно на многих, а начало царствования Екатерины II создало обширную литературу, переводную и оригинальную. К счастью отец и мать Крылова понимали и ценили образование. Отец его оставил после себя целый сундук книг, что в то время было большой редкостью и роскошью, особенно при походной жизни бедного армейского офицера.