В Скорнякове Николай Николаевич усиленно занимался литературным трудом. Здесь написаны им две большие книги «Русские на Босфоре» и «Война за Кавказом», здесь приводил он в порядок свои «Записки», хотя понимал, что при существующих цензурных условиях опубликовать их ему не удастся.
7 июля 1865 года он сделал последнюю запись в дневник: «Но полно писать. Через неделю должен миновать 71 год. Часто память изменяет, слабеют силы телесные и нравственные, тускнеют глаза. Совершается век мой, я пережил всех друзей, постепенно разрушается мой семейный быт, впереди – одиночество.
Прекращая сей дневник, посвящу остальные дни, насколько оставшееся время и силы позволят, приведению в порядок собранных и составленных мною в течение целой жизни «Записок».
Великое бы для меня было утешение, если б встретил личность, которая при разумении дела охотно приняла бы от меня на сохранение обильный труд всего моего века, с тем чтобы при удобном времени и обстоятельствах приложить старание к добросовестному обнаружению событий, не лишенных занимательности».
Смысл последней фразы ясен. Он жил в жестокое время, в сибирской каторге погибли лучшие его друзья и единомышленники, сам он долго находился под строгим надзором, обстоятельства вынуждали его к осторожности, он не мог в своих «Записках» сказать всего, что хотелось, приходилось многое замалчивать, о многом говорить иносказательно, выказывая иной раз наружное уважение лицам, которые «уважения не заслуживали».
Он хотел, чтобы потомки поняли, при каких обстоятельствах делались им записи, и чтоб события, вынужденно им затушеванные, были добросовестно обнаружены в их подлинном виде. Впрочем, он не раз и в других дневниковых записях как бы снабжал «ключами» вдумчивых читателей, намекая, что причины некоторых важных дел указаны им не совсем точно и что они «останутся раскрыты только для тех, кои внимательно рассудят все обстоятельства дела».
Мне приятно сознавать, что, пользуясь его «ключами», опубликованными и неопубликованными записями и огромным эпистолярным наследством, я в какой-то степени прочитал любопытнейшие страницы большой и содержательной жизни, отданной на служение своему отечеству, которое в те времена было угнетено самодержавным деспотизмом, но виделось Н.Н.Муравьеву и его товарищам сквозь завесу дней свободным, просвещенным и могущественным.