А тем временем Бирон и Анна искореняли и остальных Долгоруких. В декабре 1731 года по доносу одного из немецких генералов фельдмаршала Василия Владимировича и его жену арестовали. Его обвинили в том, что он оскорблял императрицу «поносительными словами». Сенат и генералитет собрались и с обычной угодливостью вынесли князю Василию и его «сообщникам» – племяннику Георгию Долгорукому, князю Алексею Барятинскому и гвардейскому офицеру Георгию Столетову смертный приговор. Анна «милостиво» заменила казнь тюремным заключением: фельдмаршала отправили в Шлиссельбургскую крепость, остальных – в сибирские остроги. Брат фельдмаршала Михаил Владимирович, вначале назначенный губернатором в Астрахань, был послан в дальнее имение вместе со своим старшим сыном, а его младшие сыновья были отданы в солдаты без права производства в офицеры (самого младшего, Василия, было запрещено учить грамоте, и будущий московский генерал-губернатор до конца своих дней едва-едва мог подписываться).
На некоторое время о Долгоруких как бы забыли. Князь Иван и его братья жили в Березове. Наталья Борисовна воспитывала сына Михаила, родившегося в 1731 году, и готовилась к рождению второго – Дмитрия. Василий Лукич («самый воспитанный и располагающий к себе из всех русских», по отзыву одного из иностранных дипломатов) содержался в Соловецком монастыре.
Но вот наступила вторая половина царствования Анны Иоанновны. Шла долгая и неудачная война с Турцией, когда русская армия страдала не столько от неприятеля, сколько от собственных казнокрадов, жестоких генералов и двуличия союзной Австрии. Финансы находились в расстройстве – немецкие фавориты императрицы и нелепая, варварская пышность двора опустошали казну. Не знали предела административный произвол и лихоимство чиновников в провинциях. Голод, пожары и разбои вспыхивали повсеместно. Бироновщина вошла в полную силу, и поскольку сознательно или подсознательно она ставила целью уничтожение и унижение национальных петровских стремлений, то острие ее обращалось в первую очередь против тех родовитых русских, само существование которых будило надежды на возрождение России и продолжение дела преобразователя, на прекращение состояния, когда Россия становилась дойной коровой для курляндских и голштинско-мекленбургских проходимцев.