Выходец из дворян Санкт-Петербургской губернии, православного вероисповедания. Воспитывался в Пажеском корпусе.

В 1835 г. поступил на службу в звании прапорщика в лейб-гвардии Семёновский полк. 18.08.1837 г. получил звание подпоручика, в 1840 г. – поручика. 16.10.1843 г. произведен в штабс-капитаны, 23.03.1848 г. – в капитаны. 19.03.1848 г. приказом по Корпусу жандармов назначен штаб-офицером в Херсонскую губернию, но 23.03.1848 г. перемещен штаб-офицером в Подольскую губернию. 1.10.1851 г. назначен штаб-офицером в Ковенскую губернию. В 1853 г. произведен в полковники. 14.04.1863 г. за отличную службу награжден бриллиантовым перстнем с вензелем императора. 3.06.1863 г. назначен исполняющим должность начальника 4-го (Виленского) округа жандармов. 8.06.1863 г. за отличную службу произведен в генерал-майоры.

Указом Александра II от 21.07.1863 г. был назначен военным губернатором г. Гродно и гродненским гражданским губернатором.

В период подавления восстания 1863–1864 гг. действовал согласно идейных установок М.Н. Муравьёва. 7.09.1863 г. были разбиты остатки отряда В. Врублевского, пробиравшегося в Королевство Польское. По делу графа Старжинского, подавшего в июне 1863 г. записку по крестьянскому делу, уволил всех причастных мировых посредников польского происхождения и заменил их лицами русского происхождения, а лиц, допустивших в своих прошениях неуместные или оскорбительные для правительства выражения, предал суду. Для проверки действий мировых посредников первого призыва, составлявших уставные грамоты, слишком выгодные для помещиков и невыгодные для крестьян, были назначены поверочные комиссии. Благодаря губернатору, последние окончили свою деятельность в течениe двух лет: были рассмотрены все выкупные акты и основания, послужившие для их составления; обращено также внимание на крестьянское самоуправление.

В 1864 г. Скворцов способствовал строительству каменной ограды вокруг православного кладбища в Гродно.

В 1864–1868 гг. занимался проблемой жителей Рыбацкой слободки и Госпитального переулка Гродно, страдавших от половодий: были построены два обводные каналы, воизбежание подмыва водой Замковой горы, верх которой должны были укрепить посадками ивы и акации. Госпитальный переулок был перепланирован, вымощен булыжником, промоины засыпаны.

18.09.1865 г. генерал-губернатор фон Кауфман предложил Скворцову закрыть Гродненский подоминиканский костел, а здание его перестроить в православную церковь при Гродненской гимназии. 22.10.1865 г. костел был закрыт, а его имущество принято гродненским деканом и архидьяконом Гинтовтом.

«Строго русский человек» (по словам историка М. Кояловича) обратил внимание на разрушающуюся Борисоглебскую церковь, привлёк к делу её восстановления инженеров 9-го инженерного округа.

В кабинете губернатора висела гравюра М. Цюндта, на которой были изображены православные храмы.

Являлся почетным гражданином Гродно (1865).

Царским указом от 13.01.1868 г. по собственному прошению уволен с должности с зачислением в запасные войска. В 1874 г. в звании генерал-лейтенанта состоял при Главном штабе.

Награды: ордена – Святого Станислава 1 ст. (1864), Святого Владимира 4 ст. (1858), 3 ст. (1861); Святой Анны 2 ст. (1851) и 2 ст. с короной (1855); медали – бронзовая в память Крымской войны 1853–1856 гг., в память подавления восстания 1863–1864 гг.; знаки отличия за ХV лет (1853) и ХХ лет (1857) беспорочной службы.

Семья: жена – Софья Рубенау, дочь статского советника.

Дети:

Ольга (1847) – жена сувалковского вице-губернатора. В 1899 г. переписывала дневник отца для публикации в журнале «Русская старина». В письме И.П. Корнилову она намекала на какие-то преследования отца А.Л. Потаповым, доносы и поклёпы.

Мария (1849), Надежда (1852), Наталия (1855), Любовь (1859), Иван (1862).

Знак Императорского и Царского Ордена Св. Станислава 1-й степени

Знак Императорского и Царского Ордена Св. Станислава 1-й степени

Кресты к ордену Св. Владимира слева 2 креста к ордену 3-й степени, справа 2 креста к ордену 4-й степени

Знак ордена Святой Анны 2-й степени с императорской короной

Знак ордена Святой Анны 2-й степени с мечами

Бронзовая медаль в память Крымской войны 1853–1856 гг.

Бронзовая медаль в память Крымской войны 1853–1856 гг.

Бриллиантовый перстень с вензелем императора

Гродно во времена губернатора И.Н. Скворцова, около 1864 г.