Он слыл среди своих современников человеком злым и жестоким — как бы нарочно созданным для того, чтобы омрачать их существование. Не только в характере его, воззрениях и поступках, но и в самом его внешнем облике усматривали прямо-таки врожденную предрасположенность к злодейству.

«По наружности Аракчеев походил на большую обезьяну в мундире, — писал в своих мемуарах Н. А. Саблуков. — Он был высок ростом, худощав и жилист; в его складе не было ничего стройного, так как он был очень сутуловат и имел длинную тонкую шею, на которой можно было бы изучать анатомию жил, мышц и т. д. Сверх того, он как-то судорожно морщил подбородок. У него были большие мясистые уши, толстая безобразная голова, всегда наклоненная в сторону; цвет лица его был нечист, щеки впалые, нос широкий и угловатый, ноздри вздутые, рот большой, лоб нависший. Чтобы дорисовать его портрет, у него были впалые серые глаза, и все выражение его лица представляло странную смесь ума и злости». Сходным образом описывал внешний облик Аракчеева и А. К. Гриббе, служивший с 1822 года офицером в военных поселениях: «Фигура графа, которого я увидел тогда впервые, поразила меня своею непривлекательностью. Представьте себе человека среднего роста, сутулого, с темными и густыми, как щетка, волосами, низким волнистым лбом, с небольшими, страшно холодными и мутными глазами, с толстым, весьма неизящным носом формы башмака, довольно длинным подбородком и плотно сжатыми губами, на которых никто, кажется, никогда не видывал улыбки или усмешки; верхняя губа была чисто выбрита, что придавало его рту еще более неприятное выражение. Прибавьте ко всему этому еще серую, из солдатского сукна куртку, надетую сверх артиллерийского сюртука, и вы составите себе понятие о внешности этого человека, наводившего страх не только на военные поселения, но и на все служившее тогда в России».

Многие современники Аракчеева считали, что он не заслуживает обыкновенного человеческого имени, и звали его между собой именами необыкновенными — в буквальном смысле сказочными: «людоед», «змей горыныч», «змей, который живет на Литейной» или просто «змей». Князь П. М. Волконский писал, например, графу А. А. Закревскому: «Змей, говорят, сидит в своей конуре». И адресату все было понятно: Аракчеев пребывает в собственном имении. «Еще в ребячестве слышал я, как с омерзением и ужасом говорили о людоеде Аракчееве, — вспоминал Ф. Ф. Вигель. — С конца 1796 года по 1801-й был у нас свой терроризм, и Аракчеев почитался нашим русским Маратом. В кроткое царствование Александра такие люди казались невозможны; этот умел сделаться необходим и всемогущ. Сначала был он употреблен им как исправительная мера для артиллерии, потом как наказание всей армии и под конец как мщенье всему русскому народу».

Наверное, всегдашней тайной для рассудка будет тот закон, по которому люди выбирают себе, кого чтить, а кого ненавидеть, и непостижимыми останутся мотивы, по каким одного государственного деятеля общество, несмотря на множество обличающих его фактов, всячески превозносит, а другого — при всех оправдывающих его обстоятельствах — безжалостно проклинает. Есть в странности этой нечто первобытно-религиозное, идущее от язычества. Так древний человек, не способный ни объяснить, ни приручить природные стихии, персонифицировал их; выдумывал себе добрых и злых богов и приписывал им все непонятное из происходившего вокруг.

Каждый человек таит в себе желание спастись от бесследного исчезновения, оставить по себе хоть какую-то память в потомстве. Марк Аврелий смеялся над сим желанием: «Нет, что они делают! — людей, живущих в одно с ними время и вместе с ними, они хвалить не желают, а сами тщатся снискать похвалу у потомков, которых никогда они не видели и не увидят. Отсюда совсем уже близко до огорчения, что предки не слагали тебе похвальных речей». Но смеясь над этим странным желанием людей, римский император-философ тем не менее сам носил его в себе и непроизвольно выказывал в грустных размышлениях о человеческой жизни: «Как быстро все исчезает, из мира — само телесное, из вечности — память о нем!»

В графе Аракчееве желание оставить после себя память в потомстве имело свойство настоящей страсти. «Надо строить и строить, — советовал граф одному из своих друзей, — ибо строения после нашей смерти, некоторое хотя время, напоминают о нас; а без того со смертью нашею и самое имя наше пропадает». Но он боялся напрасно: уж что-что, а имя его прочно и надолго вошло в память русского общества.

В 1882 году историк Н. Г. Богословский писал в своей книге «Аракчеевщина»: «Ему не суждено было принадлежать к числу тех людей, деяния и предначертания которых переживают целые поколения. От него осталось одно прозвище «аракчеевщина», синоним словам «татарщина», «архаровщина» и другим подобным, которые так неприятно поражают наше ухо». Имя Аракчеева оказалось удобным знаком для обозначения и обличения возникающих в обществе в результате насилия со стороны властей бесчеловечных отношений и порядков. И в данном своем качестве оно пережило имена многих прославленных его современников.

Год 1917-й стал роковой гранью для исторической памяти русского общества. Сколько имен славных своими делами русских обречено было новой властью на забвение! Имя же графа Аракчеева не просто уцелело в выпавшей на долю русского общества страшной катастрофе, но заработало с небывалой прежде интенсивностью — на все политические силы одновременно: как против новых властителей, так и на них.

Первую попытку использовать имя Аракчеева для критики захвативших власть большевистских вождей предпринял меньшевик Ю. О. Мартов. В начале декабря 1917 года в письме к старому своему соратнику по борьбе с самодержавием П. В. Аксельроду Мартов писал, что органически неспособен «примириться с тем аракчеевским пониманием социализма и пугачевским пониманием классовой борьбы, которые порождаются, конечно, самим тем фактом, что европейский идеал пытаются насадить на азиатской почве». В 1921 году в документах партии социалистов-революционеров, посвященных критике политики большевиков в русской деревне, было заявлено, что «под вывеской коммунизма повторяется печальный опыт генерала Аракчеева», который в начале XIX века организовал в нескольких губерниях России так называемые военные поселения, где солдат-крестьян заставляли работать на государство».

В 1924 году поэт и художник Максимилиан Волошин в поэме «Россия» следующими строками выразил утвердившееся к тому времени представление об Аракчееве:

Во второй половине 20-х годов олицетворением новой власти сделался Сталин. Критика обрушилась на него. И удивительно! — критикам тоже пригодилось имя Аракчеева. «Хлестаков и Аракчеев, Нерон и граф Калиостро — такова идейно-политическая и духовная физиономия Сталина», — заявлял в своем политическом трактате «Сталин и кризис пролетарской диктатуры» большевик М. Н. Рютин.