Ричмонд, по которому он ехал, был разрушенным городом, улицы превратились в дорожки, проложенные среди обломков и гари от пожара, уничтожившего большую его часть. Прохожие приветствовали его, когда он подъезжал к дому 707 по Франклин-стрит, и он с серьезным достоинством отвечал на их приветствия. Перед домом он сел на землю и передал поводья Тревеллера одному из своих санитаров, затем открыл ворота в кованой ограде, поднялся по ступеням между дорическими каменными колоннами крыльца и вошел внутрь, чтобы начать новую жизнь.
Он не сдал свой мундир и не собирался этого делать еще какое-то время. Мэтью Брейди, знаменитый фотограф, который был не только неутомимым охотником за знаменитостями, но и великим художником, сфотографировал Ли на заднем крыльце своего дома всего через двадцать четыре часа после его возвращения в Ричмонд. Люди предупреждали Брейди, что "нелепо" предполагать, что Ли будет позировать ему в такой момент, но Брейди был человеком с большой силой убеждения, и он уже фотографировал Ли раньше, первый раз в 1845 году. Он считал, что это будет "исторический" снимок, и, видимо, Ли согласился: он позволил Брейди сделать шесть фотографий, в эпоху, когда каждое сидение предполагало длительное пребывание в полной неподвижности. В середине девятнадцатого века фотографирование себя все еще было формальным и серьезным событием. На одной из фотографий Брейди Ли стоит в дверном проеме с вызывающим видом, все еще в полковничьих звездах и пуговицах Конфедерации, но без меча. На другой он сидит на улице в мягком кресле, взятом из дома, его серая шляпа лежит на коленях, выражение лица отстраненное, возможно, даже страдальческое, а справа от него стоит его сын генерал-майор Кэстис ("Бу") Ли, а слева - его адъютант полковник Тейлор. Возможно, гражданская одежда Ли была давно потеряна. Три месяца спустя он все еще носил свой старый серый мундир Конфедерации, но уже без звезд и позолоченных пуговиц, и в другой шляпе. Его переход к гражданской одежде, очевидно, занял некоторое время, как и у бесчисленных менее известных ветеранов Конфедерации.
Если на некоторых фотографиях Брейди выражение лица Ли выглядит потрясенным, это неудивительно. За считанные дни он превратился из командующего всеми армиями Конфедерации в человека, которому нечем заняться, к тому же он стал невольной туристической достопримечательностью. Любопытствующие вынуждали его совершать прогулки по ночам; постоянный поток звонивших искал у него помощи, благословения, сочувствия или совета. Он уже стал символом поверженной Конфедерации, хотел он того или нет.
Счастливый от того, что вернулся к своей семье, Ли испытывал все лишения того периода на Юге. Самые обычные продукты питания, такие как сахар, чай и мука, были в дефиците или недоступны; валюта Конфедерации (как уже отмечалось выше) ничего не стоила; победоносный Север не спешил кормить побежденный Юг. Дом Ли был переполнен, его жена была практически прикована к постели, их дочери Милдред и Агнес изнемогали от забот о стольких людях, а сам Ли боролся с самообвинениями и горем, его лицо, как многие замечали, было так сильно изрезано, как будто он постарел за одну ночь: "Горести Юга были бременем [остатка] его жизни".
Однако Ли было всего пятьдесят восемь лет, он был активным человеком и советовал всем, кто его искал, найти работу и начать процесс восстановления, и себя он от этого не освобождал. Он посоветовал своему сыну Руни вернуться на свою разоренную плантацию Уайт-Хаус и заняться фермерством. Вскоре к Руни присоединился его брат Роб, и Ли явно нужно было искать себе занятие. Ли повезло в том смысле, что мальчики все еще владели недвижимостью, которую можно было обрабатывать, оставленной им дедом, а Ли все еще хранил облигации, которые приносили скромный доход, хотя и недостаточный для нужд семьи в Ричмонде. Их дом был арендован Кэстисом Ли у мистера Джона Стюарта - восхитительного и сочувствующего хозяина, который убеждал Ли оставаться в доме "до тех пор, пока вам будет удобно оставаться в Ричмонде", и отказывался принимать какую-либо оплату, если только она не была "сделана в долларах Конфедерации", что фактически делало дом бесплатным для аренды. Ли был не из тех, кто принимает такую щедрость, пусть даже из лучших побуждений; он также не хотел оставаться в Ричмонде на неопределенный срок. Он вообще не был городским человеком, и ему казалось, что Мэри Ли будет лучше вдали от руин Ричмонда и постоянного присутствия федерального гарнизона. Она была гораздо более озлоблена победой Союза, чем ее муж. Как только Ли сдался, он принял федеральное правление и его последствия; его "подчинение гражданской власти" было подлинным. Он сделал все, что от него требовалось, чтобы добиться помилования, и не по его вине оно затянулось на 110 лет, но чувства Мэри Ли к Северу были менее снисходительными. Она по-прежнему считала Конфедерацию святым делом, и Ли опасался последствий ее пребывания в оккупированном городе, не считая опасности заболеть и заразиться там в летние месяцы.
Сначала он подумал о местечке возле Уайт-Хауса, но Руни написал в ответ, что местность вокруг обугленных руин дома Кьюстисов опустошена тремя годами боев и федеральной оккупации, не говоря уже о том, как подействует на его мать почерневший кирпичный дымоход - все, что осталось от дома, где Джордж Вашингтон сватался и женился на Марте Дендридж Кьюстис. Ли, видимо, это не убедило, и в конце мая он решил убедиться в этом сам. Он проехал на "Тревеллере" мимо полей, где его армия сражалась в 1862 и 1864 годах, мимо скромных мест, чьи названия стали знаменитыми: Механиксвилл, Мельница Гейнса, река Чикахомини, Колд-Харбор. Выезд в сельскую местность на "Тревеллере" был частью процесса исцеления Ли. Может быть, он и не знал об этом, но он обнаружил это в пути - лошадь, фермы, знакомые дороги, друзья, которые пришли навестить его, когда он ночевал в доме своего лихого молодого кузена полковника Томаса Картера, чьи пушки поддерживали Пикеттовский заряд в 1863 году, - все это вытеснило на время из его головы мрачную реальность Ричмонда. У него не было желания возвращаться на старые поля сражений; он наслаждался роскошным семейным ужином в старинном виргинском стиле эпохи антебеллумов, на котором присутствовали его сыновья Руни и Роб, и впервые за много лет играл с маленькими детьми; он был среди людей, которые ничего от него не хотели и не относились к нему как к диковинке или идолу. В то же время он сразу понял, что Руни был прав: это не то место, где стоит искать дом для себя и Мэри. Здесь было слишком много напоминаний о войне, слишком много призраков, слишком много полей сражений вдоль реки Памункей, чтобы сделать этот выбор удачным, но он также понимал, что его порыв был правильным и что для восстановления собственного равновесия он должен уехать из Ричмонда и найти мир и покой, чтобы решить, что делать с остатком своей жизни, ведь Ли никогда не был человеком, который мог бездельничать.
Находясь в Пампатике, в доме Томаса Картера, Ли узнал, что всем, кроме нескольких бывших конфедератов, будет предложена полная амнистия и помилование при условии, что они дадут клятву поддерживать правительство и конституцию Соединенных Штатов. Ли не мог не удивиться, что он оказался в числе исключенных, но, прочитав прокламацию, он обнаружил, что имеет право подать индивидуальное прошение о помиловании, и через две недели он сделал это, убедившись, что генерал Грант с радостью одобрит письмо Ли президенту Джонсону и доведет его до сведения президента. Это было более важное решение, чем кажется на первый взгляд. Хотя Ли не делал публичных заявлений о том, что он просил о помиловании, вскоре об этом стало известно. Его готовность подчиниться федеральной власти послужила примером для других конфедератов, чтобы они поступили так же. Теперь, когда война закончилась, он твердо знал, что чем скорее Союз будет полностью восстановлен и принят на Юге, тем лучше для всех. В очередной раз, по-своему тихо, Ли выступил в роли лидера для всех, кто сражался за Конфедерацию. Если бы он мог подать прошение о помиловании, мало кто из других людей мог бы проявить такую гордость, чтобы отказаться, и таким образом он сделал первый шаг к примирению Севера и Юга.
В случае с Ли его прошение о специальном помиловании было осложнено тем, что федеральный судья хотел предъявить ему обвинение в государственной измене - попытка, которую Грант пытался "отменить", поскольку она противоречила написанным им условиям капитуляции, - и в итоге прошение было "замято" каким-то бюрократом. Сам Ли предсказывал, что "мы должны ожидать промедления в принятии мер по облегчению положения". Он был, безусловно, прав: прошло более 100 лет, прежде чем его помилование было наконец подписано, а американское гражданство восстановлено.
Тем временем, благодаря одной из тех счастливых случайностей, которые так часто происходили в жизни Ли, его решение покинуть Ричмонд было принято, когда одна богатая вдова предложила ему коттедж на своей обширной плантации площадью 3000 акров, Окленд, расположенной в пятидесяти милях к западу от города, на южном берегу реки Джеймс. Миссис Элизабет Кок незамедлительно отправилась в Ричмонд, чтобы поговорить с миссис Ли, которая, несомненно, к облегчению Ли, быстро согласилась на эту идею. К тому же до Окленда можно было добраться по реке и по каналу, что избавляло миссис Ли от боли и усталости, связанных с поездкой по дорогам такой протяженности. Это была часть штата, где еще не было боев между враждующими армиями и где не было урожая, и Ли показалось, что это прекрасная возможность увезти жену и трех дочерей из города.
Как обычно, Ли не терял времени даром, как только принял решение принять предложение миссис Кок и Мэри Ли согласилась на него. Он, очевидно, не стал советоваться со своими дочерьми, чей энтузиазм по поводу переезда был гораздо меньше, чем у их матери. Мэри Куллинг в своей книге "Девочки Ли" отмечает, что дочери Ли, как и многие женщины на Юге, пережили четыре года лишений во время фактического отсутствия отца и братьев. Что бы ни предполагал Ли, они больше не были его "маленькими девочками". Они ухаживали за больной матерью, пережили смерть сестры Энни, вместе с Агнес разделили шок от повешения Ортона Уильямса и похищения раненого брата Руни федеральной рейдерской группой, потеряли свой дом, научились справляться с домашними делами, которые большую часть жизни беспрекословно выполняли рабы, и после сожжения большей части Ричмонда отправились на поиски еды, чтобы прокормить семью, через улицы, которые были полны вражеских солдат, разъяренных бегущих конфедератов и освобожденных рабов. Только благодаря своему названию они были избавлены от крайностей унижения и отчаяния, которые испытывали многие женщины на фермах, захваченных или сожженных федеральными колоннами, где "хозяйка дома" была оставлена на произвол судьбы без взрослых мужчин, способных защитить ее, и с сокращающейся рабочей силой из рабов, которые могли сбежать или стать угрюмыми и мятежными, чтобы обрабатывать землю. За гламурным притворством "Унесенных ветром" скрывалась жестокая реальность: южные женщины, как богатые, так и бедные, были вынуждены спасать то, что можно было спасти от катастрофы войны и поражения, добывать средства к существованию на заброшенной земле, терпеть оккупацию и принимать решения, которые до этого пр