Гарфилд участвовал в военных действиях лишь до 1863 г.: он был избран в Палату представителей от Республиканской партии и оставил военную службу с согласия командования. В декабре 1863 г. Гарфилд занял свое место в Конгрессе. Он присоединился к группе радикальных республиканцев и выражал недовольство и удивление политикой Линкольна, к которому относился с почтением, считая, что президент ведет себя в войне и в преобразовании юга страны чрезмерно осторожно. Совместно с депутатом от Пенсильвании Таддеусом Стивенсом он предложил разработать законопроект о конфискации земли у рабовладельцев. Однако Линкольн заявил, к величайшему огорчению Джеймса, что, если таковой закон будет принят, он наложит на него вето. Полностью поддержав прокламацию президента об освобождении рабов, конгрессмен рассуждал, что она не может считаться полной, так как ее естественным дополнением должно было бы стать лишение бывших рабовладельцев гражданских прав. Полное разрушение рабовладельческой системы, считал он, может быть осуществлено только путем предания суду ее носителей.
Гарфилд находился, таким образом, на крайне радикальном крыле Республиканской партии, не учитывал реальной обстановки в стране, в том числе на севере, где сохранялось неоднозначное отношение к предоставлению неграм политических прав, с чем Линкольн должен был считаться, к тому же, как мы знаем, считал необходимым предоставление черному населению всех гражданских прав только по мере его просвещения.
От большинства республиканских политиков Гарфилд отличался и тем, что резко выступал против возможности откупиться от службы в армии путем уплаты определенного денежного взноса. Он произнес в Палате представителей страстную речь, в которой называл практику откупа отвратительной. И по этому вопросу он встретил сопротивление президента. Когда же вопрос был поставлен на голосование, оказалось, что Гарфилд был единственным депутатом, голосовавшим за собственное предложение.
Тем не менее он приобрел репутацию твердого и самоотверженного республиканца, прилагавшего все силы для победы севера, для реконструкции юга. На партийном съезде 1864 г. было внесено предложение выдвинуть Гарфилда кандидатом в вице-президенты. Съезд, однако, предпочел Эндрю Джонсона, который стал вице-президентом, а вслед за этим, после убийства Линкольна, перебрался в Белый дом.
Практика нового президента, его стремление к скорейшей ликвидации последствий Гражданской войны и восстановлению бывших мятежных штатов в Союзе путем фактического возвращения к власти недавних мятежников вызывала крайнее недовольство радикальных республиканцев, включая Гарфилда. Если раньше он критически относился к Линкольну, то теперь стал восхвалять убитого президента, противопоставляя его нынешнему. Что же касается Джонсона и его курса на примирение с югом, то, по словам Гарфилда, он «сошел с ума или опьянен опиумом».
Оказавшись в решительной оппозиции Джонсону, Гарфилд был одним из инициаторов ограничения власти президента путем принятия закона, запрещавшего ему увольнять ответственных чиновников без согласия Сената. Но все же со временем Гарфилд начинал понимать, что его крайняя позиция не способствует умиротворению страны. Когда президентский пост занял Грант, радикальная республиканская оппозиция в Конгрессе фактически перестала существовать, в частности в связи с тем, что Гарфилд занял более умеренную позицию. Наиболее четко изменение взглядов конгрессмена проявилось в 1871 г., когда обсуждался вопрос о запрещении ку-клукс-клана как террористической организации. В конце концов он проголосовал за этот закон, но перед этим заявил, что «буквально разрывается» между негодованием по поводу действий «этих негодяев» и своей озабоченностью по поводу той опасности своеволия, которую закон предоставляет президенту, давая ему возможность по своему произвольному решению отменять хотя бы на время и хотя бы в какой-то местности гражданские права.
В 1875 г. Демократической партии, которая становилась выразителем интересов индустриального развития страны, удалось получить большинство в Палате представителей. К этому времени авторитет Гарфилда стал настолько значительным, что его признали лидером республиканского меньшинства. Он представлял партию в ряде комитетов палаты и рассматривался в качестве вероятного спикера в случае, если республиканцам вновь удастся добиться большинства. На выборах 1876 г. он поддержал своего земляка по Огайо Хейса.
Хотя он подумывал уже об отставке и возвращении к частной юридической практике, коллеги и сам кандидат в президенты убедили его продолжить парламентскую деятельность, и он в очередной раз выиграл выборы в Палату представителей. Хотя во время выборов, как и ранее, Гарфилд постоянно демонстрировал, что является «честным игроком», он отнюдь не был лишен партийных пристрастий. Во время споров по поводу итогов голосования в южных штатах Хейс попросил Гарфилда выступить в качестве «нейтрального наблюдателя» в предварительном пересчете голосов в Луизиане. Было совершенно очевидно, что здесь, как и в других штатах, обе партии использовали мошеннические трюки, что реальный победитель может быть определен только путем проведения повторных выборов. Но «нейтральный наблюдатель» пришел к выводу о победе Хейса, и это оказало определенное воздействие на дальнейший пересчет голосов в Конгрессе. Позже, когда Конгресс образовал свою избирательную комиссию для окончательного решения вопроса о президенте, Гарфилд был в нее включен, хотя демократы резко выступали против него, утверждая, что он являлся агентом Хейса. Естественно, в комиссии он голосовал в пользу Хейса.
После избрания последнего президентом Гарфилд стал его самым надежным сторонником в Конгрессе, а сам Хейс, обязавшийся не выдвигать свою кандидатуру повторно, несколько раз говорил, что рад был бы видеть его своим преемником. Когда же в 1880 г. наступило время очередных президентских выборов, некоторые деятели Республиканской партии называли Гарфилда «серой лошадкой», претендующей на высшую должность в стране. Как мы видели, это было далеко не так. Джеймс был к этому времени политиком национального масштаба. Но действительно в истории США не было еще ни одного случая, когда бы на президентский пост претендовал не губернатор штата, не крупный военачальник, не вице-президент или госсекретарь, а всего лишь член Палаты представителей. Большинство обозревателей предрекали Гарфилду провал уже при номинации.
Предвыборный съезд Республиканской партии состоялся в Чикаго. Он открылся 2 июня и продолжался до 8 июня. В партийной истории это был самый продолжительный съезд, так как он никак не мог определить кандидата в президенты. Потребовались 36 туров голосования, чтобы решение было наконец принято. Столкнулись две группы делегатов. Одна из них, концентрировавшая внимание на проблемах индустриального развития, выдвигала своим кандидатом известного политика Джеймса Блейна, который намечался в президенты и ранее. Другая группа, явно отстававшая от проблем дня, повторяла установки реконструкции, равенства всех граждан и др. Вначале эта группа считала своим кандидатом бывшего президента Улисса Гранта, который решил было номинироваться вновь. Преимущество было на стороне Блейна, но нужного большинства он набрать не мог никак. Тогда группа, выступавшая за наибольшее внимание к социально-экономическим проблемам, выдвинула своим основным кандидатом Гарфилда, который и перед этим фигурировал в качестве кандидата, но набирал небольшое число голосов. В 36-м туре Гарфилд получил наконец необходимые 2/3 голосов и стал кандидатом республиканцев. Участники противоположной группы были частично удовлетворены тем, что кандидатом в вице-президенты был определен их активный деятель юрист из Нью-Йорка Честер Артур. Демократическая партия выдвинула своим кандидатом профессионального военного Уинфилда Хэнкока.
Непосредственно после номинации Гарфилд попытался примирить фракции. Он встретился с партийными лидерами, в том числе со всеми бывшими кандидатами в президенты, и дал им ряд обещаний, которые затем зафиксировал в официальном письме о принятии номинации. По существу дела, это была программа будущего президента. Речь шла об обеспечении в стране твердой валюты, опирающейся на золотой запас, введении повышенных импортных тарифов, проведении реформы гражданской службы в духе, в каком намеревался, но не успел ее осуществить Хейс. Во всяком случае, Гарфилд обязался провести назначения, не консультируясь с партийными лидерами. Вряд ли последним понравилось это намерение, но ситуация складывалась так, что ни один политик не был в состоянии сохранить авторитет, не высказываясь за кардинальное совершенствование гражданской службы.
На практике различия в программах обоих кандидатов не были существенными. Поэтому кампания, по ироническому выражению циничных журналистов, напоминала «размахивание окровавленными рубашками»: каждая сторона обвиняла другую в развязывании Гражданской войны и в ее жертвах. Имея в виду, что со времени окончания войны прошло уже 15 лет, такой способ противостояния мало привлекал избирателей. Постепенно республиканские активисты изменили характер выступлений, обращая наибольшее внимание на экономические проблемы, прежде всего на выгоду интенсивного промышленного развития для всех американцев и на то, что демократы вроде бы выступают за сохранение аграрного характера страны, что не соответствовало действительности.
Несколько более эффективным было выдвижение на первый план вопроса о ввозных пошлинах: сторонники Гарфилда доказывали, что они защитят национальную промышленность и обеспечат всеобщую занятость населения. При этом, естественно, отвергались доводы демократов по поводу того, что такого рода меры надо предпринимать осторожно, чтобы они не привели к таможенной войне.
Выборы завершились почти на равных, что уже становилось явным признаком сближения политических позиций обеих партий. Гарфилд получил всего лишь на 2 тыс. голосов больше, чем его соперник. В коллегии выборщиков разница была несравненно более существенной: кандидата республиканцев поддержали 214, а Хэнкока — 155 голосов.