Джеймс-младший появился на свет в хижине в местечке Коув-Кэп, а вскоре после его рождения (он был первым из одиннадцати братьев и сестер) семья переселилась в окрестности городка Мерсерсберг, где приобрела более крупную ферму. Отец вел успешное хозяйство, выгодно продавал свою продукцию и вскоре стал одним из самых богатых людей в округе, занявшись также торговлей землей.
Джеймс-младший учился вначале в деревенской школе под пышным названием Академия Олд Стоун, а затем в течение двух лет (1807–1809) в колледже Дикинсон в находившемся неподалеку городе Карлайл. Преподаватели отмечали, что это был способный, но непослушный и недисциплинированный юноша, который даже за какой-то проступок был исключен. Правда, после покаяния он был восстановлен и завершил образование с отличием.
Сразу после получения удостоверения об окончании колледжа Джеймс отправился в Ланкастер — в то время столицу Пенсильвании, где поступил учеником к известному адвокату Джеймсу Гопкинсу. Три года, проведенные в адвокатской конторе, дали молодому человеку и основные прикладные знания в юридическом ремесле, и понимание жизненных условий разных слоев общества. В 1812 г. он, успешно сдав экзамен, был признан членом коллегии юристов. При этом Бьюкенен принял разумное решение: в то время как другие адвокаты один за другим отправились в новую столицу штата Харрисберг, он остался в Ланкастере и вскоре стал процветающим юристом, обычно выигрывавшим дела, для ведения которых его нанимали люди разного имущественного положения. Его практика росла, и в 1821 г. он заработал, например, 11 тыс. долларов (сумма, примерно равная 220 тыс. долларов в 2018 г.).
В 1818 г. Джеймс познакомился с Энн Коулмэн, дочерью местного торговца и владельца небольшого металлургического предприятия. Вскоре молодые люди объявили о предстоявшем браке. Однако внезапно отец Энн сообщил о разрыве помолвки, не объяснив причин. Скорее всего, это было связано со слухами о том, что Джеймс собирался жениться по меркантильным соображениям, в которые Коулмэн поверил. Объяснения Бьюкенена ни к чему не привели. В 1819 г. Энн скончалась от какой-то заразной болезни, в связи с чем Джеймс явно горевал, но ему запретили появляться на похоронах. Он так и остался холостяком. Впоследствии ходили всевозможные слухи по этому поводу, вплоть до того, что он был гомосексуалистом, однако никаких доказательств этого не приводилось. У него были друзья среди женщин, в той или иной степени интересовавшиеся политикой, но ни о каких сексуальных связях документы не упоминают.
Рост благосостояния вместе с опытом и авторитетом привел к тому, что Джеймс занялся политикой. Он присоединился к группе федералистов и при их поддержке был избран помощником прокурора в городе Либанон в Пенсильвании. На этом посту он отличился раскрытием нескольких преступных группировок, которые ранее власти не могли разоблачить, завоевал репутацию ответственного человека, достойно исполняющего обязанности. Результатом было избрание в Палату представителей штата в 1814 г., в которой Бьюкенен состоял, правда, всего два года, вернувшись затем к адвокатуре.
Перерыв в политической деятельности был связан, видимо, с тем, что у Джеймса были более амбициозные планы. Действительно, в 1821 г. он выдвинул свою кандидатуру в Конгресс США в качестве деятеля Партии федералистов, а затем избирался в Палату представителей еще несколько раз (до 1831 г.) как «республиканец-федералист», что было связано с постепенным упадком федералистской партии. В Конгрессе он стал приверженцем Эндрю Джексона и вслед за ним отстаивал права штатов, их приоритет перед федеральным правительством. Он участвовал в конструировании следовавшей за Джексоном Демократической партии. Связан он был в основном с деятелями юга и подвергал резкой критике деятелей Новой Англии как «опасных радикалов». Он был активен в комитетах Палаты представителей по сельскому хозяйству, а затем по правовым вопросам, председателем которого стал.
Прослужив в Конгрессе пять сроков, Бьюкенен возвратился было к частной жизни. Хотя у него не было никакого дипломатического опыта, он все же принял предложение президента Джексона отправиться послом в Российскую империю. В нескольких письмах на родину он писал, что его окружают доброжелательные люди, хотя и отмечал, что ему тяжело жить в стране, где отсутствует свобода печати и общественного мнения. Джеймс получил несколько аудиенций царя Николая I, на которого произвел положительное впечатление. Послу удалось сблизиться с министром иностранных дел графом К. В. Нессельроде.
Главным достижением его посольства, продолжавшегося чуть более года, было подписание договора о торговле и мореплавании, который устанавливал принцип наибольшего благоприятствования в экономических отношениях. Подписанный Бьюкененом и Нессельроде 18 декабря 1832 г. трактат объявлял торговлю и мореплавание во владениях обеих сторон свободными и основанными на взаимности. Жителям России и США разрешалось торговать везде, где позволялась иностранная торговля. Им гарантировались свободное ведение дел, безопасность и покровительство властей страны пребывания. Договор действовал до 1911 г.
Бьюкенен попросил отозвать его из Петербурга, ссылаясь на суровость русского климата. Но, по всей видимости, причина состояла в том, что он не желал долго оставаться на отшибе политической жизни своей страны. Действительно, по возвращении на родину он выдвинул свою кандидатуру в Сенат США, выиграл выборы и затем переизбирался еще два раза. Он явно стремился к высшим постам и даже отклонил предложение президента Ван Бюрена о назначении его генеральным прокурором.
Бьюкенену не раз приходилось высказываться по вопросу о рабовладении. Во всех этих случаях он ссылался на принципы «джексоновской демократии», то есть невмешательства в права штатов. Однажды он заявил, что права южных штатов столь же неоспоримы, как и право подачи петиций, предусмотренное Конституцией. Точно так же, соглашаясь на неоспоримое право северных штатов развиваться на основе вольнонаемного труда, Бьюкенен критиковал аболиционистов, считая, что они погрязли в «излишней и недопустимой страсти». Сенатор пользовался авторитетом прежде всего в южных штатах, однако и на севере его считали относительно умеренным и, главное, выступавшим за единство страны во что бы то ни стало. Его кандидатура в президенты обсуждалась на съезде демократов 1844 г., однако номинирован был Д. Полк.
Вспомнив, вероятно, миссию Бьюкенена в Петербург и в целом его авторитет, Полк предложил ему стать государственным секретарем. Рассматривая этот пост как важнейший шаг на пути к высшей власти, Бьюкенен принял предложение и руководил американской внешней политикой на протяжении всего президентства Полка — до 1849 г. Правда, руководство международными делами сосредоточивалось в Белом доме, и Бьюкенен в основном исправно выполнял указания президента, связанные прежде всего с территориальным расширением США. В отдельных случаях он, однако, позволял себе высказывать несогласие с мнением высшего исполнительного лица, в частности предложив в ходе войны против Мексики аннексировать бóльшую территорию, чем было первоначально намечено. Это вызвало недовольство президента, который увидел в действиях госсекретаря лишь намерение добиваться высшего поста. Действительно, имея в виду намерение Полка оставаться президентом только один срок, Бьюкенен всерьез полагал, что его шансы на номинацию велики. Однако съезд Демократической партии 1848 г. предпочел сенатора Луиса Касса, который на выборах потерпел поражение, уступив Белый дом Закари Тейлору.
Уйдя в отставку, Бьюкенен вернулся к частной жизни. На накопленные средства он купил дом с садовым участком на окраине Ланкастера, принимал высокопоставленных визитеров, внимательно следил за развитием политической обстановки и готовился к новым боям. Он закрепил свое общественное положение, возглавив наблюдательный совет колледжа Франклина и Маршалла в этом городе и занимал эту должность почти до конца жизни, включая президентские годы. В 1852 г. его опять выдвигали в президенты от Демократической партии, и вновь он не прошел номинацию, причем отказался от предложения Ф. Пирса стать его партнером на выборах в качестве кандидата в вице-президенты.
Поскольку к власти вновь пришла его партия, Джеймс согласился возобновить дипломатическую деятельность, приняв пост посла в Лондоне. Скорее всего, это было признанием, что в Белый дом попасть так и не удастся, и Джеймс решил, что представительство в наиболее мощной стране Европы и «царице морей» будет достойным завершением политической карьеры. Ему пошел уже седьмой десяток лет, что в те времена считалось старостью.
В Лондоне посол проявил высокую активность. Он регулярно встречался с британским государственным секретарем по иностранным делам Джорджем Вильерсом графом Кларендоном, добиваясь, чтобы англичане перестали вмешиваться в дела Центральной Америки, в частности выведя оттуда своих военных советников. Много времени и сил занимали дела, связанные с проблемой Кубы. По настоянию президента Пирса Бьюкенен, послы в Испании и Франции Пьер Соул и Джон Мейсон, встретившись в бельгийском городе Остенде в 1854 г., составили секретный план покупки или вооруженного захвата Кубы, который был направлен госсекретарю Уильяму Марси. При этом подчеркивалось, что Куба должна войти в США как рабовладельческий штат, так как отмена на острове рабства угрожала бы спокойствию на юге. Этот Остендский манифест в результате утечки информации стал достоянием широких кругов. На него обрушились за рубежом, он был подвергнут критике и внутри страны, в том числе в умеренных кругах Демократической партии. В результате власти США от плана отмежевались. Вопреки опасениям Бьюкенена, Остендский манифест не причинил ему значительного вреда, тем более что в Демократической партии все более усиливались настроения в пользу незыблемости рабовладения на юге.
На предвыборном съезде Демократической партии в городе Цинциннати (штат Огайо) в начале июня 1856 г. Бьюкенен оказался главным противником действовавшего президента Пирса, который стремился к переизбранию. Авторитет Пирса был, однако, подорван неудачами его четырехлетнего правления, особенно кровопролитиями в Канзасе, которые он не был в состоянии предотвратить. Съезд отказался его поддержать. Основным соперником Бьюкенена на съезде был Стивен Дуглас, но с каждым туром голосования позиция Дугласа слабела, пока, наконец, в 15-м туре за Бьюкенена были поданы 2/3 голосов. Его противником от Республиканской партии выступал популярный исследователь Запада Джон Фримонт, ратовавший за отмену рабства. В выборах участвовал также бывший президент М. Филлмор, ставший кандидатом Американской партии — коалиции бывшей консервативной фракции вигов и противников иммиграции в США, особенно из стран, где господствовала католическая религия.