В 1775 г. Мэдисона избрали делегатом Вирджинского конвента, который при его активном участии разработал местную конституцию, важным приложением к которой стал документ под названием Декларация прав. Оба документа в значительной мере послужили образцами для принятых вскоре основополагающих общеамериканских законодательных актов. Правда, в одном вопросе Мэдисон оказался в меньшинстве: он настаивал, чтобы в декларацию был включен пункт о свободе религии, а большинство делегатов не оказались готовыми к принятию столь радикального положения, и англиканская церковь оставалась господствующей. Это, впрочем, никак не подорвало авторитета молодого законодателя. Наоборот, уважение к нему как к человеку, твердо отстаивавшему свои принципы, только повысилось.
Вполне естественным было избрание Мэдисона на Континентальный конгресс. Именно здесь он познакомился с Томасом Джефферсоном. Они стали друзьями и соратниками в борьбе за высшие государственные посты и, главное, за укрепление независимости нового государства, за разработку его основных законодательных актов. Возвратившись в Вирджинию, которая теперь стала штатом, Джеймс в том же 1776 г. был избран в Палату делегатов, которая переизбиралась ежегодно. В следующем году он вновь выставил свою кандидатуру, но выборы проиграл по своеобразной причине. Корыстные избиратели потребовали, чтобы он дал обещание выставить на каждом участке по бочке спиртного в награду за трудный путь к месту выборов и за сам факт поддержки его кандидатуры. Термина коррупция в то время не существовало, но факт зарождения таковой был налицо. Сугубо принципиальный Мэдисон не только отказался дать обещание, но резко осудил требование, предав его гласности.
Ставший в это время губернатором Вирджинии Томас Джефферсон высмеял явно догматическое поведение своего друга, но назначил его в Совет штата — консультативный орган при губернаторе. Мэдисон действительно стал ближайшим советником губернатора, все более приобретавшего общеамериканскую известность, которая распространялась на его друга. Оставаясь членом совета губернатора, Джеймс в 1781 г. отправился на Конгресс Конфедерации, каковой поначалу мыслились США. На его заседаниях он почти сразу выделился тем, что фактически отверг конфедеративный план и проект Конституции, предоставлявшей, по его мнению, слишком широкие права штатам. Мэдисон, как и небольшая группа делегатов, которых называли федералистами, выступал за создание сильного централизованного правительства со своими источниками финансирования, не зависящего от добровольных субсидий отдельных штатов. Свои предложения он аргументировал, в частности, тем, что штаты, включая его родную Вирджинию, всячески уклоняются от финансирования общеамериканских властей. По этому вопросу у него возникли разногласия с Джефферсоном, выступавшим за широкую автономию штатов. Разногласия, однако, не повлияли на близкие отношения политиков.
Разочарованный медлительностью в принятии фундаментальных решений, Мэдисон в 1783 г. покинул Конгресс и возвратился в свой штат. В том же году он был вновь избран в Палату делегатов и ежегодно переизбирался еще три раза. Здесь он особенно энергично добивался принятия закона о свободе вероисповедания и отделении церкви от государства. Несмотря на ожесточенное сопротивление приверженцев англиканской церкви, которая оставалась в Вирджинии, как и в других штатах, господствующей, Мэдисон, благодаря своему ораторскому таланту и логике, в конце концов добился принятия соответствующего закона в декабре 1785 г.
Вместе с тем Джеймс со все большей тревогой наблюдал, что централизованное государство, которое он считал необходимым создать, так и не возникло. В 1787 г. он изложил свои мысли в рукописи «Пороки политической системы Соединенных Штатов», в которой доказывал ошибочность статей Конфедерации и необходимость выработки новой Конституции. Он был в числе главных инициаторов созыва национального представительства, призванного выработать принципиально новый основной закон.
В результате в Филадельфии был созван Конституционный конвент, который выработал конституцию централизованного государства, значительная часть текста которой была написана Мэдисоном. Именно по его инициативе в текст были внесены такие важные положения, как избрание президента представителями избирателей (выборщиками), а не его назначение Конгрессом, на чем настаивали ряд делегатов, а также введение президентского вето на принятые законы, которое могло преодолеваться, но только квалифицированным большинством (свыше половины депутатов) в Палате представителей и двумя третями членов Сената.
Теперь предстояла ратификация основного закона штатами. Соглашаясь в основном на создание централизованного государства, легислатуры штатов в ряде случаев требовали гарантий обеспечения своих прав (это в наибольшей мере касалось таких крохотных штатов, как, например, Род-Айленд, Коннектикут и Дэлавер) и, главное, обеспечения законных прав графств, городских и сельских общин и отдельных граждан. Считая такие претензии обоснованными, Мэдисон счел необходимым поддержать их в прессе. Он решил изложить идеи, остававшиеся актуальными, в цикле статей.
Его мысли аргументировались в статьях, помещенных в издававшихся Гамильтоном нью-йоркских газетах, а затем в сборнике «Записки федералиста», появившемся в 1788 г. Из 85 работ, включенных в сборник, 29 принадлежали Мэдисону. В них разрабатывались основные вопросы политической теории, которые вошли в классический фонд социальной философии и тщательно изучаются исследователями по наши дни. Мэдисон отстаивал необходимость балансирования между твердой централизованной государственной властью, обеспечивающей надежный порядок и законное управление страной, и предоставлением широких прав отдельным гражданам, их объединениям и местным административным органам. Он признавал, что революционному народу часто, как это было в Соединенных Штатах, не хватает сдержанности, самоограничения, зато сохраняется склонность к созданию упорствующих фракций. Предоставив населению широкие демократические права, центральное правительство должно было, по его мнению, предпринять «строгую проверку достоинств» общин и граждан. В то же время в статьях содержались обоснования основных демократических свобод американцев, которые затем, при ратификации Конституции, вошли в первые десять поправок к ней, известные под названием Билля о правах. Именно Мэдисон сформулировал такие важные положения этого билля, как свобода собраний и прессы, недопустимость произвольных арестов, обязательность суда присяжных.
В работах почитателей Мэдисона и некоторых исторических исследованиях его называют отцом современной американской Конституции. В этом можно увидеть преувеличение, так как она создавалась на основе предложений и компромиссов ряда законодателей, а затем представителей штатов, но тот факт, что Джеймс Мэдисон был одним из ее создателей, неоспорим. Специалисты подсчитали, что из семи статей конституции Мэдисону принадлежала по крайней мере 2-я, касающаяся полномочий президента страны.
Постепенно разногласия в среде ведущих политических деятелей американского государства усиливались. Все более четко оформлялись две группировки. Одна, руководимая Джефферсоном и представлявшая главным образом интересы Юга, выступала за продвижение США на запад, а во внешней политике за ориентацию на Францию. Вторая во главе с Гамильтоном в основном была связана с финансовыми домами Севера и требовала сохранения тесных отношений с Великобританией.
Хотя Мэдисон в борьбе за принятие федеральной конституции и особенно Билля о правах сблизился с Гамильтоном, по основным политическим позициям и по личным симпатиям он оставался связанным с Джефферсоном и другими вирджинскими политиками. Будучи избранным в Конгресс от своего штата, Мэдисон стал одним из главных оппонентов Гамильтона, в частности по вопросу о создании федерального банка, учреждение которого он и другие сторонники Джефферсона считали покушением на права штатов. В основном восторжествовали предложения Гамильтона, которые поддержали президент Вашингтон и его преемник Адамс. Джефферсон же при поддержке и помощи Мэдисона, Монро и других деятелей приступил к формированию политической партии, получившей название Демократическо-республиканской (позже ее стали называть Республиканской или, точнее, первой Республиканской, чтобы отличать от другой партии под таким же названием, возникшей много лет спустя).
На президентских выборах 1796 г. Мэдисон активно поддерживал кандидатуру Джефферсона. Правда, перед выборами последний предложил баллотироваться в президенты самому Мэдисону, но тот отказался от этой чести, понимая, что именно Джефферсон является лидером политической группировки, и считая, что сам он еще не созрел до занятия высшего поста (это мнение было высказано в ряде его писем). После поражения Джефферсона и избрания президентом Адамса неудача постигла и Мэдисона. Он не был избран в Конгресс и в 1797 г. отправился в свое имение Монпелье, где вел хозяйство и в то же время участвовал в местной политике, способствуя формированию структур своей партии в Вирджинии. Когда же в 1800 г. Джефферсон был избран на президентский пост, Мэдисон возвратился в большую политику, заняв пост государственного секретаря.
В сентябре 1794 г. 43-летний Мэдисон женился на 26-летней вдове Доротее (Долли) Тодд, с которой был знаком и ранее. Незадолго перед этим Долли перенесла трагедию — от эпидемии желтой лихорадки умерли ее муж, занимавшийся торговлей, и новорожденный сын. Джеймс усыновил ребенка Долли, которая в следующие десятилетия активно помогала своему второму мужу во всех его делах. Более того, именно поведение Доротеи Мэдисон ввело в обиход общественного мнения США понятие «первой леди» еще до того, как ее муж стал президентом. Дело в том, что жена Джефферсона умерла задолго до его президентства, и он попросил своего друга, чтобы его супруга в случае необходимости выполняла в Белом доме роль хозяйки, в частности во время официальных приемов.