В 1819 г. семья Филлморов перебралась в пригород Моравии, где Натаниэль продолжал вести фермерское хозяйство на земле, взятой в аренду у землевладельца и в то же время местного судьи. Убедившись, наконец, в способностях своего сына, старший Филлмор уговорил судью принять Милларда к себе младшим клерком, вначале с испытательным сроком, который юноша прошел настолько успешно, что судья согласился одновременно обучать его праву.
Склонный к перемене мест отец вскоре вновь переселился в район города Буффало, на самом севере штата Нью-Йорк, где купил ферму, от которой наконец начал получать некоторый доход. Последовав за отцом, Миллард стал преподавать в местной школе и выполнять поручения здешнего суда, которые не требовали официального признания в качестве юриста, но обеспечивали определенную правовую практику. В результате в 1823 г. в возрасте 23 лет настойчивый молодой человек смог вступить в нью-йоркскую коллегию адвокатов и открыть свой крохотный офис. Он переписывался с Абигейл, иногда встречался с ней. В феврале 1826 г. они вступили в брак, в 1928 г. родился сын Миллард-младший, а в 1832 г. — дочь Мэри.
Занимаясь адвокатской практикой в Буффало, Миллард-старший постепенно заинтересовался политикой. Вначале речь шла о местных делах. Высокий и интересный молодой человек, опираясь на собственный жизненный опыт, стал активно поддерживать народное образование. Он быстро завоевал авторитет и даже в 1842 г. получил почетную должность канцлера местного университета, который, правда, был таковым только по названию, скорее представляя собой школу рабочих профессий. К этой должности Миллард относился серьезно, выступал инициатором сбора средств в пользу заведения, посещал его и оставался канцлером (разумеется, почетным) всю жизнь. В 1828 г. Миллард был избран в Ассамблею штата Нью-Йорк и следующие два года переизбирался. В ассамблее он выступал с прогрессивных позиций, став инициатором законов о предоставлении права выступать в суде свидетелям без клятвы на Библии и о прекращении выносить тюремные приговоры за долги. Одновременно он также записался в местную милицию, где через некоторое время дослужился до звания майора.
В 1832 г. молодой юрист выдвинул свою кандидатуру в Палату представителей Конгресса США и был избран. Именно в это время из ряда мелких групп началось формирование Партии вигов, в которой депутат сразу стал одним из активистов. Он выступал, как и другие виги, против «джексоновской демократии», предоставлявшей слишком большие права штатам, за строительство федеральных дорог и мостов, за создание единой национальной инфраструктуры, за постепенное ограничение и в перспективе отмену рабства. Он покровительствовал родному штату, способствовал решениям о развитии городов Олбани и Буффало, в частности строительству водных сооружений в их районах на реке Гудзон и озере Эри — одном из Великих озер. Он активно выступал за реконструкцию сооруженного еще в 1820-е гг. судоходного канала Эри, который связал озера с Атлантическим океаном, и добился выделения на это необходимых средств. Видимо, эти заботы побудили конгрессмена заняться и инфраструктурой столицы. Он выступил инициатором строительства моста в центре Вашингтона через реку Потомак.
На конгрессмена обратил внимание влиятельный массачусетский сенатор Даниэль Уэбстер, который взял его под свое покровительство. Со временем между ними установилась дружба, продолжавшаяся до смерти Уэбстера, когда Филлмор уже был президентом, а Уэбстер госсекретарем.
В 1834 г. Филлмор отказался участвовать в выборах (причины не вполне ясны, он объяснял, что решил заняться личными делами), но в следующие годы вновь избирался от своего штата, а в 40-е гг. выдвигался на пост вице-президента и губернатора штата Нью-Йорк, но в обоих случаях не добился успеха. Миллард Филлмор постепенно стал фигурой, известной в национальном масштабе, хотя не выходившей на первые роли. На выборах 1848 г. он стал кандидатом Партии вигов в вице-президенты и вместе с Закари Тейлором одержал победу.
В президентской администрации Филлмор чувствовал себя не просто второстепенным лицом, но чуть ли не лишним. Он попал в вице-президенты как компромиссная фигура, а его соперник сенатор Уильям Суард — лидер новой Республиканской партии и явный недоброжелатель Филлмора — стал главным советником Тейлора и с ходу блокировал робкие попытки вице-президента высказывать свои суждения и советы. Единственной реальной заботой, правда, вне новой должности, стало председательствование в совете Смитсоновского института, который превращался в национальный центр культуры.
В этих условиях между президентом и вице-президентом возник прямой конфликт по вопросу о Компромиссе 1850 г. Филлмор заявил Тейлору, что он открыто выступит в Конгрессе против входивших в этот пакет законов, в частности о сохранении рабства в некоторых новых западных штатах, и в случае равенства голосов в Сенате подаст в качестве председателя отрицательный голос. В действительности такая ситуация сложиться не могла, так как в верхней палате преобладали сторонники компромисса, но между президентом и вице-президентом наметился явный конфликт. Конец ему положила смерть Тейлора 9 июля 1850 г. На следующий день Филлмор принес присягу в качестве главы государства.
Став президентом, Миллард Филлмор несколько изменил свое отношение к компромиссу. Он полностью поддержал принятие Калифорнии в Союз в качестве свободного штата, настоял на том, чтобы в штате Нью-Мексико также было запрещено рабство, и поддержал тех, кто выступил против территориальных претензий Техаса на территории Нью-Мексико. В то же время он согласился с фактически неизбежным: сохранением рабовладения в самом Техасе. Соответствующие законы были утверждены Конгрессом. Прямое столкновение Севера и Юга на некоторое время было отложено, хотя его неизбежность была ясна.
В связи с пресловутым компромиссом наблюдатели сразу отметили разницу в стиле руководства государством между покойным Тейлором и Филлмором. Если Тейлор, многие годы прослуживший в армии, представлялся жестким и бескомпромиссным, то его преемник, карьерный политик и адвокат, выглядел склонным к компромиссам. В наибольшей степени это проявилось в отношении к южным экстремистам, угрожавшим разрывом с США. В то время как Тейлор выражал готовность подавить любую их попытку силой, Филлмор всячески стремился умиротворить их, выступал с успокоительными заявлениями. На севере, выходцем откуда был сам президент, такая политика воспринималась с опасениями за судьбы страны.
В то же время уже первыми своими актами новый президент четко продемонстрировал разрыв с политикой предшественника, уволив в отставку весь кабинет министров и назначив на министерские посты ряд своих близких и друзей. Он не упразднил должность вице-президента, как утверждают некоторые авторы, уже в силу того, что существование этой должности было предусмотрено Конституцией, но объявил, что при нем вице-президента не будет. Пост государственного секретаря получил Даниэль Уэбстер, ставший теперь альтер эго Филлмора. Правда, болезни и старость (ему было около 70 лет) привели к тому, что на новом посту он не был активен, а в конце 1852 г. скончался.
Одобрив законодательство, связанное с Компромиссом 1850 г., Филлмор вынужден был заняться опасной ситуацией, сложившейся на границе Техаса и Нью-Мексико. Пообещав преобразовать Нью-Мексико в штат (на самом деле штат здесь был образован только в 1912 г.) и заявив, правда менее уверенно, что эта территория будет свободна от рабства, Филлмор был озабочен тем, чтобы погасить территориальные споры и претензии властей Техаса на часть этой территории. Путем тайных переговоров с конгрессменами, представителями Техаса и Нью-Мексико, Филлмор смог добиться очередного компромисса: территория Нью-Мексико «уступала» Техасу 33,3 квадратных мили — то есть небольшой клочок земли. Обе стороны были вроде бы удовлетворены — Нью-Мексико почти не потеряла свои земли, а в Техасе пропаганда уверяла, что штат расширился. К тому же президент дал согласие на распространение рабства на все новые западные территории за исключением Калифорнии, что еще более успокоило правившие круги Техаса.
Немалые заботы президенту доставлял закон о поимке беглых рабов, который на Севере называли драконовским. Южане жаловались президенту на снисходительность по отношению к беглецам на Севере, обвиняли его в пренебрежении к законодательству. Точно так же северяне находили все новые противоречия в законе, используя любые пробелы и лазейки, чтобы освободить бежавших от возвращения владельцам. Они также требовали, чтобы президент вмешивался в каждом случае, освобождал от наказания укрывателей беглецов, и обвиняли его в предательстве, когда тот отказывался принять их сторону. Появление в 1852 г. и широкое распространение на севере романа Гарриет Бичер-Стоу «Хижина дяди Тома», в котором рассказывалось о перипетиях беглецов и их укрывателей, еще более обострило ситуацию.
В ответ Филлмор смог провести законодательство, запрещавшее работорговлю в столичном округе Колумбия. Он представил этот акт как свою крупную победу, хотя на деле это была в лучшем случае моральная победа севера, а скорее всего лишь показная мера, так как округ Колумбия занимал незначительную территорию, а в соседних штатах Вирджиния и Мэриленд работорговля продолжалась, как и ранее.
Подобно Тейлору, Филлмор стал президентом, не имея политической базы. Если Тейлор был избран под лозунгами военной славы, то Филлмор, карьерный политик, будучи компромиссной фигурой, пользовался поддержкой лишь меньшинства Партии вигов, которая все быстрее двигалась к упадку. Дело дошло до того, что на съезде вигов штата Нью-Йорк президент был обвинен в покровительстве рабовладельцам. Его сторонники покинули съезд, но это был акт явного бессилия. Становилось ясным, что Филлмор не в состоянии контролировать свою партию.
Филлмор проводил осторожную политику на Американском континенте. Он поощрял развитие торговых отношений как со странами Латинской Америки, так и с Канадой. В то же время он продолжал политику Тейлора по отношению к Кубе, признавая ее испанской колонией и отказываясь поддержать разных авантюристов, которые вновь и вновь пытались организовать вторжения на остров.