Линдон начинал заниматься политикой непосредственно, пока на местном уровне. Посещая родной штат, он включился в деятельность техасского подразделения Национальной юношеской администрации, созданной Рузвельтом в рамках «нового курса», и в 1935 г. даже стал ее председателем. Руководство организации не смутило, что жил он в другом городе. Наоборот, техасские деятели сочли, что столичный чиновник сможет оказывать им эффективную помощь в создании лучших возможностей для нахождения работы и учебных заведений для молодежи штата.
В 1937 г. досрочно освободилось место в Палате представителей от Техаса, и Джонсон выдвинул свою кандидатуру, получив поддержку в городе Остине, центре избирательного округа, в котором проводились выборы. Он баллотировался под лозунгами «нового курса» и считался активным сторонником Рузвельта. Избрание в Конгресс явилось началом парламентской деятельности. Пять раз Джонсон избирался в Палату представителей, став одним из самых надежных проводников политики Рузвельта. Вскоре президент узнал о деятельности молодого конгрессмена и стал использовать его для проведения своих законодательных инициатив. Рузвельт несколько раз принимал Джонсона в Белом доме. Когда президенту необходима была информация о ситуации в Техасе, он обычно прибегал к услугам Джонсона. Линдон работал в ряде комитетов палаты, даже в Комитете по ВМФ, хотя не имел ни малейшего представления о морских делах. По другим вопросам он проявлял бóльшую компетентность, способствуя, в частности, выделению средств на строительные проекты в Техасе, электрификацию сельских районов и т. д. В отличие от многих других демократов, он полностью поддержал попытку Рузвельта реформировать Верховный суд и сожалел, что она завершилась лишь компромиссом.
Консерваторы обвиняли Джонсона в социалистических симпатиях. Их инвективы были беспочвенны: конгрессмен выступал за сохранение и развитие большого бизнеса, считал естественным и необходимым, чтобы предприниматели получали заслуженную прибыль. В то же время он полагал, что государство должно контролировать частное предпринимательство, направляя усилия на помощь части населения, которая не была в состоянии обеспечить себе прожиточный минимум.
В 1940 г. кандидатура Джонсона была выдвинута в Сенат. Он конкурировал с губернатором Техаса Ли О’Дэниэлом и выборы проиграл — ему не хватило несколько десятых процента. Понимая, что США неизбежно вступят в конце концов во Вторую мировую войну, Джонсон в июне 1940 г. стал членом военно-морского резерва и сочетал работу в Конгрессе с военной подготовкой. Когда же США действительно вступили в войну в декабре 1941 г., он обратился в Департамент ВМФ с просьбой о назначении на флот, но его решили использовать в качестве чиновника. Считая конгрессмена теперь компетентным в проблемах военного флота, департамент поручил ему инспектирование верфей в Техасе и на западном побережье.
Весной 1942 г. Джонсон был включен в комиссию по проверке ситуации в юго-западной части Тихого океана. Любопытно, что имя его было названо Рузвельтом, который явно считал Джонсона своим деятельным союзником. Выполняя поручение, Линдон несколько раз совершал полеты на боевых самолетах в районах военных действий, чтобы своими глазами увидеть, как вели себя команды экипажей, каковы боевые качества самолетов, как осуществлялось боевое взаимодействие. Он даже оказался под огнем противника, что было оценено Дугласом МакАртуром, представившим его к ордену Серебряной звезды. Джонсон оказался единственным членом инспекции, получившим боевой орден. Правда, он оказался неблагодарным по отношению к МакАртуру. Вернувшись в Вашингтон, он доложил президенту и руководству Конгресса о серьезных недостатках в организации ВМС на Тихом океане и о значительной вине в этом самого МакАртура. Президенту Рузвельту была представлена подробная программа улучшения положения в регионе, в которой была подчеркнута необходимость значительно бóльшей координации усилий «между различными командованиями и разными театрами военных действий».
После этой миссии авторитет Джонсона в Палате представителей резко повысился. Он возглавил Комитет по ВМФ, который в определенной мере напоминал теперь «комитет Трумэна» в Сенате, расследовавший случаи злоупотреблений и неэффективности в военной промышленности. Джонсон на какое-то время даже отступил от своих установок опоры на низшие слои населения. По его инициативе был подготовлен проект закона, который предусматривал призыв в вооруженные силы допускавших прогулы рабочих оборонных предприятий. Это предложение встретило отпор профсоюзных боссов, которым удалось заблокировать даже внесение проекта на рассмотрение палаты.
Оставаясь в Конгрессе, Линдон до июля 1942 г. считался находившимся в действующих вооруженных силах. Он получил новые медали, хотя это были награды фактически не за воинскую службу, а за содействие ВМФ в его боевых операциях. В военно-морском резерве Джонсон пребывал до 1964 г., и ушел в отставку в звании коммодора, уже будучи президентом.
Джонсон выдвинул свою кандидатуру в верхнюю палату в 1948 г., естественно, от штата Техас. Избирательная кампания была сложной, кандидат демократов, известный как сторонник прогрессивных реформ довоенного периода и «справедливого курса» Трумэна непосредственно после войны, теперь вел себя как умеренный консерватор, считаясь с настроениями в этом южном штате. Он одобрял антипрофсоюзный закон Тафта — Хартли, несмотря на то что Трумэн наложил на него вето (преодоленное Конгрессом). Он энергично участвовал в агитации, даже нанял вертолет, на котором быстро перемещался из одного района в другой. Само использование «джонсоновской мельницы», как прозвали это новое средство передвижения, в какой-то мере способствовало его кампании. Но победил он с огромным трудом. Позже появились свидетельства прямого обмана на выборах, подтасовки голосов на некоторых участках: только в графстве Бехзар, по утверждениям очевидцев, было «украдено» не менее 10 тыс. голосов.
Во всяком случае, Джонсон своего добился. В начале 1949 г. он появился в верхней палате Конгресса в качестве «молодого» сенатора. Он и по возрасту не был старым. Ему шел 40-й год. Уже вскоре было отмечено, что новый сенатор энергично «ухаживает» за авторитетными «стариками», все более отходя от рузвельтовских принципов. Он примкнул к консервативной группе во главе с представителем Джорджии Ричардом Расселом и голосовал по всем вопросам в соответствии с его установками. Уже в 1950 г. Джонсон вошел в Комитет по армейской службе, вскоре стал его председателем и провел ряд расследований по вопросам государственных расходов на армию. Об обнаруженных недостатках Джонсон сообщал прессе, и вскоре его имя стало появляться на первых полосах ведущих газет. Более того, администрация Трумэна сообщила, что расследования комитета Джонсона приняты во внимание и по ним будут изданы соответствующие распоряжения. После выборов 1950 г., на которых Демократическая партия добилась большинства, а Трумэн избран президентом, Джонсон стал вторым лицом в сенатской фракции. Он был избран уипом (whip — хлыст) демократов. Эта должность с ироническим названием предусматривала помощь лидеру фракции в информировании сенаторов о проводимых мероприятиях, в подсчете голосов. Уип подчас даже заменял лидера фракции, когда тот отсутствовал. Это позволило Линдону сблизиться с руководителем фракции демократов Эрнестом МакФарландом из Аризоны, который пользовался широким влиянием. Он был одним из проводников закона о правах демобилизованных военнослужащих, и его даже часто называли «отцом закона о джи-ай», хотя на самом деле «отцом» этого акта был президент Рузвельт.
На промежуточных выборах 1952 г. большинство в Конгрессе завоевали республиканцы. Потерпел поражение и шеф Джонсона МакФарланд (вместо него был избран крайне консервативный республиканец Барри Голдуотер, который позже будет безуспешно бороться за президентский пост). В январе 1953 г. Джонсон был избран лидером меньшинства и стал самым молодым сенатором, который когда-либо получал этот пост. Первые его шаги в новом качестве были чуть ли не революционными. Издавна существовала система старших и младших сенаторов, определяемая годами пребывания в палате. От старшинства зависело выдвижение в комитеты, на посты их председателей и другие продвижения. Линдон предложил покончить с этой системой, считать всех сенаторов равными. Его предложение было принято, хотя при сопротивлении со стороны «стариков».
Победа демократов на выборах 1954 г. привела к тому, что Джонсон стал лидером сенатского большинства. Как такового его стал принимать президент Эйзенхауэр, с которым новый лидер сотрудничал, несмотря на то что принадлежали они к разным партиям. Политические аналитики отмечали большой вклад Линдона Джонсона в то, что политика Эйзенхауэра, особенно в международной области, носила двухпартийный характер.
В 1956 г., когда возник Суэцкий кризис и на территорию Египта вступили войска Великобритании, Франции и Израиля, в Конгрессе раздавались требования осудить эти действия как нарушающие суверенитет Египта. Джонсон приложил все силы, чтобы не допустить даже постановки этого вопроса на обсуждение, и добился успеха. Когда наметилось соревнование с СССР в космосе, Джонсон содействовал принятию в июле 1958 г. закона о создании НАСА, задачей которого было обеспечить приоритет США в этой области.
Если иметь в виду, что в Сенате США не существует должности председателя (эту обязанность исполняет вице-президент), становится ясным, что лидерство во фракции большинства превращало Джонсона в одного из ведущих политиков страны. Биографы Джонсона полагают, что он был самым эффективным лидером парламентского большинства во всей американской истории. Такого рода суждения спорны, но тот факт, что Линдон был весьма информированным и волевым руководителем фракции, безусловен. Современники обращали внимание, с какой тщательностью он собирал информацию о каждом члене фракции, его поведении на заседаниях и вне их, его интересах, сильных сторонах и недостатках. С членами фракции он обращался как требовательный наставник, добиваясь фракционной дисциплины и единодушного голосования. Нередко он строго разъяснял правила поведения Джону Кеннеди, который особой организованностью не отличался.