Столица Латинской империи в течение нескольких десятилетий была местом пребывания самых знатных феодалов. Константинопольские дворцы они предпочитали своим замкам в Европе. Знать империи быстро освоилась с византийской роскошью, переняла привычку к постоянным празднествам и веселым застольям. Потребительский характер жизни Константинополя при латинянах стал еще более ярко выраженным. Крестоносцы пришли в эти края с мечом и за полвека своего владычества так и не научились созидать.
В середине XIII в. Латинская империя пришла в полный упадок. Многие города и села, опустошенные и разграбленные во время захватнических походов латинян, так и не смогли оправиться. Население страдало не только от непосильных налогов и поборов, но и от гнета чужеземцев, с презрением попиравших культуру и обычаи греков. Православное духовенство вело активную проповедь борьбы против поработителей.
Воспользовавшись возраставшей слабостью латинян, никейский император Михаил VIII Палеолог в 1260 г. решил отбить у них Константинополь. Чтобы изолировать город со стороны суши, Михаил захватил Силиврию. После этого он начал готовить генеральный штурм. Однако попытка овладеть Галатой, расположенной на северном берегу Золотого Рога, оказалась неудачной, греки понесли крупные потери и были вынуждены отступить.
Весной 1261 г. Михаил вновь стал готовиться к походу на Константинополь. Он сумел заручиться поддержкой Генуи. Генуэзские купцы рассчитывали в случае его успеха выжить из Константинополя венецианцев. Михаилу оказал помощь и правитель сельджукского Конийского султаната, который стремился к союзу с никейскими императорами в связи с угрозой монгольского нашествия.
Между тем положение в столице Латинской империи стало к этому моменту поистине критическим. Былые рыцарские празднества и турниры сменились для крестоносной знати поисками средств для поддержания привычного образа жизни. Дело дошло до того, что в переплавку на изготовление монет пошли медные листы с крыш церквей и дворцов столицы. Ремесло и торговля в Константинополе прекратили свое существование. Возникла острая нехватка продуктов питания. Жители Константинополя тысячами покидали город, во многих районах которого бесчинствовали шайки разбойников. Во дворце императора Балдуина II (1228—1261) царило уныние, среди латинской знати возникли пораженческие настроения, находились даже люди, готовые сдать город грекам.
Летом 1261 г. греческое войско подошло к Константинополю. Им командовал известный полководец Алексей Стратигопулос. В состав никейской армии входила сельджукская конница. Момент для нападения был выбран не случайно. Силы императора Балдуина II находились в походе на черноморском побережье. 25 июля, ночью, войско Стратнгопулоса начало штурм. Горстка храбрецов сумела проникнуть в Константинополь через старинный водосток, перебить охрану у городских ворот и открыть их основным силам нападавших. Конница ворвалась в спящий город. Греческое население оказало небольшому войску Стратигопулоса поддержку. Среди латинян началась паника. Балдуин бежал на венецианском корабле. Латинская империя перестала существовать.
Константинополь был охвачен ликованием. Михаил Палеолог был встречен с почетом. Император вступил в город через Золотые ворота и проделал пешком путь до Студийского монастыря. Перед ним несли икону Богоматери. Вскоре в храме св. Софии состоялась вторичная коронация Михаила и его жены Феодоры, призванная символизировать восстановление власти византийских императоров в их древней столице.
Когда угар победы прошел, стало видно, как трагически изменился город. Михаил Палеолог широко организовал восстановительные работы. В сравнительно короткий срок были реставрированы или построены заново оборонительные сооружения, возвращено былое великолепие храмам и дворцам. Быстро стало расти население города. Император вооружал армию, создавал новый флот. Все это требовало огромных затрат, казна быстро пустела. Желая укрепить государство, Михаил решил поддержать идею унии с римской церковью, с тем чтобы, опираясь на содействие папы, установить союз с латинским Западом. Это обострило отношения императора с духовенством. Самыми ярыми противниками унии были низшее духовенство и монашество. В своих проповедях они доказывали безнравственность унии, постоянно подстрекали население Константинополя против правительства, готового, по их словам, отвернуться от веры и традиций. И все же Михаилу удалось выполнить свое намерение. В 1274 г. церковная уния состоялась. Но это еще более накалило политическую атмосферу в империи и столице. Вскоре споры и дискуссии по вопросам унии перешли в острую социальную и политическую борьбу. Протест масс против унии вновь сделал улицы и площади Константинополя ареной выступлений против императора и правительства. В городе распространялись памфлеты и пасквили, направленные против монарха, его приближенных и высших сановников. Михаил обрушил на недовольных жестокие репрессии, но это не принесло успеха, хотя император не щадил и своих родственников. После смерти Михаила в 1282 г. положение в империи и в столице оставалось напряженным, борьба между сторонниками и противниками унии продолжалась.
С воцарением Михаила Палеолога в борьбе извечных соперников — венецианцев и генуэзцев — произошел явный сдвиг в пользу последних. По Нимфейскому договору, заключенному в 1261 г. между Византией и Генуей, генуэзцам удалось добиться от Михаила привилегий, напоминавших права венецианцев в предшествовавшие полтора столетия, когда те были хозяевами торговли Константинополя, а после его разорения крестоносцами создали здесь фактически государство в государстве. Генуэзские купцы получили право беспошлинной торговли, а также право на свободный вывоз из пределов империи хлеба и другого продовольствия. Кроме того, Михаил Палеолог обязался запретить проход в Черное море судам иных латинян (здесь имелись в виду преимущественно венецианцы). И хотя венецианцы не сдавали свои позиции в столице, их торговая деятельность с этого времени была серьезно затруднена. Взявшие верх генуэзцы не только подчинили себе многие источники богатства Константинополя, но и стали играть активную роль в политике. Отныне интриги и заговоры во дворце и в среде придворной знати все реже обходились без тайного участия богатых генуэзских купцов.
Галата превратилась в генуэзскую колонию со своим портом и гарнизоном.
На рубеже XIII—XIV вв. генуэзские и венецианские купцы контролировали всю торговлю Константинополя. Византийским купцам оставались только мелкие операции. Константинопольские банки итальянцев имели большие обороты, оттеснив на задний план византийских денежных людей.
После крушения Латинской империи Константинополь почти на два столетия вновь стал столицей Византии. Однако территория государства сократилась в несколько раз. Под властью императоров из династии Палеологов находились лишь часть Фракии и Македонии, несколько островов Архипелага, отдельные районы Пелопоннесского полуострова и северо-западная часть Малой Азии. Не вернула себе Византия и торгового могущества. В числе причин этого было и перемещение в XIII в. основных торговых путей из проливов в бассейн Средиземноморья.
Правда, географическое положение Константинополя позволило ему вновь стать оживленным торговым центром. К середине XIV в. на его рынках шла торговля самыми различными товарами — зерном и фасолью, вином и оливковым маслом, рыбой и сушеными фруктами, солью и медом, льном и шелком, шерстью и кожами, мехами и благовониями, воском и мылом. В Константинополь приезжали купцы из Генуи, Венеции и других итальянских городов, из Сирии, из славянских стран Балканского полуострова. Оживились связи византийской столицы с Русью. Однако выгодами местоположения Константинополя теперь пользовались главным образом западноевропейские купцы.
Важнейший источник пополнения византийской казны — торговые сборы и таможенные пошлины — с каждым годом все более иссякал. Торговый путь через проливы находился в руках венецианских и генуэзских купцов. Весь XIV и первую половину XV в. генуэзцы полностью контролировали торговлю в Причерноморье. Доходы генуэзской колонии в Галате от таможенных пошлин в XIV в. почти в семь раз превышали аналогичные доходы Византии.
Византийская империя неуклонно шла к гибели. Ее сотрясали междоусобицы, она терпела поражение за поражением в войнах с внешними врагами. Императорский двор погряз в интригах. В ход шло все — клевета и донос, подкуп и яд, убийство из-за угла. Константинопольский плебс все чаще становился орудием в руках претендентов на престол.
Ярким примером политических нравов императорского двора и константинопольской знати той поры служит длительная борьба за власть между императором Андроником II Старшим из династии Палеологов и его внуком Андроником Младшим. Эта борьба длилась почти целое десятилетие. Оно было заполнено интригами вокруг вопроса о престолонаследии, заговорами, подкупом военачальников и сановников, ложью и предательством. B 1321 г. дед попытался избавиться от внука с помощью ложных обвинений, а в 1322 г. внук добился от деда, угрожая захватом столицы с помощью собравшихся под его знамена войск, признания себя в качестве наследника престола. Андронику II пришлось и раскошелиться на значительную сумму в пользу воинов Андроника Младшего. А в 1328 г., воспользовавшись рядом внешнеполитических неудач императора, Андроник Младший майской ночью проник со своими воинами в Константинополь через ворота св. Романа, так как стража перешла на его сторону. Длительный спор деда и внука за трон василевсов закончился свержением Андроника II и коронацией Андроника III. Новый император пробыл на престоле до своей смерти в 1341 г., не сумев возродить былую военную мощь византийцев и не добившись мира на границах империи. После его кончины в империи началась очередная междоусобная война, которая принесла новые беды и страдания жителям Константинополя.
Даже внешний облик города красноречиво говорил о закате его славы и величия. Историк Никифор Григора, описывая Константинополь середины XIV в., отмечал, что проницательные люди «легко предвидели падение порядка вещей и разрушение империи, ибо всем бросалось в глаза, что императорские дворцы и палаты знатных лежали в разрушении и служили отхожими местами для мимоходящих и клоаками; равно и величавые здания патриархата, окружавшие великий храм св. Софии... были разрушены или вовсе истреблены».