Таганрогская городская общественная библиотека  была открыта 23 мая 1876года.

Библиотека вначале располагалась в здании Городской Управы, а 20 августа 1877 года Городская Управа заарендовала помещение для библиотеки у Василия Руднева.

В 1895г. По предложению Управы библиотека перешла из здания, которое выходило на улицу, в здание, которое стояло во дворе, так как первое было очень ветхое и грозило обвалиться.

28 мая 1902 года Дума постановила сдавать в аренду флигель во дворе, а деньги собирать на постройку нового здания библиотеки. Для этого же начинают принимать и частные пожертвования. Большой вклад в постройку нового здания для библиотеки внёс  А.П. Чехов.

Как только в Таганрог пришла весть о кончине А. П. Чехова, по настоянию горожан, Городская Дума на своем чрезвычайном заседании 16 июля 1904 года поручила Городской Управе представить доклад об увековечении в г. Таганроге памяти Антона Павловича Чехова. В докладе Городской Управы от 7 сентября 1904 года говорилось: “Исполняя поручение Думы, Городское Управление имеет честь предложить, прежде всего, связать имя покойного нашего согражданина с тем учреждением, Таганрогской городской библиотекой, которому он в продолжение всей своей жизни уделял так много любви и внимания и к которому он сумел привлечь симпатии лиц самых различных положений и профессий. Как обширна была его деятельность в этом направлении, свидетельствует добровольное решение кружка писателей и после смерти Антона Павловича продолжать поддерживать связь их с Таганрогской библиотекой, жертвуя ей свои книги с пометкой “В память А.П. Чехова”. Что сделал Антон Павлович для пополнения ее книгами, достаточно известно; но он не ограничился одними книгами: он посылал и много других ценных вещей, посылал деньги и после смерти своей завещал ей причитающийся ему капитал в 1631 рубль 15 копеек из Литературного фонда. Поэтому Таганрогская Управа полагает, что первым актом признательности к памяти покойного писателя должно быть наименование нашей городской библиотеки - Городской имени Антона Павловича Чехова библиотекой... Городская Управа предлагает Думе возбудить ходатайство о разрешении городу открыть прием добровольных пожертвований на сооружение здание для городской библиотеки”.

Комиссия остановила свое внимание на двух архитекторах: московском архитекторе Шехтеле и ростовском архитекторе Зелинском.

 Учитывалось, что Шехтель был другом А.П.Чехова.
Через несколько дней, 9 марта 1910 года, от имени Городского Головы А.З.Хандрина Шехтелю было направлено письмо, в котором рассказывается о желании таганрожцев построить новое здание библиотеки, достойное имени великого земляка А.П. Чехова, и высказываются сомнения, что малая сумма денег на строительство здания послужит препятствием к получению согласия Шехтеля. Вскоре пришел ответ от Шехтеля, в котором он пишет, что польщен предложением сделать проект здания библиотеки. “Могу Вас уверить, - писал Франц Осипович Шехтель, - что мой личный труд я совсем не буду считать и попрошу возместить лишь мои расходы на помощников”.

Здание библиотеки и музея было заложено в торжественной обстановке 14 сентября 1910 года. К весне 1912 г. было готово к переселению в него библиотеки и музея. Официальное открытие нового здания библиотеки состоялось 1914г.

Библиотека значительно пострадала в годы гражданской войны. Однако уже в феврале 1920 года библиотека имени Чехова открыла свои двери для читателей.

В годы Великой Отечественной войны благодаря энтузиазму и самоотверженному труду сотрудников библиотеки и здание библиотеки и её фонды почти не пострадали.

В канун столетнего юбилея А.П.Чехова на фундаменте бывшей малярийной станции, располагавшейся рядом, была возведена пристройка для абонементного отдела. После переселения в него абонементного отдела читальный зал получил дополнительную огромную площадь, на которой просторно разместился фонд (в рабочей комнате абонемента) и еще один читальный зал (в комнате под фонарем).

Уже в 1960-е годы стала очевидной нехватка помещений для растущих фондов библиотеки для создания нормальных условий для работы растущего числа читателей.

 Но эта мечта осуществилась лишь в середине 70-х годов, когда Музей Чехова, продолжавший все эти годы находиться в библиотеке получил здание бывшей мужской гимназии.

В 2009г. к историческому зданию библиотеки было пристроено новое современное  помещение для особо ценной части фондов. Там хранятся редкие издания, а также коллекция книг из личной библиотеки писателя Чехова.