Библиотека имени Л.Н. Толстого была учреждена в Севастополе в 1901 году, когда в Крыму начали открываться общественные учреждения подобного рода. Плата за пользование книгами библиотеки составляла всего 1 рубль в год, а потому она приобрела славу самой доступной библиотекой города. Ее здание располагалось на площади Таврической (угол Большой Морской), где сейчас находится кинотеатр «Победа», но в годы Великой Отечественной войны оно было сожжено, причём вместе с книжным фондом

Новое здание для библиотеки Л.Н. Толстого построили с 1951 по 1953 год по проекту архитектора М.К. Ушаковой, тогда же она получила имя великого русского писателя.

В настоящее время двухэтажная библиотека считается одним из красивейших зданий Севастополя. Строение ассиметрично, имеет круглую башню над входом, аркады, полукруглую колоннаду второго этажа и ряд колонн, идущих вдоль галереи бокового фасада. Между окнами второго этажа находятся бюсты русских писателей, а первый этаж обработан глубоким рустом.