Библиотека Конгресса физически размещена в трех зданиях в Вашингтоне, Округ Колумбия.
Здание Томаса Джефферсона расположено между Проспектом Независимости и Восточной Улицей Капитолия на Первой Юго-Восточной Улице. Первоначально здание открылось в 1897 году как главное здание Библиотеки. Известное, первоначально как Библиотека Конгресса или Главное Здание, здание приняло свое существующее название 13 июня 1980 года.
Здание Джона Адамса расположено между Проспектом Независимости и Восточной Улицей Капитолия на 2-ой Юго-Восточной Улице. Здание открылось в 1938 году как приложение к главному зданию. Между 13 апреля 1976 года и 13 июня 1980 года, Здание Джона Адамса было известно как Здание Томаса Джефферсона.
Здание Мемориала Джеймса Мэдисона расположено между Первой и Второй Юго-Восточными Улицами на Проспекте Независимости. Оно открылось в 1981 году, как новый штаб Библиотеки. Мемориал Джеймса Мэдисона служит официальным мемориалом Джеймсу Мэдисону также. Здесь также размещается Правовая Библиотека Конгресса.