Загорьевская библиотека организована в с. Загорье очень давно. По воспоминаниям местных жителей, в годы становления советской власти она находилась в старом охотничьем домике графа Нарышкина. Этот домик стоял на территории парка. Назывался изба-читальня. Кроме агитационной литературы в этой библиотеке было много книг, принадлежавших раньше графу. Когда изба-читальня сгорела, часть уцелевших книг хранилась в школьном музее. После закрытия школы их судьба неизвестна.
Библиотеку открыли в переделанном церковном доме, здесь же был и сельсовет (теперь ДК). В 1962 году библиотеку перенесли в здание пожарки, которое находилось рядом с начальной школой. Детей было много и читателей в библиотеке тоже. В 1967 году было построено новое здание сельсовета. Половина здания была отведена под библиотеку.
В библиотеке собраны сведения о местных писателях: Брыкине Н. А., Жукове Н. В., исторические сведения о с. Загорье и некоторых деревнях. Фонд составляет 3 580 книг. Число читателей — 61 человек.