Строительство здания Мучного гостиного двора началось в конце XVIII века. Лавки были кирпичными, двухэтажными. В нижнем этаже линии по Волжской Набережной имелась галерея. Поскольку в лавках торговали в основном мукой, зерном и крупами, Гостиный двор стали называть Мучным. Внутри Гостиного двора образовалась территория Мытного рынка. Название рынка происходит от слова мыт – пошлины, взимаемой за провоз товаров через заставы у городов и крупных селений. Мучной Гостиный двор, все 64 его лавки, были окончательно достроены к 1836 году. Во второй половине XIX века часть лавок подверглась перестройке.
При советской власти галерею в северной линии двора ликвидировали. В этой части двора долгое время располагался Рыбинский краеведческий музей (ныне Рыбинский государственный историко-архитектурный и художественный музей-заповедник). В 1993 году музей переехал в бывшее здание Рыбинской биржи. В помещениях музея начались реставрационные работы. Активная реставрация началась с 2015 года.
В 2020 году открылись два новых выставочных зала, в которых работают сменные выставки. Готовится к открытию экспозиция «Рыбинск в XX веке». Работает научная библиотека музея.