Первую академию в Европе, посвященную искусству, основали в 1561 году художники Вазари, Бронзино и Амманати. Некоторое время академия размещалась на территории монастыря Сантиссима-Аннунциата. Сейчас помещение академии находится в здании бывшего госпиталя на улице Риказоли (via Ricasoli).
Одним из первых экспонатов галереи стала работа Джамболоньи ‘Похищение сабинянок’. Достопримечательностью коллекции является ‘Давид’ Микеланджело: мастер создал эталон мужской красоты, который соответствует эпохе Вохрождения. Другие скульптуры Микеланджело, размещенные в Академии: ‘Пьетта Палестрина’, ‘Евангелист Лука’, ‘Четыре раба’ и незавершенная статуя св. Матфея.
Также в музее можно посмотреть работы Бронзино, Аллори, Перуджино, Боттичелли и других выдающихся художников. Отдельный зал посвящен Лоренцо Монако. В музее также представлены русские иконы XVI-XVIII веков. Помимо картин и скульптур, в Академии находится музыкальная консерватория и фабрика по работе с твердыми камнями.