La médiathèque de Castres a été réalisée en 1976 par l'architecte français Roger Taillibert dont l'Agence, de renommée internationale, est sollicitée par de nombreux pays pour collaborer à des ouvrages importants (on lui doit, notamment, la réalisation du Parc des Princes et du Complexe Olympique de Montréal).
Les bâtiments de la Bibliothèque sont baignés de lumière diffuse dans un cadre de verdure, proche du centre ville. Cet espace spacieux et fonctionnel de 3200 m² regroupe :
une section adultes et adolescentsune salle d'étudeun espace jeunesseune discothèque-vidéothèqueun espace culture multimédia Cyber-base Midi-Pyrénées Castres-Mazametdes halls d'expositionsun auditorium (199 places assises)des magasins regroupant :
- les Archives municipales
- le Fonds patrimonial comprenant des imprimés du fonds local, des ouvrages du XVIe siècle jusqu'au début du XXe, dont plus de 5000 livres rares et précieux.
L'établissement est ouvert à tous gratuitement pour la consultation sur place des documents, notamment des journaux, des livres rares et anciens.