Né dans une famille de petits commerçants de tradition huguenote, Frédéric Paulhan fait de brillantes études au lycée de Nîmes, mais n'envisage pas d'études supérieures. Il vit quelques années sans profession reconnue, mais il lit, se cultive, écrit, s'oriente vers la philosophie et s'intéresse aux mouvements politiques républicains. Il collabore dès 1877 à la Revue philosophique de Théodule Ribot, tire un mauvais numéro au tirage au sort pour le service militaire, mais est exempté car il est bègue. Ce défaut lui barre la route de l'enseignement.

À la faveur d'un bouleversement dans l'administration municipale nîmoise qui privilégie les républicains, Frédéric Paulhan est nommé en 1881 sous-bibliothécaire, puis bibliothécaire en 1882. Pendant les seize ans que durera sa carrière, Frédéric Paulhan va bousculer les habitudes de l'institution, et y faire souffler un vent de modernisme éclairé, à travers les méthodes positivistes qui lui sont chères. En 1884, il épouse Jeanne Thérond avec qui il aura un fils, l'écrivain et éditeur Jean Paulhan, né la même année.

Vers la fin du siècle, l'instabilité politique de la municipalité rejaillit sur la carrière de Frédéric Paulhan. Il démissionne en décembre 1896, et s'installe à Paris, sans métier. Il continue d'écrire, en même temps qu'il fréquente assidûment les salles de vente et achète gravures, dessins, pastels et quelques peintures, avec un discernement certain. Sa collection sera dispersée en 1934.

En 1902, il est soutenu par Théodule Ribot pour entrer à l'Académie des sciences morales et politiques. Il obtient le prix Jean-Reynaud en juillet 1928. Ce philosophe libre-penseur, dreyfusard, sans doute franc-maçon, s'inscrit dans le courant de la psychologie française.

Il meurt le 14 mars 1931, laissant une œuvre importante. Il est enterré au cimetière de Bagneux sous un petit monument d'inspiration maçonne.