La rectoria de Gallifa es troba separada de l'església parroquial uns centenars de metres. El seu aspecte és el d'una masia, amb les característiques específiques d'aquestes: les golfes, coberts, corts per a bestiar, etc.
Posseeix també terres de cultiu que progressivament s'han anat abandonant. L'edifici principal presenta una distribució simètrica al frontis, l'eix el marca la porta d'entrada, amb un arc de mig punt amb dovelles de pedra. El carener de la teulada és perpendicular al frontis i el ràfec mostra una senzilla decoració feta amb teula. Encara es conserva l'era, mantenint la seva forma peculiar. En la cara meridional s'aixequen unes voltes de pedra tosca que salven el desnivell del terreny i a la vegada fan de suport a una eixida. A l'esquena nord de la teulada, i sobre una de les parets mare de la rectoria, s'aixecà un campanar al voltant del 1920.
La data de construcció de l'edifici actual de la rectoria és desconeguda. Se suposa que existí una primera rectoria al mateix lloc o en un altre indret, edificada al mateix temps que l'església parroquial, o bé després de la seva restauració el segle XII. Des del segle XIV, la rectoria de Sant Pere i Sant Feliu, i de l'Església del Castell van estar situades a la vall. L'edifici actual ha patit al llarg dels segles diverses remodelacions. Al costat de la rectoria, l'any 1761, es beneí la capella, que substituïa l'església parroquial, donat el deficient estat en que es trobava. Rebé el nom de Santíssim Nom de Jesucrist i al 1781 es limitaren les seves funcions quedant com a capella domèstica. L'any 1940 desaparegué convertint-se en escola, l'únic que en queda són dues finestres de rajola.