També se li diu “el castell” encara que la construcció actual no és cap castell. Però si esta edificada damunt de l’antic castell d’origen islàmic  del que ja se’n tenia constància en el segle X, sent en aquella època un dels més importants  de la zona, ja que era un punt estratègic entre la cristiana Lleida i la musulmana Balaguer. Aquest fet provocà disputes continues que el van deixar molt malmès.

    Al 1163 el rei Ramón Berenguer IV el donà al Ordre del Temple, i al 1317 amb la supressió  d’aquest passà a mans de l’Ordre dels Hospitalers de Sant Joan de Jerusalem.

    Fou probablement durant aquesta època  que es començaren a fer les primeres modificacions de l’edifici. Desprès durant la Guerra dels Segadors, va patir molts desperfectes per lo qual es tornà a reparar, deixant-lo segurament ja amb un aspecte semblant al que té avui.  

    Però de l’antic castell islàmic encara en queda el subterrani, part de lo que devia ser la torre i les restes d’un túnel secret amb sortida cap al riu.

    Durant la desamortització de Mendizabal al segle XIX, com tots els bens de l’església, va ser subhastat i és per això que ara és d’us particular.

    El nom de Cal Col·lector ve de l’època en que era la residència del recaptador d’impostos que els Hospitalers feien pel conreu de les seves terres. 

     Respecte a cal Col·lector hi ha una anécdota que parla de una ratera d’homes:

    Sembla ser que un dels recol·lectors que hi hagueren tenia un jardí del qual n’estava joiós. Cada dia hi trobava a faltar flors i sospitant que el lladre devia ser algun dels seus treballadors, va fer construir una ratera de grans dimensions. Llavors ho va fer a saber  a tothom dient: “el qui gosi  posar els peus al meu jardí, hi quedarà atrapat”. A partir d’aquell dia, s’acabaren els robatoris.

    I malgrat el temps passat d’ençà que la ratera fou construïda, avui encara la podem veure a “Cal Col·lector”