בית הכנסת נוסד בשנת 1886. מחשש שלא תותר השלמת בנייתו, הגג הוקם בחפזון מאחר והחוק התורכי קבע שאין להרוס מבנה שגגו הוצב וכך יכלו למנוע את הריסת המבנה. . .
המקום נקרא על שמו של אבי הברון, יעקב. "אהל יעקב" היה המהודר והגדול מבין בתי הכנסת במושבות הברון. .