Pulsze mają zupełnie odmienną historię niż wsie szlacheckie, których jest w gminie Wyszki najwięcej. Odróżnia się również od wsi królewskich (Malesze, Bujnowo). Była to wieś zamieszkała przez chłopów, ale należąca do proboszcza bielskiego. Sama wieś powstała zapewne jeszcze w XV wieku, lecz pierwsze dane o niej pochodzą z 1580 roku, kiedy to administratorem był Stanisław Łączyński, który dał podatku od wsi 19 zł i 22 grosze.

Zatem jest to jedyny w gminie Wyszki przypadek własności kościelnej. Kolejni proboszczowie bielscy użytkowali wieś, stąd powstanie kaplicy. Proboszczowie bielscy chcieli zapewne nawrócić na katolicyzm prawosławnych mieszkańców wsi. Pierwsza kaplica p.w. Trójcy Przenajświętszej, św. Stanisława Biskupa i Męczennika - jako kościół filialny - została wzniesiona przez ks. Stanisława Jacka Bolko h. Rogala (zm. 1624 r.), proboszcza bielskiego (1604-1624). Jej poświecęnia dokonał 18 listopada 1613 roku ks. Jan Szyjkowski (1721-1798). Miejscowa kaplica podlegała parafii w Bielsku. W 1848 roku kaplica ta spłonęła. Kolejna została zbudowana w latach 1849-1850, staraniem miejscowej ludności. Od 1846 roku kaplica w Pulszach należy do parafii wyszkowskiej. W XIX wieku również państwo rosyjskie znacjonalizowało wsie kościelne i Pulsze stały się własnością państwa. W 1921 roku w tej wsi notowano 77 domów i 434 mieszkańców, w tym 6 prawosławnych i 30 Żydów.  Należała ona do gminy Wyszki.