Pierwsze lata funkcjonowania fabryki nie były zbyt pomyślne. Podstawową siłę roboczą w owym czasie stanowili pańszczyźniani chłopi z okolicznych wsi. Po uruchomieniu fabryki okazało się, że wymaga ona stałego nadzoru technicznego i modernizacji. Konieczne były inwestycje w nowe maszyny i zatrudnienie wysoko wykwalifikowanych pracowników. Majstrów i tkaczy sprowadzano z Czech i Niemiec, to z kolei wymagało dalszych inwestycji w infrastrukturę mieszkalną przy fabryce. Ponadto właściciele przez cały czas musieli poszukiwać dostawców odpowiedniego surowca i rynków zbytu.
Z tych powodów fabryka nie przynosiła właścicielom odpowiednich dochodów. Bank Polski odmówił dalszego kredytu spółce „Karol Scholtz i współka”. Brak płynności finansowej doprowadził w konsekwencji do upadku fabryki z powodu coraz większego zadłużenia. W roku 1847 Bank Polski celem zabezpieczenia udzielonych spółce kapitałów przejął fabrykę pod swój zarząd i wykupił od spółki, stając się jej właścicielem.
Niepowodzenia w pierwszych latach działalności fabryki były spowodowane: brakiem odpowiedniego doświadczenia założycieli przedsiębiorstwa w części technicznej i organizacyjnej funkcjonowania fabryki. Wysokimi kosztami budowy oraz zakupu, stałej modernizacji i wymiany maszyn. Brakiem doświadczenia w poszukiwaniu rynków zbytu oraz potrzebą dużych inwestycji w zabudowania fabryczne i mieszkalne dla sprowadzonych z zagranicy robotników.
Niekorzystna sytuacja finansowa fabryki nie odbiła się na szczęście na jakości towarów, która już w tym czasie była znakomita i doceniana na wystawach krajowych i zagranicznych. Bank po przejęciu zarządzania zakładami rozpoczął proces ich restrukturyzacji, aby odzyskać zainwestowane pieniądze. Zorganizowano sieć punktów sprzedaży w kraju i za granicą. Otwarto sklepy fabryczne m.in. w Warszawie, Częstochowie i Żyrardowie. Te starania dały rezultaty, dług fabryki wobec Banku spadł, głównie dzięki sprzedaży zalegających w magazynach towarów.
W tym okresie działalności fabryki zatrudnienie wahało się od 300 do 800 robotników. Największe zatrudnienie przydało na rok 1842, po którym to systematycznie malało, aż do 400 pracowników w 1847 r. Załoga fabryki składała się głównie z miejscowej ludności z pobliskich miast (Wiskitek, Mszczonowa) i wsi (Kozłowic, Guzowa i Rudy) oraz tkaczy sprowadzanych z Czech i Słowacji. Natomiast osada fabryczna liczyła w tym czasie od ok. 1500 mieszkańców w 1833 r. do ok. 5000 w latach 50. XIX w.