Żydowska Organizacja Bojowa (ŻOB) ukonstytuowała się 29 lipca 1942 r. ? w kilka dni po tym, gdy od 22 lipca Niemcy przystąpili do codziennych deportacji 6-8 tys. Żydów z Warszawy do Treblinki i stało się jasne, że jest to początek tzw. ostatecznej likwidacji getta.
Jej zaczątek jest nieco wcześniejszy. W marcu 1942 r. komórka PPR istniejąca w getcie (liczniejsza, aniżeli w całej "aryjskiej" części Warszawy) zawarła porozumienie z Organizacją Bojową Bloku Antyfaszystowskiego, skupiającą partie i organizacje lewicowych syjonistów. Wspomniane wyżej deportacje spowodowały stworzenie przez gettową komórkę Gwardii Ludowej (PPR), przez OBBA zaś ? ŻOB, z tym, że oba ośrodki polityczne pozostawały ze sobą w kontakcie.
ŻOB w tym kształcie, w jakim ją znamy, ukształtowała się ostatecznie 2 grudnia 1942 r. W jej skład weszły oddziały podległe PPR, Poalej Syjon Lewica (lewicowi syjoniści) z młodzieżową, skautową przybudówką Haszomer Hacair (Młody Strażnik), Poalej Syjon Prawica (mimo nazwy też lewicowi syjoniści) z młodzieżowymi przybudówkami Dror (Wolność) i Gordonia, Organizacja Ogólnych Syjonistów (lewicowi liberałowie) z młodzieżową przybudówką Hanoar Hacyjon (Młodzież Syjonistyczna). Wszystkie one powołały polityczne porozumienie pod nazwą Żydowski Komitet Narodowy, którego wojskowym ramieniem była właśnie Żydowska Organizacja Bojowa.
Osobno trzymał się Bund, o charakterze socjalistycznym, zarazem antysyjonistycznym, antysowieckim, antykomunistycznym, jednocześnie propolskim (asymilacyjnym), bliski ówczesnej PPS. Właśnie Bund był najsilniejszą organizacją getta. Ostatecznie Bund nie przystąpił do ŻKN, ale jego oddziały walczyły w szeregach ŻOB.

Znacznie wcześniejsze były zalążki Żydowskiego Związku Wojskowego. Stworzyli go oficerowie i podoficerowie (zawodowi i rezerwiści) Wojska Polskiego, którzy nie posłuchali wezwania okupantów do rejestracji i przeszli do podziemia.
Trudno uchwycić początek. Przypada on na koniec 1939 r., pierwsza zaś nazwa brzmiała Żydowska Organizacja Wojskowa (nawiązując do piłsudczykowskiej POW z I wojny światowej). Jej szefem został Władysław L., zawodowy oficer WP o trudnym do ustalenia stopniu wojskowym i nazwisku. Organizacja związana była z prawicową partią Nowa Organizacja Syjonistyczna (tzw. Rewizjoniści), zakładającą nierolniczą kolonizację Palestyny, lecz zbrojne jej opanowanie. Młodzieżowa przybudówka zwała się Betar.
Oprócz pierwotnej nazwy ŻOW, funkcjonowała inna: Polska Organizacja Żagiew, założona ponoć w październiku 1939 r. Kiedy została przyjęta nazwa Żydowski Związek Wojskowy ? trudno powiedzieć. Zapewne pod koniec 1939 r., a przywódcami byli porucznik Dawid Apfelbaum (zawodowy oficer WP), dziennikarz Leon Rodal i student Paweł Frenkel (obaj oficerowie rezerwy WP). Niemniej długo jeszcze funkcjonowała popularna nazwa organizacji: Żagiew, tym bardziej, że w kwietniu 1940 r. powstał własny organ prasowy ŻZW o tytule właśnie "Żagiew", notujący w maju 65 abonentów, w czerwcu już 140. W tym czasie ŻZW uruchomił też własną radiostację, a dokładniej stację nasłuchu radiowego. Według danych z kręgu sympatyków liczebność ŻZW w styczniu 1941 r. szacowano na 2900, a kolporterów organu prasowego "Żagiew" na 4000 osób. Niezależnie od oficjalnej nazwy, ŻZW dosyć powszechnie określany był też jako Irgun Cwai Leumi, czyli Narodowy Związek Wojskowy, a jeszcze częściej jako Oddziały Walki Cywilnej.