Se svými 2000 individuálními členy, z nichž asi polovinu tvoří středoškolští učitelé, a stovkou kolektivních členů patří Jednota mezi největší vědecké společnosti v České republice. Je strukturována dvojím způsobem: oblastně a odborně.
V řadě měst – obvykle vysokoškolských či výzkumných centrech – jsou zřízeny pobočky, které organizují vlastní činnost v regionu: přednášky, semináře, besedy, kurzy apod. Každý člen Jednoty je zařazen do jedné z patnácti poboček podle svého bydliště nebo pracoviště. Jsou to pobočky pražská, středočeská, pardubická, královéhradecká, liberecká, ústecká, plzeňská, karlovarská, českobudějovická, jihlavská, brněnská, olomoucká, zlínská, ostravská a opavská.
Podle profesního zájmu se členové JČMF sdružují ve čtyřech sekcích, v České matematické společnosti, České fyzikální společnosti, Společnosti učitelů matematiky a Fyzikální pedagogické společnosti. Sekce zřizují odborné skupiny, které vyvíjejí činnost na celostátní úrovni.
V období mezi sjezdy řídí činnost JČMF její výbor. Schůze výboru se konaji nejméně dvakrát ročně. Předsednictvo výboru se schází přibližně každý měsíc.