Di masa pendudukan Jepang, LBD dihapus. Namun, bakatnya di bidang militer membuat Soedirman mendaftarkan diri sebagai anggota PETA.
Selama mengikuti pendidikan Daidancho di Bogor, ia dikenal taat dan disiplin. Meski sering menentang tindakan pelatih yang sewenang-wenang, dirinya tetap dihargai.
Setelah menyelesaikan pendidikan di Bogor, Soedirman diangkat menjadi Daidancho (Komandan Batalyon) di Daidan Kroya. Saat menjabat sebagai Komandan Batalyon, Soedirman kerap membantah perintah tentara Jepang, membuatnya dicurigai.
Dua hari sebelum proklamasi kemerdekaan Indonesia, Pemerintah Jepang resmi membubarkan PETA dan Heiho. Tak lama, Soekarno membentuk Badan Keamanan Rakyat (BKR). Atas instruksi tersebut, Soedirman pun membentuk BKR di Banyumas dan menjabat sebagai pimpinan umum.
Pada 5 Oktober 1945, BKR berubah menjadi Tentara Keamanan Rakyat (TKR). Soedirman dipercaya sebagai Panglima Tertinggi ketika dirinya masih 29 tahun.
Meski sudah terpilih sebagai Panglima TKR, Soedirman masih harus menunggu pelantikan resminya. Statusnya pun masih menjadi Komandan Divisi V Purwokerto. Sembari menunggu itu, ia tetap menjalankan tugas-tugasnya.