1864 yılında yürürlüğe giren Vilayet Nizamnamesi ile Osmanlı İmparatorluğundaki mülki teşkilatlanma; Vilayet, Sancak, Kaza ve Nahiye olmak üzere yapılandırılmıştır. 14 Haziran 1839 tarihinde Jandarma Teşkilatının ilk nizamnamesi olan Asakir-i Zaptiye Nizamnamesi’ nin yürürlüğe girmesiyle her sancakta olduğu gibi Çanakkale’de de ilk Zaptiye Alayı kurulmuştur. 08 Ekim 1923 tarihinden itibaren Cumhuriyet sonrasında gerçekleştirilen mülki teşkilatlanma çalışmaları sonucunda 1923 yılında Çanakkale İl Jandarma Komutanlığı teşkil edilmiştir.
Çanakkale İl Jandarma Komutanlığı 1954-1965 yılları arasında hükümet binasında faaliyetlerini sürdürmekte iken, 1965 yılından itibaren 20 Ekim 1977 tarihine kadar Lapseki Caddesi Aslanca Mahallesindeki hizmet binasında, 20 Ekim 1977 tarihinden 26 Şubat 2015 tarihine kadar Özgürlük Caddesi üzerindeki hizmet binasında, 26 Şubat 2015 yılından itibaren Piri Reis Caddesi üzerindeki yeni hizmet binasına konuşlanarak görevini burada ifa etmektedir.
Çanakkale İl Jandarma Komutanlığı 1923 yılında 10 İlçe J.K.lığı bağlanmak suretiyle teşkil edilmiş, 1936 yılında Yenice İlçe J.K.lığı, 1945 yılında Çan İlçe J.K.lığının bağlanmasıyla, merkez dahil ilçe sayısı 12 olmuştur.