1930.aasta 6. märtsil asutati kohalike õpetajate eestvedamisel Kiltsi Haridusselts, mille raamatukogust on alguse saanud praegune Kiltsi raamatukogu. 1948.aastast asus Kiltsi rahvaraamatukogu külanõukogu ruumides (Pikk tn. 4). Therese Nõmmann, kes tol ajal raamatukogu juhatajana töötas, on meenutanud, et sageli pidi käima põllul töölistele kommunistlikku propagandat tegemas. Inimestele see eriti ei meeldinud, kuna kuulamiseks tuli töö katkestada. Raamatukoguhoidjad oli nõukogude ajal külanõukogu käsutada ja nii pandi neile igasuguseid lisakohustusi.
Aastate jooksul on Kiltsi raamatukogus töötajaid palju vahetunud. 1951 – 1973 töötasid raamatukogus lühemat või pikemat aega Maire Senkel, Virve Lilbok, Alide Sade, Milvi Soidla, Pilvi Meilbaum (Sepping), Linda Harmants, Ludmilla Ronk, Ülle Uustal (Orupõld) ja Liidia Soomer (Arumägi). 1973 - 1977 aastal töötas raamatukogus Aino Lehtmets, 1977 – 1979 Riina Lehtmets (Tali), 1979 – 1980 Leili Tulp (Õunapuu).
1962.a. likvideeriti Varangu raamatukogu (1948-1962) ja viidi üle Pikeverre (1963-1973). Kui Pikevere raamatukogu 1973.a. tegevuse lõpetas, toodi raamatukogu Kiltsi. Pikeveresse jäi Kiltsi raamatukogu laenutuspunkt. 1977.aastast asus Kiltsi raamatukogus tööle Riina Lehtmets (Tali).
1979.a. kolis raamatukogu uutesse ruumidesse Jaama tn. 4A . Kiltsi raamatukogu asus tollal kauplusega ühe õue peal. Ruumid olid seespoolt avarad ja ilusad, aga väljast.... Riina Tali meenutab kord kauplusest tulles juhuslikult pealtkuuldud jutukatket: „ Näe, raamatukogu puukuuris!" Raamatukogu paistis väljast tõepoolest puukuurina.
Jaama tn 4A
1980 – 1984 töötas raamatukogus taas Aino Lehtmets.
1981.a. sai Kiltsi raamatukogu Rakvere rajooni raamatukogudevahelises võistluses II koha. Ka järgmisel aastal tunnistati raamatukogu töö Rakvere Keskraamatukogu poolt märkimisväärseks ja aukirja vääriliseks.
1984.a. asus taas tööle Riina Tali. Vao sovhoos hakkas raamatukogu jaoks ehitama uusi ruume kultuurimaja II korrusele. Kodukoha kirjaniku Arno Kasemaa raamatu „Rannamännid" ilmumist tähistati kohtumisõhtuga.
1986.a. kolis raamatukogu kultuurimaja II korruse ruumidesse (Turu tn. 13), kus ollakse tänaseni.
1991.a. läks raamatukogu Lääne-Virumaa Raamatukogu alluvusest Väike-Maarja Vallavalitsuse alluvusse. 1995.a. suleti Pikevere laenutuspunkt. 1996.a. külastas raamatukogu kultuuriminister Jaak Allik.
2000.a. muutus raamatukogu töökorraldus, Kiltsi raamatukogu kuulub Väike-Maarja Valla Raamatukogu koosseisu. Alates 2001.aastast otsiti Kiltsi raamatukogule uusi ruume.
2003.a. tähistas Kiltsi raamatukogu 55. sünnipäeva. 2004.a. sai raamatukogu kaks arvutit, (ühe Kultuuriministeeriumi projektiga), WiFi ühenduse, printeri, koopiamasina, võeti kasutusele raamatukogude infosüsteem URRAM ja alustati fondi sisestamist elektroonilisse kataloogi. 2005.a. augustist alates laenutatakse elektrooniliselt.
Väike-Maarja valla arengukavas nähti ette Kiltsi raamatukogu ümberpaigutamist Vao Tornlinnuse kõrval asuvasse hoonesse koos Eesti Posti jaoskonnaga aastatel
2007-2008. Võimaliku raamatukogu asupaigana tuli kõne alla ka Kiltsi mõis. Kiltsi rahvale see ei meeldinud, vaatamata maja väga halvale seisundile taheti raamatukogu säilitada Kiltsis.
2009.a. moodustati MTÜ Meie Kiltsi. Eesmärgiks võeti remontida rahvamaja ja raamatukogu ruumid. Majanduslik madalseis võttis sel aastal väikeseks teavikuterahad ja ka palgad. Kalendrikuus oli kaks vaba päeva, mille arvel palka vähendati. Raamatukogu oli seetõttu üheksa kuu jooksul lugejatele vähem avatud ja statistilised näitajad langesid.
2010. - 2012. a. remonditi ja sisustati lastekirjanduse tuba ning raamatukogu väljanägemine muutus oluliselt paremaks. Kiltsi rahva jaoks on raamatukogu saanud väga koduseks paigaks. Siia tullakse lugema, arvutit kasutama ja niisama aega veetma; lapsed käivad mängimas ja joonistamas.
Lapsed Kiltsi raamatukogus
2013.a. tähistas raamatukogu 65. juubelit. Välja pandi Kiltsi paikkonda ja raamatukogu kajastavad fotonäitused.
Kiltsi piirkonnast on võrsunud palju tuntud inimesi. Kiltsi mõisas elas teada-tuntud meresõitja Adam Johann von Krusenstern. Siinkandis on elanud Kersti Merilaas, Ansomardi, Heino Väli, Arno Kasemaa, Eduard Viiralt jt.
2014.a. lõpu seisuga oli raamatukogu fondis 10511 teavikut, 3837 laenutust ja 110 raamatukogu kasutajat.