Pierwsza wzmianka pochodzi z 1572 roku. Krzemień założony został przez rodzinę Górków. Spadkobierca Stanisława Górki- Paweł Trojanowski, w1596 roku sprzedał Krzemień Janowi Zamojskiemu, który włączył wieś do swojej ordynacji. Na początku XIX wieku gospodarze zajmowali się głównie uprawą żyta i owsa, hodowlą bydła, świń i owiec. W późniejszych latach XIX wieku zajmowali się również tkactwem, kowalstwem, ciesielstwem. W okresie wojen napoleońskich wieś znacznie się wyludniła na skutek przemarszów wojsk, nieurodzaju, głodu i epidemii.
W 1864 roku mieszkańcy Krzemienia stali się właścicielami użytkowanej od pokoleń ziemi.
W okresie międzywojennym powstała tu szkoła powszechna, straż pożarna, kółko rolnicze i Związek Strzelecki. We wrześniu 1939 roku starły się tu oddziały polskie z wojskami radzieckimi. W 1940 roku wyodrębniło się sołectwo Krzemień Drugi. W 1944 roku partyzanci spalili most na rzece Branwi. Po wojnie powstała w Krzemieniu poczta, mleczarnia, ośrodek zdrowia, wieś została zelektryfikowana.