Första kyrkan i området var en stavkyrka som troligen låg i Öjelunda by några kilometer åt sydost. Ekstockar från denna kyrka återanvändes när man byggde den nuvarande Kärråkra kyrka i början av 1200-talet.

Under första halvan av 1700-talet försågs kyrkorummet med nya takvalv, och 1822 byggdes ett tresidigt kor vid östra sidan och en sakristia tillkom norr om koret.
Kyrktornet av huggen granit uppfördes 1910, och det gamla vapenhuset flyttades ut på kyrkogården och blev förvaringsplats för äldre inventarier.
Klockstapeln från 1825, som var den andra på platsen såldes till Västergötlands fornminnesförening för att ställas på ett friluftsmuseum i Skara. Men det dröjde till 1931 innan stapeln revs och forslades till Fornparken i Skara där den ställdes upp på sin nuvarande plats.

I en notering från 1708 står att "bildhuggaren i Borås" fick betalt, och kanske handlar det då om bildhuggare Anders Ekberg som samma år försåg Varnums kyrka i trakten med en predikstol. Betalningen i Kärråkra kan ha avsett predikstolens fyra evangelistskulpturer, eller möjligen en altartavla. Denna har ett motiv från Golgata med den korsfäste Jesus i mitten jämte Maria och lärjungen Johannes.
Vid en reparation 1856 monterades tavlan ner och ersattes av ett stort kors med mantel. Altartavlan förvarades i klockstapeln ute på kyrkogården och på en auktion av gamla inventarier lär tavlan ha ropats ut för 25 öre. Då inget bud gavs ställdes altartavlan åter in i klockstapeln för förvar och det var inte förrän 1910, vid nästa stora reparation, som församlingen restaurerade och återinsatte altartavlan på sin rätta plats i koret.

När tornet uppfördes i början av 1900-talet efter ritningar av arkitekt Axel Lindegren, genomgick samtidigt interiören omfattande förändringar. Bland annat installerades en ny predikstol, med det kuriösa villkoret att använda den i högst 10 år. Arkitekt Lindegren ritade allt utom predikstolen som utformades av arkitekt J. L Johansson. Altarväggen fick dekormålning.

När arkitekt Anders Roland inspekterat det hela 1914 blev omdömet: "Det hela naivt gjort och kanske därför just ganska bra". Mindre lyckat var tornet som hade flera byggfel, vilket ledde till en tvist mellan byggmästaren och kyrkorådet. Järnbalkar tillkom i efterhand till stöd för det underdimensionerade träbjälklaget.

Kyrkans dopfunt i sandsten är medeltida, och i koret hänger en ljuskrona av mässing från 1600-talet.

Kyrkan hade två medeltida kyrkklockor och 1583 noterades att här även fanns en primklocka.

1677 tillkom enligt uppgift korgen till predikstolen.

1793 kom det så mycket främmande folk från andra församlingar varje söndag att en ny kvinnoläktare ansågs vara behövlig och år 1800 stod en sådan klar. Altartavla, predikstol och bänkar skulle målas och renoveras av "kunnig, välkänd målare" vilket blev fabrikör Hammarlund, som fick betalt för kyrkans renovering och målning 1800-01. Läktarna målades för mera "snygghet och prydlighet" i kyrkan.

Orgeln med fasad är tillverkad av Tostareds kyrkorgelfabrik och installerad 1954.

Kärråkra kyrka har också utgjort scenerna för begravningar i Colin Nutleys filmer om Änglagård. I vart fall de exteriöra scenerna. För han lät använda sig av två olika kyrkor. Interiören filmades i den närbelägna Öra kyrka. Även om Kärråkra ligger vackert belägen uppe på åsen så var den alldeles för mörk för filmteamet. Öra kyrka var ljusare och hade dessutom ett vackert ljusinsläpp genom olikfärgade glasmålningar i altarfönstret.
Inspelningarna av den andra Änglagårdsfilmen i mitten av 1990-talet ställde också till det för kyrkan, som just då genomgick en utvändig renovering. Eftersom den första filmen delvis hade utspelat sig i miljön kring kyrkan krävdes att byggnadsställningar och en under mellantiden tillkommen trappa togs bort. Byggnadsarbetet fick avbrytas emedan inspelningarna pågick.