A fizika törvényei szerint a hőátadás mindig a melegebb közeg felől a hidegebb közeg felé áramlik, a hőszivattyú esetében azonban ez kicsit másképpen történik. A hűtőgép működési elvéhez hasonló a hőszivattyúk működése is azzal a különbséggel, hogy ez esetben nem a hideg oldalon elvont, hanem a meleg oldalon leadott hőt hasznosítják. Ahhoz, hogy például egy ház belső levegőjét a külső hideg levegővel le tudjuk hűteni, egy olyan közegre van szükség, amely a külső – amúgy hideg – levegőnél is hidegebb, így a külső levegő átadja annak az energiáját, azaz valamennyire felmelegíti. Az ilyen anyagokat hűtőközegnek nevezzük, amely fontos eleme a hőszivattyúnak. A hűtőközeg többnyire valamilyen keverék, többféle gázt kevernek össze különféle arányban, majd ezt nyomás alá helyezve, folyadékot kapnak. Ez a folyadék kering a hőszivattyú rendszerében.

Maga a hőtermelés ún. hőcserélőben történik. Ha a külső hőmérsékletnél pár fokkal hidegebb folyadékkal töltött hőcserélőt kitesszük a szabad levegőre, akkor a kinti levegő felmelegíti a hőcserélőben lévő folyadékot, amitől az gáz halmazállapotúvá válik. A levegőből ilyen módon kinyert energiát, illetve a gáz halmazállapotú hűtőközeget egy kompresszorba vezetik, amely összesűríti azt. Ekkor az összesűrített gáz hőmérséklete 40-60 fok. Ezután a nagy nyomású gáz egy kisebb nyomású térbe ér, hőmérséklete erősen lehűl, lecsapódik és közben a hőjét átadja a fűteni kívánt helyiség levegőjének, vagy például a központi fűtés rendszerében keringő víznek.  Eközben a hőleadás miatt a korábban meleg gőz lehűl, ugyanakkor ez a lehűlt hűtőközeg még magasabb hőmérsékletű a kinti levegőnél, ezért tovább kell hűteni annak érdekében, hogy a folyamat újraindulhasson.

A hűtést egy úgynevezett adagoló szeleppel oldják meg, amely a nyomást erősen lecsökkenti, a hűtőközeg az alacsony nyomású oldalra kerül ismét, hőmérséklete lehűl és a folyamat kezdődhet elölről. A hőszivattyúk hőforrásul nemcsak a külső levegőt használhatják, létezik olyan rendszer is, amelynek a külső alacsony nyomású része a talajból, vagy valamilyen állóvízből, folyóvízből nyeri a hőenergiát. Mivel a hőszivattyúban lejátszódó folyamat megfordítható, ezért nemcsak fűtésre, hanem hűtésre is használhatók ezek a berendezések. Világszerte több mint százmillió fűtési célú hőszivattyú üzemel, elsősorban azokban az országokban elterjedt, amelyek importálják a fosszilis energiahordozókat.