Han blev indskrevet til sökadet den 6. januar 1777 (6 år gammel), men blev landkadet 15. oktober 1783 (12 år gammel), fenrik ved farens regiment (Aarhusiske, 1. jyske) i en alder af 1  4 (7. oktober 1785), sekondlöjtnant da han var 18 (14. april 1789) og premierlöjtnant 8. januar 1796.   Et halvt år senere forlader han här en midlertidigt for at blive kammerjunker hos Arveprins Frederik og samtidig kavaler hos arveprinsens sön, den 10-årige prins Christian Frederik (den senere Christian VIII).  I 1801 bliver han kaptajn ved Nordsjällandske Landvärnsregiment indtil april 1806, da arveprinsen dör og han får udbetalt 3000 rigsdaler "til ekvipering". Samme efter�r bliver han "Hofmester" (Hofchef) hos den afdöde arveprins' då tre, prinsesserne Juliane Sophie og Louise Charlotte. Da begge prinsesserne er blevet gift, bliver han 1812 ansat ved prins Christian Frederiks Hofstat med titel af "Kämmerer". (iflg. rangforordningen: II kl. Nr. 4, hvorefter han efter sin afgang tit  uleres "Geheimeetatsråd").  Da Prins Christian var rejst til Norge og havde ladet sig udråbe til regent i Norge, blev Harbou herhjemme og blev "guvern�r" for den 5-�rige prins Frederik Carl Christian. Da prins Christian vendte tilbage fra Norge, genansattes Harbou i s  in gamle stilling.   Naturligvis kom en mand i Harbous stilling i ber�ring med mange betydelige m�nd, og af en efterladt korrespondance fremg�r det, at han tillige stod i et meget venskabeligt forhold til mange af dem � i det mindste i hans velmagtsdage.   Han var ogs� en meget dannet mand med mange interesser. Han kom sammen med flere af den tids kunstnere og digtere, bl.a. Jens Baggesen og St. St. Blicher.  St. St. Blicher tilegnede ham i 1807 den f�rste del af sin overs�ttelse af Ossian, og da han nogle �r senere besluttede sig til "at overlade sig til sin bestemmelse", digtekunsten, sender han Harbou ("sin anden fader", kalder han ham) et br  ev med en (meget romantisk) pr�ve p� hans evner som digter. Digtet hedder "Den forladte elsker"!   Baggesen sender ham i 1817 en ode "til tak for en pris tobak". Ogs� s�helten Petter Willemoes var en ven af ham.  Hoftjenesten og de litter�re interesser var imidlertid ikke nok for ham. Desuden havde han brug for at for�ge sine indt�gter. Selv om han var ugift og levede temmelig spartansk, s� var hans udgifter ogs� store. Han brugte mange penge p� at  hj�lpe andre �konomisk (bl.a. Blicher, fremg�r det af B's breve). Bl. a. underst�ttede han sin mor, der blev 92 �r gammel, og sin yngste bror med et bel�b p� flere tusinde rigsdaler. Derfor indlod han sig p� forskellige land�konomiske og industrielle foretagender. I 1816 k�bte han Sandholmg�rd (i dag "Sandholmlejren"), et par b�nderg�rde og nogle skovparceller i n�rheden, samt en olie- og kornm�lle ved Usser�d. Endvidere ejede og drev han et lysest�beri og s�besyderi i Lyngby og en g�rd i Adelgade, hvor der var anlagt et kattuntrykkeri. Alle disse foretagender mislykkedes fuldst�ndig for ham, s� han i 1822 m�tte opgive sit bo. Blandt hans kreditorer var o  gs� en del fyrstelige personer, som han havde v�ret knyttet til. Det tog prins Christian ham ilde op, men prinsesse Charlottes mand, landgrev Wilhelm af Hessen bevarede sit venskab med ham ogs� efter, at det var g�et galt for ham.   Han m�tte fratr�de sin hofstilling og d�de den 11. marts 1845 efter i 20 �r at have f�rt et meget tilbagetrukket liv i Gl. Haderslev.   Han havde ikke v�re gift, men han havde en plejes�n, som til hans store sorg d�de allerede 1834 efter l�ngere tids sygdom.