Aloizs ātri vien iesaistījās attiecībās ar abām kalponēm, liekot sirgstošajai sievai 1880. gadā pieņemt šķiršanās lēmumu. Macelsbergera drīz vien kļuva par Hitleres kundzi, tomēr drīz vien sasirga ar tuberkulozi un nomira. Aloizs, daudz nedomādams, apprecēja otru kalponi – savu māsīcu Klāru.
Pārim bija trīs bērni, kuri īsi pēc dzimšanas nomira. Tikai 1889. gadā pasaulē nāca veselīgs dēls, kurš tika nodēvēts par Adolfusu Hitleru (Adolfus Hitler).
Aloizs Hitlers bija ārkārtīgi stingrs tēvs, kurš necieta nekādu nepaklausību un nepakļaušanos viņa varai. Viņš bez sirdsapziņas pārmetumiem mēdza savus bērnus sist, ja tie izrādīja kādu pretestību viņa tirānijai. Darbabiedri Aloizu raksturoja kā stingru, pedantisku un prasīgu cilvēku, kurš bija apsēsts ar savu uniformu un mīlēja tajā fotografēties. Ādolfa pusbrālis Aloizs juniors tēvu raksturoja kā bieži bezsirdīgu cilvēku, kuram nebija draugu.
Pretēji Klārai, kura savu dēlu dievināja, Aloizs Ādolfu mēdza paskubināt arī ar dūrēm. Hitlers vēlāk atcerējās, kā nolēmis vairs neraudāt, kad tēvs viņu sitīs. Rezultātā tēvs esot viņu pārtraucis sist, jo nespējis izvilināt no Ādolfa brēcienus.
Aloizs Hitlers nomira pēkšņi no asinsizplūduma plaušās 1903. gadā. Lai arī Hitlers vēlāk apgalvoja, ka savu tēvu nekad nav mīlējis, tomēr līdzības tēvā un dēlā ir acīmredzamas.
