19. gadsimtā uz turieni pārcēlās daudzi latviešu zemnieki no Kurzemes guberņas, kuri šeit iegādājās zemes īpašumus. 1836. gadā te bija 6341 latvietis, bet 19. gadsimta astoņdesmitajos gados — jau aptuveni 20 tūkstoši latviešu. 1897. gada tautas skaitīšanā Kauņas guberņā tika konstatēti 35 188 latvieši. Lielākā daļa no viņiem dzīvoja Kurzemes guberņas pierobežā. Latviešu nokļūšanas ceļš Lietuvas zemēs bija dažāds. Piemēram, Būtiņģes (latviski — Būtiņu)– Sventajas–Palangas rajonā grāfa Tiškoviča īpašumos 19. gadsimta sākumā viņi nonāca no Rucavas un Nīcas pagasta kā rentnieki īpašnieka sevišķi labvēlīgās attieksmes dēļ pret latviešiem. Škodas–Sakines–Ilaku–Piķeļu rajonā 18. gadsimta otrajā pusē latviešu zemniekus savos nopirktajos īpašumos ievedis Kurzemes barons Nolde (viņš audzējis šķirnes suņus, ko pēc tam mēdzis iemainīt pret latviešu zemniekiem no citiem muižniekiem Kurzemē). Mažeiķu–Sedas–Laizuvas rajonā latvieši ieceļojuši pēc 1860. gada no Liepājas, Aizputes un Kuldīgas apriņķa kā lauksaimnieki. Alkišku–Akmenes–Vegeres rajonā latvieši ieceļoja ap 1820. gadu no Jelgavas apkārtnes. Papiles–Telšu rajonā pēc muižnieka veiktās mežu izciršanas 1889.–1890. gadā zeme tika pārdota ienācējiem no Jelgavas un Bauskas apriņķa. Tādā pašā veidā latvieši pēc mežu izciršanas iepirka zemi arī citur.
Tādējādi latviešu apdzīvotās zemes izveidojās visā Kurzemes guberņas pierobežā no Palangas līdz Ābeļiem, taču bija arī dažas latviešu kolonijas iekšzemē — Šauļu apriņķa Papiles pagasta Biluņišķē, kur viņi no Bauskas apriņķa bija ieceļojuši ap 1860. gadu, un Vismantos Radvilišķes pagastā. Turklāt Ķeidānos un to apkārtnē zemes īpašnieks grāfs Totlēbens savās muižās par vagariem, amatniekiem un citu muižas amatu pildītājiem aicinājis tikai latviešus.
1918.–1920. gadā, kad abas valstis cīnījās par neatkarību, pirmās nesaskaņas robežu jautājumā izpaudās jau Parīzes Miera konferencē 1919. gada pavasarī. Latvijas ārlietu ministrs piedāvāja atstāt nemainīgu bijušo guberņu robežlīniju, bet lietuvieši pieprasīja sev Palangu un tai piegulošo teritoriju līdz Sventājai. Kad latvieši izteica šaubas par prasības pamatotību, lietuvieši prasīja atzīt savas intereses Latgalē, pretējā gadījumā draudot panākt tur iedzīvotāju nobalsošanu. 1919. gada septembrī Lietuvas armija ieņēma daļu no Ilūkstes apriņķa, sasniedzot Daugavas līniju. Kopš šā laika te sākās pastāvīgi lietuviešu konflikti ar Latvijas varas iestādēm, jo viņi ar dažādiem līdzekļiem centās panākt apgabala iekļaušanu Lietuvā. Dzejnieks Atis Ķeniņš, kurš novembrī cauri apgabalam devās uz Poliju, rakstīja: “Braucot cauri no Eglaines līdz Turmontiem, guvām iespaidu, ka lietuvieši nopietni gatavojas uz palikšanu Ilūkstes apriņķī. Ieved tur Lietuvas civiliekārtu, aģitē par Lietuvu un pat ievācot no iedzīvotājiem parakstus par pievienošanos Lietuvai. Tas liek apšaubīt Lietuvas valdības apgalvojumu, ka Ilūkstes apriņķa okupācija viņai vajadzīga tikai kā politisks preteksts, lai pretendētu, ka arī lietuvieši uztur fronti ar lieliniekiem. Būtu vēlami jauni Lietuvas paskaidrojumi.”
Lielā mērā tieši abu pušu teritoriālo nesaskaņu dēļ 1919. gada decembrī notika Latvijas tuvināšanās Polijai, ko Lietuva uzskatīja par savu lielāko ienaidnieku. Taču Polijai pietika politiskās tālredzības deklarēt savu atteikšanos no Latgales par labu Latvijai. Kad Latvijas valdība vairākkārt pieprasīja pārtraukt lietuviešu karaspēka koncentrāciju Subates rajonā, kas varēja nozīmēt gatavošanos Daugavpils ieņemšanai, politiski tuvredzīgais Lietuvas ārlietu ministrs A. Voldemars atbildēja, ka viņa valsts uzskata par savām “Kurzemes guberņas lietuviskās daļas” un pretendē uz Daugavpils cietoksni, kurš ir “Lietuvas galvaspilsētas Viļņas atslēga” un ne no vēsturiskā, ne etnogrāfiskā viedokļa nepiederot Latvijai. 1920. gada sākumā Latvijas un Polijas armijas savienojās un atbrīvoja Latgali no Sarkanās armijas (vienlaikus atņemot Lietuvas karaspēkam fronti pret lieliniekiem, kas tiem bija svarīga, lai iegūtu Rietumu lielvalstu atbalstu).
1920. gada janvārī Jelgavā notika pirmais sarunu posms par Latvijas–Lietuvas robežas izveidi, kas galīgus rezultātus nedeva, jo lietuvieši pretendēja uz Ilūksti, bet latvieši — uz Mažeiķiem un Palangu (kaut arī puses bija vienojušās robežu noteikšanā par pamatu izmantot vietējo iedzīvotāju nacionālās piederības principu). Tas pats notika arī sarunās Kauņā februārī un martā, jo puses nevarēja vienoties ne par Palangas, ne Ilūkstes apriņķa piederību. Šajā laikā Ilūkstes apriņķī Lietuvas karaspēks faktiski sāka Latvijas pašvaldību likvidāciju. Lietuviešu okupētajos pagastos netika atļauts organizēt Satversmes sapulces vēlēšanas, taču notika — dažkārt piespiedu kārtā — Lietuvas Seima vēlēšanas. Lietuvas prasības lielā mērā bija atkarīgas no tās galvenās ienaidnieces Polijas politiski militārā stāvokļa. Piemēram, Bulduru konferences laikā 1920. gada augustā, kad poļu–padomju kaujās pie Varšavas izšķīrās Polijas liktenis, lietuviešu delegācija pieprasīja Jēkabpils un Ilūkstes apriņķa daļas iekļaušanu savā valstī līdz Susējas–Dvietes–Daugavas līnijai.
Cīņa par Palangu un Ilūksti
Latvijā šajā laikā bija aptuveni 4000 lietuviešu karavīru, kas pilnīgi kontrolēja stāvokli teritorijā ar samērā latviskiem Ilūkstes apriņķa pagastiem. Turklāt lietuviešu karaspēks lēnām, bet noteikti paplašināja kontrolēto teritoriju, pakāpeniski virzoties uz ziemeļiem un padzenot no ieņemtās teritorijas Latvijas varas iestādes. Savukārt Latvijas armija jau kopš 1919. gada ieņēma pārsvarā lietuvisko Palangu. Turpinājās sīkas abpusējas konfliktsituācijas ar otras puses pilsoņu terorizēšanu, vilcienu aizturēšanu u. tml.
Latvijas armijas Zemgales divīzijas komandieris O. Dankers 21. augustā Krāslavā izdotajā pavēlē konstatēja, ka Ilūkstes apriņķī (ap Ilūksti, Bebreni, Asari un citur) “beidzamā laikā” Lietuvas armija padara iedzīvotāju dzīvi “smagu un pat nepanesamu”, Subates latviešu komandantu lietuvieši “pilnīgi ignorē, nedodami viņam iespēju darboties”, visā apvidū tiek “dzīta aģitācija, musinot un kūdot vietējos iedzīvotājus”, un lietuviešu nodaļas virzās “arvien dziļāk”. Sekoja asi vārdi, piemēram, “Leišu jūgs arvien smagāk gulstas uz vietējiem latviešiem”, “Kurzemes ražai draud liktenis pāriet mūsu nekaunīgo kaimiņu klētīs, vietējie latviešu iedzīvotāji ar nepacietību un karstām ilgām gaida savus brāļus — latviešus atnākam un šī nomāktā Kurzemes stūrīša atbrīvošanu”. Tāpēc valdība izlēmusi, ka “mums pašiem jāapsargā savi brāļi Kurzemē pret visu, ko viņi tagad cieš. Mūsu varonīgajiem karavīriem jāieved miers un kārtība [..]. Mēs negribam karot, bet tikai darīt galu mūsu kaimiņu — leišu bezkaunīgajai uzbāzībai [..] Sveša mēs negribam, bet sava arī nevienam nedosim”. 12. Bauskas kājnieku pulks, jātnieku eskadrons un artilērijas baterija saņēma pavēli pie Nīcgales pārcelties pāri Daugavai un atspiest lietuviešus līdz Asares–Bebrenes–Daugavas līnijai. Faktiski — veikt militāru operāciju pret formāli draudzīgas kaimiņvalsts karaspēku jau pēc oficiālā Brīvības cīņu noslēguma. Tika gan pavēlēts nesākt “kara darbību”, vienīgi nepakļaušanās gadījumā lietuviešus atbruņojot un nosūtot “uz Lietuvu”. 24. augustā tomēr notika nelielas sadursmes, bet 26. un 27. augustā 12. pulks pavēli izpildīja, atspiežot ievērojami demarkācijas līniju pārgājušos lietuviešus, un 27. augustā paziņoja apvidū dzīvojošajiem zemniekiem: kopš šīs dienas viņi dzīvo Latvijā.
Par stāvokļa nopietnību liecina kareivja Žaņa Strautnieka atmiņas. Pirms nosūtīšanas “padzīt lietuviešus no Subates, ko viņi esot okupējuši”, 12. pulka komandieris K. Ķūķis uzrunā karavīriem “teica ļoti kareivīgu runu, no kuras palicis atmiņā rīkojums, ka jāšaujot tieši vēderā”. Nākamajā dienā Kauņā tika noslēgta vienošanās par robežlīniju (lielceļu no Subates uz Lašiem un Ilūksti), taču, kad 3. septembrī latvieši mēģināja ieņemt sev pienākošos Subates ziemeļu daļu, Lašu un Pilskalnes pagastu, vietējais lietuviešu komandieris paziņoja, ka uzskatīs akciju par kara sākumu ar Latviju. Pēc tam kad Subatē 12. Bauskas pulka karavīri izkārtojās ķēdēs un devās uzbrukumā, lietuvieši tomēr atkāpās no pilsētas. Subatē tika sagūstīts 21, citur — vēl divi lietuviešu karavīri (nākamajā dienā viņus atlaida, atdodot ieročus). Vairākas stundas vēlāk sākās apšaude, kurā krita viens (Justins Krupšaitis) un tika ievainoti divi Lietuvas armijas karavīri. Tikai pēc sarunām lietuvieši atkāpās no Subates un Pilskalnes, taču ne no Lašiem. 4. septembra naktī lietuvieši no turienes apšaudīja latviešus, un ekspansīvais pulkvedis K. Ķūķis paziņoja, ka viņš, šādam gadījumam atkārtojoties, Lašus “ar zemi sajauks”. Lietuvieši atkāpās tikai 5. septembrī. Savukārt 2. Ventspils pulks 6. septembrī ar viltu panāca lietuviešu aiziešanu no Demenes un Silenes pagasta. Taču lietuvieši joprojām ieņēma svarīgo Eglaines dzelzceļa staciju. Jautājums pilnībā atrisinājās tikai 1920. gada oktobrī, kad sākās poļu ģenerāļa Žeļigovska uzbrukums Viļņai un šī pilsēta lietuviešiem tika atņemta. Šajā situācijā Latvijas armijas virspavēlnieks J. Balodis, izmantojot apstākļus, paziņoja, ka spiests nodrošināt savas zemes drošību, ieņemot bijušo guberņas robežu. Nav šaubu, ka tas bija tikai iegansts. Ilūkstes apriņķī palikušie lietuviešu spēki nebija lieli, tāpēc viņi atkāpās uz Lietuvu bez starpgadījumiem. Vienīgi Eglainē latvieši atbrīvoja šeit lietuviešu gūstā strādājošos 22 poļu karavīrus, pret bijušajiem sargiem izturoties ļoti nicinoši.
Tā kā 1920. gada ziemā un pavasarī abām pusēm nebija izdevies panākt vienošanos par robežu, aprīlī Latvija un Lietuva lūdza Lielbritānijas diplomātiski militāro misiju iecelt šķīrējtiesnesi. Par to kļuva skotu profesors Džeimss Simpsons. Tomēr tikai 1920. gada septembra beigās Simpsona vadītā komisija sāka darbu (tajā ietilpa vienāds pārstāvju skaits no Latvijas un Lietuvas, bet Simpsonam bija izšķirīgās balss tiesības). 1921. gada martā komisija pabeidza savu darbu. Lietuvā tika iekļauta Palanga, Mažeiķu dzelzceļa mezgls un daļa Rucavas pagasta. Savukārt Lietuva vairs nedrīkstēja izteikt pretenzijas uz Ilūkstes apriņķi, Latvijā iekļāva nelielu bijušās Kauņas guberņas teritoriju dienvidos no Bauskas un Aknīstes pagastu. Kopumā Latvija Lietuvai piešķīra 283,3 kvadrātkilometrus zemes, Lietuva Latvijai — 290 kvadrātkilometru. 1921. gada 31. martā Lietuvas armija iegāja Palangā un Sventājas zvejnieku ostā. Tādējādi šeit dzīvojošie latvieši (aptuveni 16–20 tūkstoši) un — otrādi — lietuvieši Kurzemē un Zemgalē nonāca otras valsts sastāvā.
