Dubbele record voorkomen of verwijderen bij import vanuit Excel

[Gert-JAn1966]

Ik heb een script gemaakt waarmee ik vanuit Excel data importeer in FM, echter als ik de import 2x uitvoer of er zijn dubbele records in het bestand dan worden deze gewoon geïmporteerd. Dat wil ik niet.

Ik heb een aantal velden in de DB op unieke waarde ingesteld maar bij het importeren worden deze ondanks de dubbele waarde gewoon geïmporteerd. Wie kan me helpen dubbele records te voorkomen?

 

[Banach]

Geef ook in FM aan dat deze velden uniek moeten zijn. Dat doe je door in de velddefinitie -> opties -> validatie het vinkje voor unieke waarde aan te zetten:

[Gert-JAn1966]

Hoi Banach,

Bedankt voor je reactie, maar dat werkt niet. Ik dacht zelf ook dat dat zou moeten werken, maar helaas bij mij niet.

Zie bijlage. Ik heb de structuur van de Excel, de Database instellingen op de velden, het import script en het resultaat als ik 2x dezelfde Excel importeer. ingesloten. 

Nog opties? Een script om achteraf te ontdubbelen is ook goed hoor

 

[Donamd]

Selecteer bij Validate data in this field de keuze Always.

Ik denk dat het dan wel gaat lukken.

[hans erik]

De beste methode is mijns inziens om het Excel bestand altijd in een tijdelijke tabel te importeren, en vandaar de data met een script doorzetten naar de definitieve tabel. Klinkt ingewikkeld, maar je hebt dan wel alle controle over wat er binnenkomt en waar het naartoe moet. Iemand kan wel een compleet verkeerd bestand klaarzetten en daar word je niet blij van.

 

[Marsau]

Inderdaad is een tussentabel een goede optie. Nog twee opties:

1. Dedupliceren na import. 
Bepaal de combinatie van velden die de record uniek maken.
Maak dan een calculatieveld waarin een hash wordt gemaakt van de gecombineerde string.
Maak een table occurance van dezelfde tabel met de hash als relatie. 

Maak nu een calculatieveldje dat de records in die TOC telt. Is deze groter dan 1, dan dupliceert ie. 

schrijf een scripjie dat wordt uitgevoerd na elke import, dat deze duplicaten eruit gooit. 
 

optie 2. Simpeler: importeer als update op basis van de sleutelvelden. Importeer de resterende records. 

Edited November 15, 2019 by Marsau

[Marsau]

Ik zie nu pas je voorbeeld. Wat betreft optie 1 is de hash niet eens nodig. Is alleen handig om de vergelijkingssleutel kort te houden.