csv import

[Heckle]

hallo iedereen

ik heb een probleem als ik een csv file wil importeren.

FMP zet dan alles in 1 veld en ik heb geen idee waarom, als ik de csv file bewaar als een xls en dan lukt het wel.

Maar dit is veel omslachtig daar dit een geautomatiseerde taak moet worden.

De data die dagelijks wordt aangeleverde is in cvs. iemand enige ervaring hier mee?

 

Steven

[pjotter]

Is al tig keer besproken op dit forum ben ik bang.

Ik heb er zelf ook enorm veel problemen mee. csv is helaas niet altijd hetzelfde,

Sterker nog downloads van paypall zijn niet uniform de ene keer werkt het perfect de volgende maand is de download blijkbaar anders en staat alles in in regel bij import. Ik heb het opgelost door elke keer maar standaard eerst in excel te importeren. (soms moet ik dat ook een paar keer doen met verschillende programma's voor ik het foutloos kan importeren) zoek maar op het forum staat meer over dit probleem

[JeanWM]

Een manier om dat te verhelpen is de toepassing van een ETL (Extract, transform, load) technique.

 

Voor sommige zaken gebruiken we Wrangler (MIT), maar onlangs is Google uitgekomen met een bruikbaar iets.

 

Het voordeel van de Google applicatie is dat het een downloadable programma is, het loopt dus op je eigen computer, terwijl Wrangler web based is, je data gaat in the cloud.

 

ETL is vrij gemakkelijk toe te passen in FileMaker met alle native functies.

En indien je geen native functie kunt vinden, maak je zelf een custom function.

[Ari]

Zorg dat je scheidingsteken een , is. Om te voorkomen dat komma's in de veldinhoud als scheidingsteken worden gezien kun je de veldinhoud tussen " " zetten.

[dudematters]

Het probleem ontstaat meestal met Excel CSV bestanden, MS denkt dat .CSV (Comma Seperated File) met punt-comma gescheiden moet zijn, waarom totaal onlogisch. Wat hebben standaarden dan voor zin? Dit terzijde

 

De manier om door Excel gegenereerde CSV bestanden te importeren is de extensie te veranderen in .MER. Dan importeert Filemaker deze prima, en kan je je import scripts daarop aanpassen. Als je het in een script doet, kan je de extensie laten staan, maar je moet bij het import script stap wel vermelden dat het om een .MER bestand import gaat. Als je het via het menu doet moet je de extensie wel aanpassen, anders blijft FM (terecht) denken dat het om een Comma bestand gaat.

[pjotter]

Was het maar zo makkelijk dat het aan excel lag! Helaas niet , kijk maar op het forum wat er over geschreven is inmiddels.

Voorbeeld1:

Een AS400 maakt elke dag een aantal cvs bestanden.Het programma maakt hier keurige bestanden van die per bestand verschillend zijn met info uit de database

Bestand 1 is keurig te importeren in FM of excel of acces of.....

Bestand 2 is is niet te importeren alles staat in een record na import.

Voorbeeld2:

Paypall maakt keurige cvs bestanden die 80% van de tijd goed zijn en meteen kunnen worden geimporteerd.

Helaas zit af en toe wel een maand bij dat het bestand wat gemaakt wordt niet is te importeren (alles in een record) Nogmaals dat is paypall en je kunt de instellingen voor csv niet aanpassen. Het gaat hier om 300 tot 400 betalingen elke maand. De noodoplossing die ik dan heb is het bestand in openoffice of numbers te importeren of in excel. De export naar csv heeft dus totaal niets met microsoft of excel te maken.

Ben wel benieuwd naar het programma van google waar JeanWM het over heeft? Google doc's is toch ook webbased? (gebruik ik af en toe werkt ook erg goed)

[pjotter]

De manier om door Excel gegenereerde CSV bestanden te importeren is de extensie te veranderen in .MER.

 

Die begrijp ik even niet in de vraag stelling?

Heb nergens begrepen dat het om csv bestanden zou gaan die door excel zijn gemaakt?

ALs dat het geval zou zijn zou ik de extensie niet aanpassen maar de export gewoon naar xls doen dat werkt altijd perfect in FM

[dudematters]

De manier om door Excel gegenereerde CSV bestanden te importeren is de extensie te veranderen in .MER.

 

Die begrijp ik even niet in de vraag stelling?

Heb nergens begrepen dat het om csv bestanden zou gaan die door excel zijn gemaakt?

ALs dat het geval zou zijn zou ik de extensie niet aanpassen maar de export gewoon naar xls doen dat werkt altijd perfect in FM

 

 

Sorry, mijn interpretatie was dat de 'dagelijkse aangeleverde csv bestanden' excel exports waren, in mijn wereld komen die het meeste voor. Maar dat hoeft in dit geval zeker niet zo te zijn. Het csv bestand openen in een teksteditor zal snel uitsluitsel geven, zijn de velden gescheiden met een ; dan is het meest waarschijnlijk een Excel (MS) csv export. Natuurlijk is het beter als het om Excel bestanden gaat de XLS te pakken, maar dat is wellicht niet altijd mogelijk of wordt niet zo aangeleverd. Er zijn ook andere applicaties die CSV exporteren met ; als scheidingsteken, bijvoorbeeld Marktselect CD.

 

Mijn bedoeling was om uit te leggen dat je deze bestanden makkelijker kan importeren als je filemaker wijsmaakt dat het .MER (Merge) bestanden zijn, dan gaat dit goed met ; gescheiden csv bestanden.

 

Als je een bestand hebt dat wel goed opent in Excel of OpenOffice (bijvoorbeeld het PayPal voorbeeld) dan moet er een logica in zitten die je FM ook duidelijk kan maken, een csv bestand is gevoelig voor comma's in de tekst, dat is namelijk zijn scheidingsteken. Dat deze tekst tussen aanhalingstekens staat wil niet altijd helpen, als het doelbestand hier niet mee kan omgaan interpreteert deze het als een veldscheiding. Ook vreemde tekens 'internationale characters' vormen nogal eens een probleem. In sommige onmogelijke imports creeer ik een import bestand wat uit 1 tekstveld bestaat waarin ik het volledige record zet, en ga dan met scripts de boel goed zetten. Dat werkt altijd.

[pjotter]

Ik blijf het vreemd vinden dat je uitgaat van excel en dat je dan csv bestanden daarvan krijgt, deze vervolgens de extensie omzet naar Mer ?

Gewoon xls werkt het beste bij een importeren volgens mij?

Ik heb bijgevoegd 3 plaatjes.

Plaatje 1 is import in FM van een csv bestand aangemaakt door excel. 2e plaatje het zelfde bestand met de extensie omgezet naar mer en het derde plaatje het xls bestand na import. Lijkt mij vrij duidelijk dat xls goed gaat en de andere 2 er niet goed mee omgaan.

 

Wat de paypall aan gaat is het helaas niet zo dat hier een logica in zit.

Ligt aan de betaling waar deze vandaan komt en wat die klant heeft ingegeven in paypall voor gegevens. Bij de ene klant krijg je 50 regels bij de andere 80 en helaas is de export dan niet uniform. (klant kan zijn adres in een tweede blok met adres informatie hebben staan terwijl een ander dit in het eerste blok zet.)

Tevens is het lastig om elke keer alles uit een tekst te filteren 100% is het nooit. Daarom doen we het nu met 3 verschillende programma's mocht het niet in een keer goed gaan met de standaard import methode.

[pjotter]

tav van dudematters als je een oplossing weet dan hoor ik het graag ik krijg het niet voor elkaar met mer, txt of csv wat ik ook aan extensie maak.

Ik heb even gekeken voor de liefhebbers,

Paypall heeft dus 2 mogelijkheden voor download : TXT of CSV en dat is de enige mogelijkheid om te kiezen. Ik geef een voorbeeld:

Jan en feb perfecte download geen enkel probleem en maart is verkeerd. En of ik er nu mer van maak of niet probleem blijft hetzelfde.

Als men kijkt naar de plaatjes dan wordt het duidelijk denk ik,

Het middelste plaatje geeft aan wat het bestand aangeeft . Alle velden worden keurig benoemd in welke download dan ook.

Probleem zit in de data. Eerste plaatje is CSV of Mer geeft hetzelfde resultaat.

Het derde plaatje is het bestand als het goed is (in dit geval jan en feb en het slechte is maart)

De download van Rabo bank, ABNAMRO geeft geen enkel probleem is altijd perfect.

Zelfs de Duitse download van een zusterbank van de RABO geeft elke keer hetzelfde bestand om te importeren. (heeft andere problemen maar dat is nu niet van toepassing )

[dudematters]

Ik weet niet of je het kan/wil, maar als je mij even in een pm een kopie van het originele bestand stuurt wil ik best even kijken of ik de logica kan achterhalen.

Die moet er in zitten.

[pjotter]

Helaas zit hier erg veel prive informatie n die ik niet mag door sturen.

Bovendien is het bestand niet elke keer hetzelfde. (wat ik ook aangaf) Het is soms wel soms niet goed te importeren. Verder is de export niet elke keer met dezelfde informatie. Ik geef alleen aan dat ik het vreemd vind dat ik juist geen verschil heb met .csv of met .mer extensie terwijl je aangeeft dit juist te doen omdat dit verschil geeft?

[peerke]

Hier een csv download van de ING bank met maar 1 mutatie. De import van deze csv werkt altijd prima. Als je de csv opent met Excel en een spatie verandert en weer opslaat, werkt deze csv bij import niet meer en staat alles in 1 regel. Ook als je in Excel niks veranandert maar 'opslaan als' uitvoerd met een nieuwe naam en weer als csv, gaat het mis. Het gaat dus om de goede import met gescheidde velden in plaats van alles in 1 regel. Als je de csv's opent met een tekstverwerker zie geen enkel verschil. Waar zit nou het verschil/probleem?

Excel mac 2008.

gr, Peerke

csv voorbeelden.zip