Re: Hvordan speeder jeg xml import op?

From: Morten Winther (none@mw--mwi.dk.lh.bsd-dk.dk)
Date: Tue 16 Jan 2007 - 14:16:48 CET

Next message: Lars Bonnesen: "Re: Abefalinger til trådløs router"
Previous message: jakob@kjollers.dk: "Re: Abefalinger til trådløs router"
In reply to: jakob@kjollers.dk: "Re: Hvordan speeder jeg xml import op?"
Messages sorted by: [ date ] [ thread ] [ subject ] [ author ]
Mail actions: [ respond to this message ] [ mail a new topic ]

Date: Tue, 16 Jan 2007 14:16:48 +0100
From: Morten Winther <none@mw--mwi.dk.lh.bsd-dk.dk>
To:  bsd-dk@bsd-dk.dk
Subject: Re: Hvordan speeder jeg xml import op?

jakob@kjollers.dk wrote:

>>Hej
>>
>>Jeg har en FreeBSD boks som kører mysql.
>>
>>Hastigheden er sådan set fin nok, men et par gange per måned skal jeg
>>indlæse nogle xml dumps, hvilket tager mega lang tid. Der er tale om
>>godt 2 GB xml og over 4 mil. inserts i mysql.
>>
>>
>
>Hvad med at undersøge muligheden for at, have x antal mindre XML filer, da
>jeg var på kursus i XML, blev der prædket at XML filer være for store (kan
>ikke huske tallet men 2GB er jeg ret sikkerpå ligger over det), da de
>normalt loades i memory før de læses.
>
>

Hej

Jeg streamer xml filerne så de tager ikke så meget ram. De er også delt
op i mindre filer, på max 300 mb

lux1# ps -u
USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND
root 59120 60.7 0.3 11228 5980 p2 S+ 2:10PM 0:30.18
/usr/local/bin/php ./x2-import.sh.php Prefueled_400000-499999.xml

-- Best regards

Morten Winther

Next message: Lars Bonnesen: "Re: Abefalinger til trådløs router"
Previous message: jakob@kjollers.dk: "Re: Abefalinger til trådløs router"
In reply to: jakob@kjollers.dk: "Re: Hvordan speeder jeg xml import op?"
Messages sorted by: [ date ] [ thread ] [ subject ] [ author ]
Mail actions: [ respond to this message ] [ mail a new topic ]

This archive was generated by hypermail 2b30 : Wed 31 Jan 2007 - 23:00:05 CET