Date: Tue, 16 Jan 2007 14:04:34 +0100 (CET) Subject: Re: Hvordan speeder jeg xml import op? From: jakob@kjollers.dk To: bsd-dk@bsd-dk.dk
> Hej
>
> Jeg har en FreeBSD boks som kører mysql.
>
> Hastigheden er sådan set fin nok, men et par gange per måned skal jeg
> indlæse nogle xml dumps, hvilket tager mega lang tid. Der er tale om
> godt 2 GB xml og over 4 mil. inserts i mysql.
Hvad med at undersøge muligheden for at, have x antal mindre XML filer, da
jeg var på kursus i XML, blev der prædket at XML filer være for store (kan
ikke huske tallet men 2GB er jeg ret sikkerpå ligger over det), da de
normalt loades i memory før de læses.
>
> Jeg har skrevet et import script i php som så indlæser til mysql og
> prøver nu at finde ud af hvor flaskehalsen er: php, mysql, io på hardiske
> ??
>
> Såvidt jeg kan se vil mere ram ikke hjælpe, CPU er 65% idle, men WCPU er
> rimelig høje. Hvad vil det sige?
>
> Hvordan kan jeg se io flaskehalse?
>
> Vil et ny maskine med 2 x Quad core hjælpe?
>
> Eller skal jeg prøve at placere xml dumps på en ram-disk? Hvordan gør
> man det?
>
> top ser sådan ud:
>
> last pid: 58199; load averages: 1.05, 1.06,
> 0.92
>
> 67 processes: 2 running, 64 sleeping, 1 zombie
> CPU states: 32.4% user, 0.0% nice, 2.5% system, 0.0% interrupt, 65.2%
> idle
> Mem: 203M Active, 1513M Inact, 207M Wired, 70M Cache, 112M Buf, 9880K Free
> Swap: 2048M Total, 420K Used, 2047M Free
>
> PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU
> COMMAND
> 58051 root 105 0 11252K 6172K CPU0 0 9:23 80.66% 80.66% php
> 54011 mysql 20 0 57892K 34452K kserel 0 18:14 10.99% 10.99% mysqld
>
>
> --
> Best regards
>
> Morten Winther
> System & Application Architect
>
>
>
This archive was generated by hypermail 2b30 : Wed 31 Jan 2007 - 23:00:05 CET