Hvordan speeder jeg xml import op?

From: Morten Winther (none@mw--mwi.dk.lh.bsd-dk.dk)
Date: Tue 16 Jan 2007 - 13:10:10 CET 

Date: Tue, 16 Jan 2007 13:10:10 +0100
From: Morten Winther <none@mw--mwi.dk.lh.bsd-dk.dk>
To:  bsd-dk@bsd-dk.dk
Subject: Hvordan speeder jeg xml import op?

Hej

Jeg har en FreeBSD boks som kører mysql.

Hastigheden er sådan set fin nok, men et par gange per måned skal jeg
indlæse nogle xml dumps, hvilket tager mega lang tid. Der er tale om
godt 2 GB xml og over 4 mil. inserts i mysql.

Jeg har skrevet et import script i php som så indlæser til mysql og
prøver nu at finde ud af hvor flaskehalsen er: php, mysql, io på hardiske ??

Såvidt jeg kan se vil mere ram ikke hjælpe, CPU er 65% idle, men WCPU er
rimelig høje. Hvad vil det sige?

Hvordan kan jeg se io flaskehalse?

Vil et ny maskine med 2 x Quad core hjælpe?

Eller skal jeg prøve at placere xml dumps på en ram-disk? Hvordan gør
man det?

top ser sådan ud:

last pid: 58199; load averages: 1.05, 1.06,
0.92

67 processes: 2 running, 64 sleeping, 1 zombie
CPU states: 32.4% user, 0.0% nice, 2.5% system, 0.0% interrupt, 65.2%
idle
Mem: 203M Active, 1513M Inact, 207M Wired, 70M Cache, 112M Buf, 9880K Free
Swap: 2048M Total, 420K Used, 2047M Free

  PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
58051 root 105 0 11252K 6172K CPU0 0 9:23 80.66% 80.66% php
54011 mysql 20 0 57892K 34452K kserel 0 18:14 10.99% 10.99% mysqld 

-- 
Best regards

Morten Winther
System & Application Architect

This archive was generated by hypermail 2b30 : Wed 31 Jan 2007 - 23:00:05 CET