Re: Hvordan speeder jeg xml import op?

From: Flemming Frøkjær (none@flemmingf--gmail.com.lh.bsd-dk.dk)
Date: Tue 16 Jan 2007 - 13:15:06 CET


Date: Tue, 16 Jan 2007 13:15:06 +0100
From: "Flemming Frøkjær" <none@flemmingf--gmail.com.lh.bsd-dk.dk>
To: bsd-dk@bsd-dk.dk
Subject: Re: Hvordan speeder jeg xml import op?

On 1/16/07, Morten Winther <none@mw--mwi.dk.lh.bsd-dk.dk> wrote:

> Jeg har en FreeBSD boks som kører mysql.
>
> Hastigheden er sådan set fin nok, men et par gange per måned skal jeg
> indlæse nogle xml dumps, hvilket tager mega lang tid. Der er tale om
> godt 2 GB xml og over 4 mil. inserts i mysql.
>
> Jeg har skrevet et import script i php som så indlæser til mysql og
> prøver nu at finde ud af hvor flaskehalsen er: php, mysql, io på hardiske ??

Det er sikkert mysql der er flaskehalsen. Har du mange indexes på de
tabeller du indsætter i?
Du kan evt prøve at fjerne indexene, lave din import og så oprette
indexes igen.

At flytte dit xml dump til en ram disk vil ikke gavne noger. Hvis du
nu flytter din mysql database til ram sker der sikkert noget, men lad
vær med at slukke :-o

Flemming



This archive was generated by hypermail 2b30 : Wed 31 Jan 2007 - 23:00:05 CET