Welt 14 wird umgezogen

[bwoebi]

Kommt W9 jetzt auf den W11/W12 Server?

[Sotrax]

Yep, ein Test ist es Wert denke ich. Anders kann ich gar nicht sehen ob das Lagproblem gelöst ist oder nicht, weils mit 2 Welten eh ok läuft.

Mehr als 3 Welten kommen aber nicht drauf, das wäre erstmal ok, wenn jeder Server 3 Welten packt. Aber keine Sorge, sollte es deswegen wieder so laggen kommt Welt 9 direkt weiter auf nen anderen Server. Sprich arg viel schlimmes kann nicht passieren

[Blue.Shark]

Und warum testest du das nicht mit Welt 10 oder 13/14?

[Sotrax]

@Blue.Shark: Auf dem Server W10/13/14 sind ja schon drei Welten und da wollte ich eigentlich keine vierte dazupacken.

[Blue.Shark]

Ah, da sind also schon 3 drauf. Warum hast du denn bedenken ob es mit W9/W11/W12 klappt wenn W10/13/14 eh schon klappt?

[Sotrax]

@Blue.Shark: Weil es nicht exakt die gleichen Festplatten sind. Die Server sind leicht verschieden, daher nicht 1:1 zu vergleichen. Naja mal schauen, wir müssen es testen. Ich gebe mir aber alle Mühe, dass die Leute nicht groß drunter leiden werden.

[Sotrax]

@itgchris: An der Stelle nochmal danke, jetzt laufen gerade 3 Server drauf und es scheint nicht mehr zu laggen, trotz I/O. XFS scheint da in der Tat eine deutliche Verbesserung zu bringen, dass es beim rausschreiben auf die Platte nicht mehr alle anderen Threads anhält, bis es fertig geschrieben hat.

Um wirklich zu sagen wieviel es gebracht hat, muss ich aber noch ein paar Tage testen.

[itgchris]

@itgchris: An der Stelle nochmal danke, jetzt laufen gerade 3 Server drauf und es scheint nicht mehr zu laggen, trotz I/O. XFS scheint da in der Tat eine deutliche Verbesserung zu bringen, dass es beim rausschreiben auf die Platte nicht mehr alle anderen Threads anhält, bis es fertig geschrieben hat.

Um wirklich zu sagen wieviel es gebracht hat, muss ich aber noch ein paar Tage testen.

Nichts zu danken. Ich hab viel in dem Bereich recht viel zu tun.

Btw zu MariaDB muss ich sagen es hat erst vor kurzem MySQL überholt. Davor war es wirklich schlechter.

Ja FibreChannel SANs sind meistens nur gut, wenn man Racks hostet und die SANs selbst hinstellt. Aber das geht meist eher in größeren Umgebungen. Oder halt in Inhouse Umgebungen.

Btw. solltest du auf InnoDB umstellen macht es Sinn ein RAW Filesystem zu benutzen. Das ist noch etwas schneller als XFS aber zugegebener Maßen wohl in einem Recht kleinen Bereich.

Und btw. es ist egal wie "schlecht" oder "gut" InnoDB im Vergleich zu MyISAM ist. InnoDB braucht man, wenn man Rollbacks machen will oder man macht halt alles mit PostgresSQL.
MyISAM ist nicht vollständig ACID fähig.

[Sotrax]

@itgchris: XFS ist es auf keinen Fall schlechter, das war schon ein interessanter Tipp. Ansonsten verwenden wir teilweise für die PHP Files noch ReiserFS (zwar alt und wird nicht mehr weiterentwickelt, aber für ganz kleine Files das schnellste was es gibt, da es sehr kleine Files direkt in der Verzeichnisstruktur ablegt), da gibts aber eh kein I/O Problem.

Wegen InnoDB, da weiß ich auch recht gut was die Vorteile sind, die meisten davon brauchen wir derzeit zumindest für FW nicht. Du hast aber natürlich völlig Recht, es gibt viele Anwendungsfälle, in denen MyISAM von den Features her nicht ausreicht.

(Ich gebe übrigens Schulungen im Bereich Microsoft SQL Server, da wird man schon teilweise neidisch, wenn man es mit MySQL vergleicht . Auch PostgresSQL kann da nicht mithalten. Zwar von den Features aber nicht von den Tools her. Naja, dafür sind professionelle SQL Server wie MSSQL, DB2 oder Oracle nicht wirklich für etwas wie FW finanzierbar. Aber spannend ist das Thema auf jedenfall).

Aber so oder so, InnoDB kann in manchen Fällen schneller als MyISAM sein, sogar wenn man Transaktionen nicht explizit verwendet. Beispiel: Die UPDATE Anweisung in MyISAM sperrt die ganze Tabelle bis das Update durch ist, weil einzelne Queries auch in MyISAM atomar ausgeführt werden. In InnoDB sind Locks auf Row Level Ebene möglich, so dass neben dem UPDATE noch andere die Tabelle gleichzeitig manipulieren können. Dafür sind halt gerade INSERTS in MyISAM irre schnell, da kommt man fast nicht schneller hin. Das liegt aber natürlich auch daran, dass MyISAM keinerlei referentielle Integrität checken muss.

MariaDB bin ich gerne bereit dem irgendwann wieder eine Chance zu geben, allerdings sieht es danach aus, dass die besten Features von MariaDB mit 1-2 Jahren verzögerung auch in MySQL übernommen werden. Von der reinen Bequemlichkeit her, gewinnt derzeit aber noch MySQL, einfach weil ich MySQL direkt über Ubuntu installieren und upgraden kann.

[itgchris]

@itgchris: XFS ist es auf keinen Fall schlechter, das war schon ein interessanter Tipp. Ansonsten verwenden wir teilweise für die PHP Files noch ReiserFS (zwar alt und wird nicht mehr weiterentwickelt, aber für ganz kleine Files das schnellste was es gibt, da es sehr kleine Files direkt in der Verzeichnisstruktur ablegt), da gibts aber eh kein I/O Problem.

Ja ReiserFS ist auch sehr gut, aber wie du schon sagst, es wird leider nicht mehr weiterentwickelt.

Wegen InnoDB, da weiß ich auch recht gut was die Vorteile sind, die meisten davon brauchen wir derzeit zumindest für FW nicht. Du hast aber natürlich völlig Recht, es gibt viele Anwendungsfälle, in denen MyISAM von den Features her nicht ausreicht.

Naja bei 90% aller Anwendungsfälle braucht man die Vorteile von InnoDB nicht. Transaktionen sind eben nur bei Anwendungen die ACID erfordern Pflicht, aber viele die Transaktionen brauchen benutzen PostgreSQL / DB2 / Oracle.

(Ich gebe übrigens Schulungen im Bereich Microsoft SQL Server, da wird man schon teilweise neidisch, wenn man es mit MySQL vergleicht . Auch PostgresSQL kann da nicht mithalten. Zwar von den Features aber nicht von den Tools her. Naja, dafür sind professionelle SQL Server wie MSSQL, DB2 oder Oracle nicht wirklich für etwas wie FW finanzierbar. Aber spannend ist das Thema auf jedenfall).

Also ich finde MSSQL irgendwie lahm. Klar das Tooling ist genial, aber das habe ich noch nie benötigt. (P.S.: Da lob ich mir HeidiSQL für MySQL und MariaDB. Das Tooling ist einfach stark bzw. für MySQL ist das Tooling sogar fast besser, weil ich die Tabellen visuell darstellen kann und mir dann direkt einfügen lassen kann. Okai das geht auch mit MSSQL am besten sogar mit Visio etc. Aber das kostet eben alles Geld und für BigData ist das alles leider nicht geeignet.)

Aber so oder so, InnoDB kann in manchen Fällen schneller als MyISAM sein, sogar wenn man Transaktionen nicht explizit verwendet. Beispiel: Die UPDATE Anweisung in MyISAM sperrt die ganze Tabelle bis das Update durch ist, weil einzelne Queries auch in MyISAM atomar ausgeführt werden. In InnoDB sind Locks auf Row Level Ebene möglich, so dass neben dem UPDATE noch andere die Tabelle gleichzeitig manipulieren können. Dafür sind halt gerade INSERTS in MyISAM irre schnell, da kommt man fast nicht schneller hin. Das liegt aber natürlich auch daran, dass MyISAM keinerlei referentielle Integrität checken muss.

Ja es kann, wie du schon sagst, dass kommt immer darauf an, was eine Tabelle machen muss. Und wenn man eben InnoDB auf ein RAW Filesystem legt, dann ist das sehr schnell.

MariaDB bin ich gerne bereit dem irgendwann wieder eine Chance zu geben, allerdings sieht es danach aus, dass die besten Features von MariaDB mit 1-2 Jahren verzögerung auch in MySQL übernommen werden. Von der reinen Bequemlichkeit her, gewinnt derzeit aber noch MySQL, einfach weil ich MySQL direkt über Ubuntu installieren und upgraden kann.

Naja MariaDB kannst du aber recht leicht als Repository hinufügen. Und seit dem MariaDB nun Galera Cluster kann also Multi-Master-Replikation ist es auch verdammt stark geworden. Naja ich will da nicht hin und her reden, ich benutze meistens sowieso PostgreSQL, ist für mich einfach am angenehmsten.

[Sotrax]

@itgchris:

Das was mich bei XFS noch etwas stört im Vergleich zu ReiserFS ist, dass es fragmentiert und von Zeit zu Zeit defragmentiert werden muss, aber da muss ich erstmal schauen wie stark das überhaupt passiert ^^ Ansonsten gibt es auch noch eine Menge anderer Dateisysteme neben EXT4 (mit EXT bin ich irgendwie nie richtig warm geworden muss ich zugeben) die gerade neu im kommen sind wie BTRFS. Das habe ich mich allerdings noch nicht getraut zu verwenden, weil ich noch nicht weiß wie stabil das bereits ist, gerade bei Crashes.

Wegen MSSQL: Seit der SQL Server 2012 ist der mittlerweile richtig schnell, wenn man ihn richtig konfiguriert. Gerade in Isolationsleveln wie READ COMMITTED sollte man, falls möglich Snapshot Isolation benutzen, dann kann man auf ähnliche Werte wie Oracle kommen. Das ist aber nicht der Standard wie bei Oracle. Auch kann SQL Server mittlerweile Columnstore Indizes. Wenn man als Firma halt eh z.B. eine Active Directory Struktur mit PKI oben drauf nutzt, gibts nix einfacheres als den MSSQL Server.
Der MSSQL Server ist mittlerweile immer beliebter und eines der großen Gewinnbringer bei Microsoft (4 Milliarden Dollar Gewinn durch den SQL Server). Ehrlich gesagt, finde ich es sogar eines der besten Produkte von Microsoft, er ist auf jedenfall ein sehr ernst zu nehmendes RDBMS.

Und was ich persönlich irgendwie toll finde am SQL Server ist, dass man sogar DDL Statements in Transaktionen "rollbacken" kann. Das kann weder InnoDB noch Oracle (und ich glaube Postgres auch nicht komplett). Und über Dateisysteme mache ich mir da keine Gedanken, der läuft eh nur auf NTFS richtig

[itgchris]

@itgchris:

Das was mich bei XFS noch etwas stört im Vergleich zu ReiserFS ist, dass es fragmentiert und von Zeit zu Zeit defragmentiert werden muss, aber da muss ich erstmal schauen wie stark das überhaupt passiert ^^ Ansonsten gibt es auch noch eine Menge anderer Dateisysteme neben EXT4 (mit EXT bin ich irgendwie nie richtig warm geworden muss ich zugeben) die gerade neu im kommen sind wie BTRFS. Das habe ich mich allerdings noch nicht getraut zu verwenden, weil ich noch nicht weiß wie stabil das bereits ist, gerade bei Crashes.

Wegen MSSQL: Seit der SQL Server 2012 ist der mittlerweile richtig schnell, wenn man ihn richtig konfiguriert. Gerade in Isolationsleveln wie READ COMMITTED sollte man, falls möglich Snapshot Isolation benutzen, dann kann man auf ähnliche Werte wie Oracle kommen. Das ist aber nicht der Standard wie bei Oracle. Auch kann SQL Server mittlerweile Columnstore Indizes. Wenn man als Firma halt eh z.B. eine Active Directory Struktur mit PKI oben drauf nutzt, gibts nix einfacheres als den MSSQL Server.
Der MSSQL Server ist mittlerweile immer beliebter und eines der großen Gewinnbringer bei Microsoft (4 Milliarden Dollar Gewinn durch den SQL Server). Ehrlich gesagt, finde ich es sogar eines der besten Produkte von Microsoft, er ist auf jedenfall ein sehr ernst zu nehmendes RDBMS.

Und was ich persönlich irgendwie toll finde am SQL Server ist, dass man sogar DDL Statements in Transaktionen "rollbacken" kann. Das kann weder InnoDB noch Oracle (und ich glaube Postgres auch nicht komplett). Und über Dateisysteme mache ich mir da keine Gedanken, der läuft eh nur auf NTFS richtig

Btw zum Thema MariaDB wieder eine Success-Story:
> http://www.heise.de/newsticker/meldung/ ... 48140.html

Und ja ich finde MSSQL auch nicht schlecht und das GUI Tool ist auch wesentlich besser als HeidiSQL. Das Problem ist einfach nur das du bei MSSQL sau viele Lizenzkosten hast, gerade wenn du an Kunden auslieferst. Wenn man die sparen kann durch z.b. PostgreSQL ist das eine Menge Wert.

Und naja ich musste XFS noch nie fragmentieren. Btw. bei Crashes ist ZFS am besten, ist aber noch nicht zu 100% in Linux implementiert zumindest den Stand den ich habe.

[Sotrax]

@itgchris: Ja, MariaDB mal irgendwann wieder zu testen, könnte interessant sein.

MSSQL ist sauteuer, das ist richtig und wenn man noch den MS Support dazu kauft, kommt man schnell auf gigantische Summen. Aber wie gesagt, für mich ist das gut so, weil Firmen die bereit sind, sowas zu bezahlen, zahlen auch Schulungen dazu.

Zu PostgreSQL sieht der Schulungsmarkt viel düsterer aus Das Datenbanksystem ist aber super, keine Frage.

(Ist ja generell der Fall, daher laufen auch Schulungen zu Microsoft Dingen besser als zu Linux Dingen. Das hat mehrere Gründe, einerseits zahlen die Firmen da eher, weil die Produkte schon teuer sind, andererseits gibts in Linux mehr Leute die sich richtig gut auskennen und gar keine Schulung brauchen ).

Und ich merke das ja auch in den Schulungen ganz direkt, die Leute wollen möglichst viel mit der GUI bedienen können, schon Powershell schreckt viele Admins ab.

[itgchris]

Und ich merke das ja auch in den Schulungen ganz direkt, die Leute wollen möglichst viel mit der GUI bedienen können, schon Powershell schreckt viele Admins ab.

Ein Admin der keine Shell bedienen kann, ist aber auch kein guter Admin.
Und naja umso mehr Programmierer es gibt umso krasser ist die Abstraktion und gerade bei Java sieht man, dass es immer weniger geben muss die Datenbanken beherschen. Hibernate sei dank.

[Sotrax]

Übrigens, falls es interessiert. Was scheinbar gegen die Lags geholfen hat, ist

echo 0 > /sys/block/sda/queue/iosched/low_latency

Nach langem rumschauen, habe ich gesehen, dass der Io Scheduler von Ubuntu 12 anders als der von Ubuntu 10 funktioniert, in der hinsicht, dass er auf Low Latency optimiert ist. Das klingt in der Praxis eigentlich erstmal gut, in der Tat ist es für unsere Server scheinbar aber völlig ungeeignet, weil jede kleine zwischenabfrage auf die Festplatte dafür sorgt, dass der Festplattenkopf sofort rumgerissen wird und was anderes ausliest, Hauptsache um geringe Latenz haben. Insgesamt braucht die I/O Operation aber länger und der Durchsatz sinkt.

Low Latency scheint in dem Fall eher gut für Desktop-Systeme zu sein, Server sollte man definitiv auch mal ohne testen. Leider findet man bei Google nicht arg viel über das ganze Thema, weil das alles im Kernel noch relativ neu ist. (Als IO Scheduler setzen wir dafür weiterhin cfq ein).

@itgchris: Wie gesagt, die meisten Admins können natürlich auf der Shell arbeiten, aber gerade im Windows Server Bereich wird immer noch extrem viel mit RDP und GUI gemacht. Dabei kann man mit Windows Server Core natürlich auch auf die GUI verzichten wenn man will.
Manche Dinge gehen auch in der Tat über die GUI leichter (z.b. nen Windows Cluster kann man kurz in 5 Minuten einfach anhand der Wizards aufsetzen, mit Linux ist das komplexer). Ansonsten ganz klar, die Shell ist normal vorzuziehen.

Aber wie gesagt, ich seh es halt in der Praxis von den Firmen, und da ist die GUI auch bei Admins kaum wegzudenken