Marcin Bogusz Forexworld

Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Onlineoffline Replikation über Oracle Streams WLCG Collaboration. Präsentation zum Thema: Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Onlineoffline Replikation über Oracle Streams WLCG Collaboration. Präsentationstranskript: 1 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Onlineoffline Replikation über Oracle Streams WLCG Collaboration Workshop Januar 2007 2 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Agenda Onlineoffline Replikation Setup Replikationstests Leistungsfragen 3 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Setup O2O Transformation Oracle Streams Replikation 4 STREAMS Architektur CAPTURE PROCESS APPLY PROCESS Benutzer Änderungen REDO LOG Log Änderungen Capture Änderungen LCRs SOURCE QUEUE DESTINATION QUEUE propagieren Ereignisse LCRs gelten Änderungen SOURCE DATABASE TARGET DATABASE (Replik ) Capture stagingconsumption Slide von Eva Dafonte 5 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Test Setup Replikation zwischen zwei Dualknoten RACs Capture Prozess läuft auf Instanz 2 von d3r Apply Prozess läuft auf Instanz 2 von test1 6 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Testumgebung Test repliziert ecalpedestals Objekte 7 Objekte müssen in einer einzigen Transaktion eingefügt werden Jedes Objekt ist 1,63 MB groß, nach Objekt-zu-relationalen Mapping stecalpedestalsitem Zeilen Objekte werden nach PLSQL-Prozedur generiert Von Ricky Egeland zur Verfügung gestellt Wir haben 428.400 Reiheneinsätze in einem einzigen Commit, was der Anzahl der LCRs entspricht. LCR Größe ist reihenabhängig 7 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Streams Monitoring Tools Strmmon Zbyszeks Monitor AWR Logminer Lemonweb Oracle Enterprise Manager Parameter LCRs flow Streams Pools Größe Wiederherstellung auf Quell - und Zieldatenbanken Replikationszeit 8 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Performance Goal. Um die Replikationszeit zu reduzieren, erhöhte den Durchsatz Erscheint, dass die Replikationszeit vom Intervall zwischen den Testläufen abhängig war Periodische Zeitstruktur der Ergebnisse Verantwortlich für Unterschiede: KJC Wait Events (AWR) Solution Patch Set 9 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Performance Replikationszeit 300s Mit 11,4 MB Nutzlast MBs 1428 Zeileneinsätze pro Sekunde Durchschnittliche LCR-Aufbringungsrate 2700s AWR-Bericht Beide CPUs werden in 50 120 Sekunden Streams verwendet AQ: Enqueue blockiert durch Strömungssteuerung Warteereignisse Lemonweb Sehr hoher IO während des Testlaufs (über 1 GB) 10 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Redo High IO stellte sich heraus, dass sie durch Log Writer (LGWR) Prozess generiert wurde. Weitere Untersuchungen haben gezeigt, dass die Wiederherstellung auf dem Zielort 12 mal größer war als auf der Quelle Datenbank Log Mining hat gezeigt, dass die Wiederherstellung durch das Einfügen in die STREAMSAPPLYSPILLMSGSPART-Tabelle erzeugt wird. Typischer Wiederherstellungseintrag für die Stecalpedestalsitem-Tabelle war 75 Bytes vs. 590 Bytes für die Spill-Warteschlange. Redo-Lautstärke am Zielort beträgt 700 MB, beide Tabellen Insert-Redo ist 11 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation LCRs Flow 12 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Wiederherstellungsziel 13 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Verschütten Einfügen von Daten in die Tabelle STREAMSAPPLYSPILLMSGSPART Bezieht sich auf die Architektur des Anwen - dungsprozesses. Die Meldungen werden aus dem Speicher auf die Festplatte verschüttet. Apply process TXNLCRSPILLTHRESHOLD Benutzer modifizierbarer Parameter kann die Spill-Schwelle ändern. Erhöhung der Schwelle über die Anzahl der LCRs in einer Transaktion sollte deaktivieren die Anwendung Verschütten Allerdings Erhöhung dieser Parameter verschlechtert die Leistung 14 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Queue Verschütten Streams Pool Größe ist 1,3 GB Allocated Streams Pool Größe Niemals mehr als 75 Spilling, wenn Nachrichten für mehr als 5 Minuten eingegeben werden (nicht der Fall) Verschütten, wenn theres kein Speicher vorhanden ist (vielleicht der Fall, aber 1,3 GB) Höhere Spill-Schwellen führen zu Ausbreitungslücken und verschlechtern die Leistung, die Standardschwelle beträgt 10.000 Auf Werte über 200K-Nachrichten setzen, wird die Warteschlange verschüttet, andere als die Verschüttung 16 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Strmmon - Ziel: 55: 50 Test12- NET 4K 0 PR01 0 Q - A Sek: 55: 52 Test12- NET 5K 0 PR01 0 Q - A Sek: 55: 54 Test12- NET 5K 0 PR01 0 Q - A Sek: 55: 56 Test12- NET 821K 0 PR Q - A Sek: 55: 58 Test12- NET 1M 0 PR Q - A Sek: 56: 00 Test12- NET 1M 0 PR Q - A Sek: 56: 02 Test12- NET 356K 0 PR Q - A Sek: 56: 04 Test12- NET 2M 0 PR Q - A Sek: 56: 06 Test12- NET 316K 0 PR Q - A sec: 56: 08 test12- NET 1M 0 PR Q - A sec: 56: 10 test12- NET 5K 0 PR01 0 Q - A sec: 56: 12 test12- NET 5K 0 PR01 0 Q - A sec: 56: 14 test12- NET 5K 0 PR01 0 Q - A sec: 56: 16 test12- NET 5K 0 PR01 0 Q - A sec: 56: 18 test12- NET 5K 0 PR01 0 Q - A sec: 56:20 Test12- NET 5K 0 PR01 0 Q - A Sek: 56: 22 Test12- NET 203K 0 PR Q - A Sek: 56: 25 Test12- NET 884K 0 PR Q - A Sek: 56: 27 Test12- NET 884K 0 PR Q - A Sek: 56: 29 Test12- NET 868K 0 PR Q - A Sek: 56: 31 Test12- NET 884K 0 PR Q - A Sek: 56: 33 Test12- NET 884K 0 PR Q - A Sek: 56 : 35 Test12- NET 772K 0 PR Q - A Sek: 56: 37 Test12- NET 882K 0 PR Q - A Sek: 56: 39 Test12- NET 996K 0 PR Q - A Sek: 56: 41 Test12- NET 756K 0 PR Q - A sec NET 4K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:52 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55 : 54 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:56 test12- NET 821K 0 PR01 2526 Q570584 2526 0 - A003 0 0 19sec 2007-01-19 10:55 : 58 test12- NET 1M 0 PR01 3945 Q570584 3940 0 - A003 0 0 19sec 2007-01-19 10:56:00 test12- NET 1M 0 PR01 6005 Q570584 6009 0 - A003 0 0 19sec 2007-01-19 10:56 : 02 test12- NET 356K 0 PR01 1103 Q570584 1099 0 - A003 0 0 19sec 2007-01-19 10:56:04 test12- NET 2M 0 PR01 8197 Q570584 8201 0 - A003 0 0 19sec 2007-01-19 10:56 : 06 test12- NET 316K 0 PR01 1004 Q570584 997 0 - A003 0 0 19sec 2007-01-19 10:56:08 test12- NET 1M 0 PR01 4745 Q570584 4753 0 - A003 0 0 19sec 2007-01-19 10:56 : 10 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:12 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56 : 14 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:16 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56 : 18 Test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:20 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56 : 22 test12- NET 203K 0 PR01 600 Q570584 600 0 - A003 0 0 19sec 2007-01-19 10:56:25 test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56 : 27 Test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:29 test12- NET 868K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56 : 31 Test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:33 Test12- NET 884K 0 PR01 2746 Q570584 2741 0 - A003 0 0 19sec 2007-01-19 10:56 : 35 test12- NET 772K 0 PR01 2510 Q570584 2507 0 - A003 0 0 19sec 2007-01-19 10:56:37 test12- NET 882K 0 PR01 2757 Q570584 2757 0 - A003 0 0 19sec 2007-01-19 10:56 : 39 test12- NET 996K 0 PR01 3046 Q570584 3045 0 - A003 0 0 19sec 2007-01-19 10:56:41 test12- NET 756K 0 PR01 2290 Q570584 2298 0 - A003 0 0 19sec TitelMarcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Strmmon - Ziel 2007-01-19 10:55:50 Test12- NET 4K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:52 Test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:54 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:56 test12- NET 821K 0 PR01 2526 Q570584 2526 0 - A003 0 0 19sec 2007-01-19 10:55:58 test12- NET 1M 0 PR01 3945 Q570584 3940 0 - A003 0 0 19sec 2007-01-19 10:56:00 test12- NET 1M 0 PR01 6005 Q570584 6009 0 - A003 0 0 19sec 2007-01-19 10:56:02 test12- NET 356K 0 PR01 1103 Q570584 1099 0 - A003 0 0 19sec 2007-01-19 10:56:04 Test12- NET 2M 0 PR01 8197 Q570584 8201 0 - A003 0 0 19sec 2007-01-19 10:56:06 test12- NET 316K 0 PR01 1004 Q570584 997 0 - A003 0 0 19sec 2007-01-19 10:56:08 test12- NET 1M 0 PR01 4745 Q570584 4753 0 - A003 0 0 19sec 2007-01-19 10:56:10 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:12 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:14 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:16 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:18 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:20 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:22 test12- NET 203K 0 PR01 600 Q570584 600 0 - A003 0 0 19sec 2007-01-19 10:56:25 test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:27 test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:29 test12- NET 868K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:31 test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:33 test12- NET 884K 0 PR01 2746 Q570584 2741 0 - A003 0 0 19sec 2007-01-19 10:56:35 test12- NET 772K 0 PR01 2510 Q570584 2507 0 - A003 0 0 19sec 2007-01-19 10:56:37 test12- NET 882K 0 PR01 2757 Q570584 2757 0 - A003 0 0 19sec 2007-01-19 10:56:39 test12- NET 996K 0 PR01 3046 Q570584 3045 0 - A003 0 0 19sec 2007-01-19 10:56:41 test12- NET 756K 0 PR01 2290 Q570584 2298 0 - A003 0 0 19sec 17 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation 2 x Verschütten, 130K Schwelle 18 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation 2 x Verschütten, 130K Schwelle 19 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation LCR Leistung Leistung hängt stark von der Anzahl der LCRs in einer Transaktion ab, anstatt LCR Größe Test mit BLOB Objekten anstelle von relationalen Daten Die gleiche Payload aber binäre Daten Einfügen von 7 x 1.63 MB binär Objekte Eine solche Transaktion erzeugt 3600 LCR Replikationszeit 30 Sekunden (Faktor 10 Differenz) Keine Warteschlange Verschüttung Wahrscheinlich kein Auftragen Verschütten Redo Verhältnis Sourcedestination ist 4566 (MB) 20 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Fragen 21 Marcin Bogusz CERN , PH-CMG WLCG Collaboration Workshop CMS Onlineoffline Replikation Vielen DankOperator Domen Marcin Bogusz Informacje o firmie Operator Domen Marcin Bogusz powstaa w pitek 30 kwietnia 2010, ein wic istnieje ju sze lat, dziewi miesicy, pitnacie dni. Miejsce rejestracji firmy zu Kompasowa 1 lok. 60, 4-048 Warszawa. Wedug rejestru CEIDG firma dziaa w brany: Przetwarzanie danych zarzdzanie stronami internetowymi (Hosting) i podobna dziaalno. Zaoycielem firmy Scherz Marcin Bogusz. Numer identyfikacji podatkowej (NIP) Operator Domen Marcin Bogusz bis 1132461603, natomiast Rejestr Gospodarki Narodowej (REGON) zu 142314910. Podstawowe informacje Nazwa firmy Operator Domen Marcin Bogusz Waciciel Marcin Bogusz Nummer NIP 1132461603 Numer REGON 142314910 Obszar dziaalnoci Przetwarzanie danych zarzdzanie stronami internetowymi (Hosting) I podobna dziaalno (3292 innych firm wz tym obaszrem dziaalnoci) Adres rejestracji Wojewztwo: Mazowieckie Miasto: Warszawa (94980 innych firm w tym miecie) Kod pocztowy: 4-048 Ulica: Kompasowa 1 lok. 60 Szeroko geograficzna: 52 13039 52,1quot N Dugo geograficzna: 21 5039 4,3quot E EdytujUzupenijUsu Dane Operator Domen Marcin Bogusz na mapie