ZOSTAŃ PARTNEREM PORTALU
Firma Johnson Controls jest czołowym dostawcą sprzętu automatyki budynkowej, systemów kontroli oraz usług w zakresie ogrzewania, wentylacji, klimatyzacji i chłodnictwa, a także systemów zabezpieczeń.

KATALOG PRODUKTÓW

POZNAJ JOHNSON CONTROLS

O tym jak spowodowałem awarię obiektu z odległości 350 km.

O tym jak spowodowałem awarię obiektu z odległości 350 km.
Jestem w pracy i wykonuję czynność, którą robiłem już setki razy. Nie ma mowy o pomyłce, przecież sprawa jest banalnie prosta!
Wtedy tak było, lecz na drugi dzień sytuacja uległa zmianie :). Chciałbym opowiedzieć wam historię jak przez moją nieostrożność i błąd w jednej cyfrze spowodowałem awarię obiektu z odległości ok 350 km.

Wstęp

Jakiś czas temu pracowałem w firmie, której specyfika opierała się na dostarczaniu klientom rozwiązań automatyki w branży wodno-kanalizacyjnej. W firmie między innymi produkowane są szafy elektryczne i AKPiA, które my (pracownicy) w finezyjnej wręcz sprawności konfigurowaliśmy i dość dokładnie testowaliśmy. Następnie taka szafa zostawała wysłana do klienta kurierem lub zapakowana na samochód służbowy i wieziona na obiekt od razu na instalację. Głównym atutem tej branży jest zdalny dostęp do sterownika PLC dzięki modemu GPRS a co za tym idzie dostarczaniu klientowi systemu wizualizacji SCADA. Pięknie?

Rutyna

Pewnego dnia miałem skonfigurować kolejną, powtarzająca się szafę elektryczną. W skład takiej konfiguracji wchodzi między innymi wgranie programu do sterownika PLC i panelu HMI, ustawień modemu GPRS, ustawień zabezpieczeń i wszelkich urządzeń które można w jakiś sposób skonfigurować. Po konfiguracji, przed zapakowaniem szafy należało ją jeszcze przetestować. Testy polegają na sprawdzeniu możliwie każdej funkcjonalności i sytuacji jaka może się pojawić podczas pracy obiektu, którym szafa steruje. Po jakimś czasie czynności te wchodzą w krew i wykonuje się je automatycznie.
Miodzio?

Jeżeli myślisz, że „moja” awaria została spowodowana przez złe przetestowanie i szafa pojechała do klienta to jesteś w błędzie – takie przeoczenia zdarzają się dość często w każdej firmie. Moja awaria była dość bardziej nietypowa :).

Lenistwo

Siedziba firmy znajduje się w 2-piętrowym budynku. Moje biurko znajdowało się na drugim piętrze a szafy elektryczne składali w specjalnych pomieszczeniach w piwnicy. Ile ja się po tych schodach nalatałem! Ile razy musiałem się wracać bo czegoś zapomniałem z biurka, ehh. Choć Ci co mnie znają w to nie uwierzą bo nadal jestem, jak to się delikatnie mówi – gruby.

Godzina 14:45 dzwonią z piwnicy:
-Marcin, szafa jest poszyta możesz sprawdzać – dzwoni Rafał a jak Rafał szafę składał to znaczy, że problemów przy testowaniu nie będzie 😀 Miodzio !
-Zbieram się i zaraz schodzę – odpowiedziałem.

Jak powiedziałem, tak zrobiłem. Wziąłem laptop i udałem się do koleżanki po kartę SIM do modemu GPRS. Koleżanka była odpowiedzialna za te karty i nadawanie im numerów IP. Schodzę do montażowni. Rozkładam laptop obok szafy, wkładam kartę SIM do modemu i podłączam zasilanie. Rozglądam się za przewodem komunikacyjnym między laptopem i sterownikiem PLC… K***** zostawiłem na górze!

Godzina 15:10 w montażowni:
-Zapomniałem przewodu do sterownika zaraz wracam.
-Ale ty głupi jesteś, przecież masz zdalny dostęp do sterownika. Zaraz fajrant, bierz laptopa i wgrasz program z góry a ja zacznę szafę konfigurować – zaproponował Rafał, jak mi się wtedy wydawało genialny pomysł.

Zabieram laptop i karteczkę z numerem IP. Wdrapuję się na górę, rozkładam na biureczku i uruchamiam specjalne oprogramowanie. Wpisuję numer IP 50.4.10.7 ,łączę się z modem GPRS w szafie w piwnicy i zdalnie wgrywam program do sterownika PLC.

Dzwonię do Rafała – niech chłopak zaczyna testować szafę. Zadowolony resztę dnia w pracy spędzam na robieniu „na pewno czegoś ważnego”. O! Godzina 16:00 FAJRANT! Wszyscy jak zaprogramowane roboty wstają, piątka, piąteczka do widzenia.
Pięknie!

Ścieki, kupa! Wszędzie g****.

Następny dzień w pracy:
8:00 – kawa,
8:15 – e-maile,
8:30 – praca,praca,praca!
10:00 -kierownik odbiera telefon:

-Dzień dobry tu wodociągi „jakieśtam” w „350km od Marcina”, mamy problem z przepompownią ścieków P-14. Pompy od wczoraj po godzinie 15:30 przestały pracować, sterowanie awaryjne w ogóle nie reaguje a ścieki aż deklem wypływają. – dzwoni nasz klient, dane o pracy ma z systemu wizualizacji SCADA.
-yyyy, zaraz to sprawdzimy – odpowiada kierownik i podbija do mnie abym ogarną temat.

Nie działa? Zdarza się, raz sonda poziomu się zepsuje, raz zwarcie coś uszkodzi. Sprawdzam co to za przepompownia, loguję się na serwer wizualizacji SCADA. Dziwne, wszystkie wskazania wariują i pokazują głupoty. Zaraz to sprawdzę i połączę się zdalnie do sterownika PLC przez modem GPRS. Z bazy danych biorę numer IP karty SIM z tego obiektu i… IP to 50.4.10.7.
Pokora? 

Jak to się stało ?

Jak to się stało, że pewne osiedle oddalone o 350km zalała kupa?

Transmisja_GPRS_Awaria_PLC

Po dokładnej analizie powstałej awarii mogę wytoczyć kilka faktów:

  • IP1 = 50.4.10.7 należało do karty sim obiektu oddalonego o 350 km. Obiekt ten to przepompownia ścieków (przetłacza ścieki dalej, do oczyszczalni).
  • IP2 = 50.4.10.1 należało do karty sim szafy w piwnicy. Szafa ta miała sterować obiektem jakim jest hydrofornia (utrzymuje ciśnienie wody w Twoim kranie).
  • Cyfra 7 jest podobna do cyfry 1 😀
  • Program PLC Hydroforni nie sterował przepompownią ścieków
  • Przy zdalnym wgrywaniu programu do sterownika PLC należy zawsze upewnić się, że zostanie wgrany do odpowiedniego obiektu.
  • Ku mojemu nieszczęściu, przy okazji wyszła usterka awaryjnego sterowania przepompownią – w normalnym działaniu pompy uruchomiły by się mimo złego programu PLC.

Tak, pokora! Ta sytuacja nauczyła mnie przede wszystkim ostrożności w swojej pracy.

A Ty? Miałeś jakąś śmieszną sytuację w swojej pracy? Podziel się z nami w komentarzu! Dłuższą historię możesz wysłać na kontakt@iautomatyka.pl – może urodzić się z tego osobny artykuł 😀

Leave your vote

1 point
Upvote Downvote

Total votes: 0

Upvotes: 0

Upvotes percentage: 0.000000%

Downvotes: 0

Downvotes percentage: 0.000000%

6 stycznia 2016 / Autor Marcin Faszczewski / Kat. , ,
  • Radek Jachym

    Wszelkiego rodzaju przepompownie to wdzięczne obiekty do zbierania doświadczenia. Wybaczają wiele błędów, a najgorsze co może się przytrafić z punktu widzenia technologii to zalanie ściekami. Mnie na początku kariery zdarzyła się podobna historia, ale przyczyny były inne. Był to typowy błąd programie podczas uruchomienia w połączeniu z myśleniem „zostawię program na noc, przetestuję jak działa”. Wolałem się nie pokazywać obsłudze oczyszczalni przez następne kilka dni. 🙂
    Btw. Widzę, że Jazz to uniwersalny sterownik dla przepompowni stosowany w całej Polsce, pewnie modem GPRS jest produkcji firmy na I? 🙂

    • Cześć Radek!
      Czasami wydaje się nam, że możemy zaryzykować – powiedzieć „na pewno się uda”. Z każdym kolejnym projektem jestem bardziej świadomy, że „na pewno się nie uda” a moje motto zmieniło się na „Sprawdź to trzeci raz – tam jest jakiś błąd”. W naszej pracy błędy są nieuniknione, choć ze wzrostem doświadczenia jesteśmy w stanie wyeliminować je jeszcze przed wgraniem programu do sterownika PLC. Sterownik Jazz ze względu na swoje możliwości i niską cenę opanował kawałek branży wodnokanalizacyjnej. Modem GPRS z mojej historii nie należał do firmy Inventia a do tej, w której wtedy pracowałem i dlatego nie chcę pisać jaki to był 🙂

  • Łukasz Dudek

    shit happens, ale czas cie odrobinę postraszyć.

    Podałeś adres publiczny „swoich” urządzeń (no chyba że utworzyliście private lan na adresacji publicznej) i mniej więcej wskazałeś co się tam znajduje. Prosisz się o kłopoty. A to że udało ci się wgrać soft, wskazuje że autentykacja/autoryzacja jest słaba (hasło standardowe/ takie samo jak wszędzie) lub w ogóle jej nie ma.

    Brak zautomatyzowania powtarzalnych czynności wskazuje że to nie jedyne „coś” co musisz poprawić w swojej pracy. Dobrze skonfigurowany automat nie tylko zaoszczędzi ci czasu ale także takich atrakcji, bo nie jest problemem aby dopisać procedury które przed wykonaniem sprawdzą czy to co chcesz zaktualizować jest dokładnie tym czym przewidujesz że jest. A testy także można zautomatyzować.

    Co do cyferek 1 i 7, mnie w liceum wbito że jedynkę się podkreśla, ale to tylko dlatego że miałem wspaniałą matematyczkę.

    Poczytaj o Configuration Managemen Tools, w twoim przypadaku najbardziej pasuje Ansible. I koniecznie się zastanów nad poprawą zabezpieczeń w środowiskach na których działasz, bo następna awaria może mieć dużo gorsze reperkusje.

    • Cześć Łukasz!
      Spokojnie, sieć była zamknięta wewnątrz firmy a IP w artykule są przykładowe :). Człowiek uczy się na błędach dlatego też opisałem tę historię jako przestroga ! Czasami dopada nas rutyna i mimo zabezpieczeń wkrada się błąd – w pracy automatyka czujność jest obowiązkowa :).
      Widzisz, dobrze że wskazujesz na zabezpieczenia i automatyzację powtarzalnych czynności jednak firma w której ta sytuacja miała miejsce nie jest / nie była tak zorganizowana aby sprawnie wprowadzać jakieś zmiany. Liczył się tylko termin… na wczoraj. Na szczęście zmieniłem pracę :).
      Dobry komentarz! Może masz ochotę napisać na ten temat parę słów?
      Pozdrawiam,
      Marcin.

      • Łukasz Dudek

        Nie zwalaj odpowiedzialności na firmę, to TY wybierasz narzędzia i sposób realizacji zadań. Czas miałeś na usprawnienia, zamiast latać po schodach i „robić na pewno coś ważnego”, można było przysiąść nad automatem. Zwłaszcza że sam stwierdziłeś iż wykonywałeś powtarzalne zadania wiele razy.

        Na automat także trzeba poświęcić czas. ale to nie będzie czas stracony bo będziesz go odzyskiwał za każdym razem gdy go użyjesz. A gdy automat będzie dojrzały, jego obsługę można zlecić osobie o mniejszych kompetencjach (co powinno być celem nadrzędnym), wtedy z głowy spadnie ci instalacja a będziesz mógł poświęcić czas na bardziej kreatywne zadania.

        Wracając do meritum sprawy, tylko przed tobą stoi/stała decyzja, czy poświęcić kilka godzin, nawet czasu po pracy aby nauczyć się czegoś nowego i ułatwić sobie życie, czy robić za średnio opłacany, zawodny automat w imię idei/sprawy/lenistwa. BTW podczas negocjacji o podwyżkę takie usprawnienia są zawsze mocnym argumentem.
        A i pochwalić się można u kolejnego pracodawcy że z XXX godzin nad konfiguracją szaf, zeszło się do Y, + ile razy zwiększyła się sprzedaż 🙂

      • Zgadzam się z większością tego co piszesz. Ale.
        Nie zwalam odpowiedzialności na firmę, tylko podkreślam, że dość trudno się tam współpracowało. Jeżeli chodzi o czas poświęcony na ulepszenia i automatyzację procedur tamtej firmy to uwierz mi ale nie mam sobie nic do zarzucenia. Poświęciłem wiele czasu prywatnego na zdobycie odpowiedniej wiedzy i optymalizację struktury zarządzania wymianą informacji firmy. Masy papierów, masy exceli, dokumentów, plików programów ale też bieganiny między pokojami zamieniło się w jeden spójny system. Jest to tylko jeden przykład tego czym mogę się pochwalić i nie chodzi mi o istotę rozepchania mojego ego tylko zwrócenia Tobie uwagi, że oceniasz książkę po okładce.
        Nie wiem w jakiej branży się specjalizujesz ale w integrowaniu systemów automatyki bardzo często jesteśmy uzależnieni od zewnętrznego oprogramowania różnych producentów. Automatyzacja wykonywanych czynności w niektórych przypadkach więc będzie ściśle ograniczona. Tak też było w opisanym przypadku.

        Zgadzam się z Tobą! Jeżeli angażujemy się w to co robimy to nie tylko korzysta firma ale też i my sami. Uwierz mi, przeznaczam wiele czasu na podnoszenie swoich kompetencji. Można powiedzieć, że ja tą wiedzę ćpam 😀 O! Ćpam Automatykę – dobre!
        Pozdrawiam!

Hey there!

Sign in

Forgot password?

Don't have an account? Register

Close
of

Processing files…