Date/API trenuri, Informatica Feroviara si dragoste pentru marfare

[deformat]

Va salut, sunt si eu nou pe aici pe forum.

Sunt interesat de prelucrarea datelor privind traficul feroviar din Romania pentru a modela niste harti de sunet pentru o firma privata. Aceste modelari trebuie sa respecte anumite standarde ale Comisiei Europene privind modelarea sunetului (nu, nu glumesc) si implicit am nevoie de date privind care trenuri, cu cate vagoane, din ce statie la ca ore pleaca de unde pe care linie pana unde. Pe un an. Pe scurt, un munte de date. Date teoretic publice. Teoretic.

Portalul data.gov prin SC Informatica Feroviara SA are astfel de date doar pentru operatorii de trenuri de calatori. Astea sunt foarte bune, dar pe mine ma intereseaza si cele privind marfarele.

Din ce am vazut, Eurostat da doar niste statistici generale privind acest lucru. E dragut, dar nu ma prea ajuta, nefiind nici datele astea complete.

Deci: unde ma duc daca vreau sa aflu toate aceste date cat mai rapid cu putinta? Fac cerere pe data.gov? Ma duc fizic la sediul Informaticii Feroviare? Exista un colt al Eurostat pe care nu-l stiu? Exista un program al mecanicilor de locomotiva care este usor accesibil de care nu stie nimeni? Exista vreun site al feroviarilor unde astfel de date sunt prelucrate? Zici ca marfarele astea sunt trenuri-fantoma de care nu stie nimeni nimic.

Alta nelamurire generala de om nu prea plimbat cu trenul in afara: toate trenurile straine care trec pe la noi devin trenuri ale operatorilor locali? N-am gasit nimic despre trenuri straine care trec pe la noi, nici macar pe Mersul Trenurilor. Maxim al Cailor Ferate din Moldova.

Multumesc mult oricui ma ajuta cu orice fel de informatie relevanta.

[motorzbh]

Sa înțeleg ca vrei sa masori poluarea fonica. Datele pe care le vrei tu aparțin de fapt CFR Infra nu Informatica Feroviara. IF face daor un serviciu pe baza caruia CFR Infra este platita de OTF. Asa ca daca vrei datele astea trebuie sa te adresezi oficial CFR Infra.Compania Naţională de Căi Ferate "CFR" – SA

    Adresa. B-dul Dinicu Golescu, nr. 38, sector 1.
    Bucuresti.
    Bucuresti.
    010873.
    http://www.cfr.ro.
    +4021 3199528, +4021 3117080.
Asta înseamnă un act din partea Companiei tale către directorul general CFR unde sa explici ce vrei și pentru ce vrei.
Problema cu marfarele este ca nu au toate un program zilnic si nici nu circula foarte regulat. Si avem și noi niște NDA-uri semnate cu OTF-istii.
Trenurile internaționale de călători primesc  mecanici ro la intrarea în tara. Pentru numere sunt niște convenții. Deci in teorie sunt trenuri romanești.

[MarianD]

Ăsta e un demers SF pentru România.
Personal, când am încercat sa obțin niște documente mult mai simple de la CFR Infra (PTE-uri statii), m-am lovit de un zid instituțional de beton armat, armat cu "nu am", "nu stiu", "nu e de mine", "suna-ma mai târziu" (a se citi: deloc). Am umblat prin sindicate, șefi de districte,  pana am dat oarecum de ceva ce îmi trebuia.
Unii din ei sunt și pe acest forum, le mulțumesc de ajutor și sprijin.
Îți doresc mult succes... sper sa obții, dar sună peste tot, dă cu acte în toate părțile, o sa razbesti garantat în final dacă nu mori de bloodlust, curse, implosion, sorrow și alte vrăji aruncate în tine de funcționărimea statului român..

[dan tm]

WTF?

mie datele alea mi s-au deschis asa

<ElementTrasa Ajustari="0" CodStaDest="16073" CodStaOrigine="16102" DenStaDestinatie="Berzovia" DenStaOrigine="Bocşa Română haltă hc." Km="7300" Lungime="50" OraP="55260" OraS="55680" Rci="R" Rco="R" Restrictie="0" Secventa="10" StationareSecunde="0" TipOprire="N" Tonaj="100" VitezaLivret="80"/>
<ElementTrasa Ajustari="-30" CodStaDest="16061" CodStaOrigine="16073" Den


cu ce te ajuta datele trenurilor pentru zgomot? doar mai sint multi factori, starea liniilor, starea podurilor, starea rotilor, adica nu stiu cum sa zic asa ca ,,pe gara".

Sînt curios ce date o sa obtii.
Nu uita insa ca inclusiv datele din mersul trenurilor de calatori sint considerate proprietate CFR si in urma cu ceva ani, pe celalalt forum(nu stiu daca asta exista) au fost discutii ca cineva a facut un program cu mersul trenurilor si CFR l-a tras prin instante.Asta in timp ce la MAV sau BDZ ca vecini nu mai zic de altii, mersul trenurilor poate fi descarcat chiar de pe saitul lor.

asadar exista un program in care IDM sau operatotii RC introduc datele de analiza a trenurilor
tren/otf/vagoane/lungime/tone b/tone n/osii/osii goale/ nr locomotive/tip loco/

motiv de intîrziere/ora pl/ora sos/ntîrziere/cauze/etc/etc.

acest program de analiza a trenurilor este oarecum copia programului prin care se calculeaza si se programeaza trasele. Am impresia ca la calculul si programarea trasei se foloseste tonajul maxim admis.

trenurile care intra in ara  primesc de la frontira numarul OTF partener din tara.

exceptie la operator, o sa vezi administratii straine la CFM pentru trenul lor de linie larga care vine pîna la Socola. Din ce s-a discutat dincolo se considera acolo prima statie de frontiera si atunci pot veni ei pîna acolo sau nu stiu exact.
la fel in primele statii de frontiera, Curtici, Salonta,Carei, Valea Viseului Cîmpulung la Tisa, se trec operatorii lor MAV si UZ la trenurile de calatori care vin doar la granita.

[motorzbh]

Calculele sunt evident aproximative. Ca sa calculezi cu adevărat trebuie sa pui microfoane si sa masori nr de decibeli. Pentru proiectant la coridor a fost mai simplu sa pună direct Panouri fonoabsorbante decât sa măsoare. 
Datele sunt confidențiale dar se pot anonima ca nu-l interesează ce companie transporta și ce are vagoane.
Dar ce iese din IRIS este ca sa zic asa criptat pentru CFR ... cum se vede în exemplul lui Dan. Deci datele s-ar putea sa fie inutile fără decriptare.

[deformat]

cu ce te ajuta datele trenurilor pentru zgomot? doar mai sint multi factori, starea liniilor, starea podurilor, starea rotilor, adica nu stiu cum sa zic asa ca ,,pe gara".

Pentru minimum minimorum, da, se pot folosi datele privind: geometria liniei (usor de gasit via OpenStreetMaps - OSM),  numarul de linii pe o sectiune, viteza maxima a sectiunii respective (idem de pe OSM), tip de tren ce circula pe linie (+ ce tip de vagon si in ce cantitate) + viteza maxima a trenului.

Dar da, altfel pot fi luate in considerare si modul in care se fac transferurile intr-o gara, daca sunt linii clasice sau linii TGV (haha, TGV in Romania...), intersectiile pe o raza de 100m, cat de curba e linia in cauza, daca e vreun pod, viteza pentru trenuri comerciale, daca e vreun tunel si in ce tura de ore cate linii trec pe o sectiune.

Basca eroarea generala pentru astfel de estimari e 7,5 dB(A), o marja destul de lejera.

Asta înseamnă un act din partea Companiei tale către directorul general CFR unde sa explici ce vrei și pentru ce vrei.
Problema cu marfarele este ca nu au toate un program zilnic si nici nu circula foarte regulat. Si avem și noi niște NDA-uri semnate cu OTF-istii.
Trenurile internaționale de călători primesc  mecanici ro la intrarea în tara. Pentru numere sunt niște convenții. Deci in teorie sunt trenuri romanești.

Ăsta e un demers SF pentru România.
Personal, când am încercat sa obțin niște documente mult mai simple de la CFR Infra (PTE-uri statii), m-am lovit de un zid instituțional de beton armat, armat cu "nu am", "nu stiu", "nu e de mine", "suna-ma mai târziu" (a se citi: deloc). Am umblat prin sindicate, șefi de districte,  pana am dat oarecum de ceva ce îmi trebuia.
Unii din ei sunt și pe acest forum, le mulțumesc de ajutor și sprijin.
Îți doresc mult succes... sper sa obții, dar sună peste tot, dă cu acte în toate părțile, o sa razbesti garantat în final dacă nu mori de bloodlust, curse, implosion, sorrow și alte vrăji aruncate în tine de funcționărimea statului român..

Nu uita insa ca inclusiv datele din mersul trenurilor de calatori sint considerate proprietate CFR si in urma cu ceva ani, pe celalalt forum(nu stiu daca asta exista) au fost discutii ca cineva a facut un program cu mersul trenurilor si CFR l-a tras prin instante.Asta in timp ce la MAV sau BDZ ca vecini nu mai zic de altii, mersul trenurilor poate fi descarcat chiar de pe saitul lor.

Dar ce iese din IRIS este ca sa zic asa criptat pentru CFR ... cum se vede în exemplul lui Dan. Deci datele s-ar putea sa fie inutile fără decriptare.

E, aici vad moartea pasiunii.

Mda, speram ca poate trimit si romanasii nostri datele undeva mai sus de unde le pot lua si eu gratis si fara batai de cap. Tare mi-e ca si cu situatia cu Ucraina si transporturile militare si ajutorul nostru mai mult sau mai putin existent si secret s-ar putea sa n-am mare noroc si sa mi se invoce diverse motive pe langa motivele general folosite de birocrati.

Presupun ca o sa folosesc datele de la Eurostat si o sa incerc sa estimez matematic nu foarte precis cam ce se intampla pe partea de marfare.

Mersi mult tuturor pentru informatii.

[frunzaverde]

@deformat : Ca si pentru calatori, exista si pentru marfa livrete de circulatie, in exact acelasi format tiparit ca livretele de calatori - un tabel facut automat dintr-un XML de un script la Infofer. Cel mai rapid le obtii, daca nu primesti vreun raspuns oficial, in format tiparit (o carticica soioasa) de la un mecanic pe un marfar. Sau poti sa le cauti pe Scribd, unde apar cel mai des - de exemplu aici (un livret de marfa din 2021-22): https://www.scribd.com/document/558431836/Lm-Rcf-Bra%C8%99ov.

Problema e ca la marfa, spre deosebire de la calatori, livretele sunt fictiune pura. Se baga constant trase ad-hoc la cererea OTF, si se circula pe trasele existente, la fel, cand vrea si cand poate fiecare operator. Unele trase nu sunt folosite niciodata, altele sunt folosite zilnic, altele care nu exista in carticica apar in trafic prin sistemul de comanda ad-hoc de trase. In plus, se intarzie cu zilele, uneori cu saptamanile, pentru ca liniile sunt cum sunt, si marfa are prioritatea cea mai mica, asa ca regulatorul ii pune sa astepte cu nemiluita pe toate abatutele din toate statiile, si asa mai departe.

Exista date live, reale de trafic, in IRIS, care e sistemul din care vin toate, inclusiv datele in timp real de la calatori, dar habar n-am cat timp le tin disponibile "live". Din cate am inteles vorbind cu oamenii care au acces la back-end in IRIS, baza de date nu e foarte prietenoasa pentru interogare bulk, si nu e foarte usor de scos rapoarte in afara celor pre-programate. Mai mult nu stiu, nu am vazut back-end-ul niciodata. Incearca sa-ti faci un contact la un OTF privat, din experienta, acolo e cel mai usor de gasit o portita de "intrat in sistem'. Dar, asteapta-te ca fiecare zi de trafic sa fie foarte diferita de fiecare alta zi de trafic.

Si vezi ca si in livretul de calatori, care e public, sunt diferente mari intre scripte si realitate. In principiu, tonajele din livret sunt calculate in functie de un maxim teoretic circulabil, care nu se atinge niciodata - nu de alta, dar daca toate trenurile ar avea ce e in livret ca tonaje, ar trebui vreo 3 parcuri CFR Calatori. Majoritatea trenurilor sunt trasate cu 500 tone (10 vagoane), 550 tone (11 vagoane) sau 600 tone (12 vagoane) desi in realitate au 2-6 vagoane (100-300 tone). Vei gasi date mult mai apropiate de realitate la VagonWeb.

@dan tm : Datele din mersul trenurilor - adica livretul de circulatie - sunt date deschise, licenta este Open Government Licence (OGL), datele putand fi folosite in orice scop, inclusiv comercial - litera A alineatul 2 din licenta spune clar asta.

De altfel, licenta e irelevanta in cazul asta, datele de circulatie ale trenurilor NU pot fi proprietatea intelectuala a nimanui -- legea romana prevede foarte clar ca in legea 8/1996 ca "f) simplele fapte şi date" nu sunt obiectul drepturilor de autor. Si faptul ca un tren pleaca de la Bucuresti la 8:00 si ajunge la Ploiesti la 8:36 e un simplu fapt care consta intr-un punct de date, care nu poate fi proprietatea nimanui. Nici colectia de date nu e proprietatea nimanui, pentru ca consta doar din date care nu pot fi proprietatea nimanui.

Formatul paginilor din mersul trenurilor (si cel tiparit si cel online) si ATAT este proprietate intelectuala - nu poti copia interfata Infofer (desi nu stiu de ce ai vrea, e infecta), si nu poti copia mersul tiparit la Xerox si il revinde (desi si aici e discutabil, elementele grafice ale mersului tiparit nu sunt creatia CFR, originalul e facut de Cook candva inainte de 1920, si cumparat de UIC prin anii '50, un avocat bun probabil poate dovedi ca nu e nimic original in grafica din MT tiparit, dar nu cred ca se baga nimeni in proces pentru a copia mersul tiparit). Dar poti scoate datele de acolo prin orice mijloace, perfect legal.

CFR a incercat sa dea in judecata acum vreo 15 ani niste oameni pentru o aplicatie de scraping pe vechiul Infofer, au pierdut procesul aproape imediat. Solutia lor a fost stupida - in loc sa deschida datele, dinozaurii au facut pagina extrem de neprietenoasa cu utilizatorul final. S-au desteptat un pic, si au livrat livretele in format deschis incepand cu 2013, si au promis un API public prin 2016, dar nu s-au tinut de cuvant. La munca, avem o situatie extrem de similara, unul din produsele noastre principale e o sinteza de date si fapte, care nu intra sub incidenta drepturilor de autor, si este imposibil de protejat sau licentiat direct (doar procedura de colectare si validare a datelor este).

Datele alea nu sunt criptate in nici un fel. Ce ai downloadat acolo sunt date intr-un format standard (poate un pic invechit) pentru procesare masinala numit XML. Sunt sute de programe (inclusiv Excel) capabile sa le proceseze. Toate datele sunt in clar si necriptate chiar si in lipsa unui document care sa le descrie. Unele formate sunt ciudate, orele de sosire si plecare sunt secunde de la ora 0, distantele sunt in metri, codurile de statii nu au un codebook cu metadate, dar astea sunt probleme minore rezolvabile in cateva minute. Daca guvernul le-ar publica la timp (in septembrie!) nu am mai sta sa cautam livrete, in doua zile ar face cineva un parser care sa transforme formatul ala in cel "traditional" de livret tiparit. Doar ca guvernul le pune candva prin decembrie, mai tarziu decat apar chiar si pe Infofer.