Data Engineering · Full-stack
Enterprise system
Corporate Reporting
PetroKazakhstan мен KazMunayGas арасындағы күнделікті есеп жеткізуді автоматтандырған қорғалған веб-қосымша.
API
Source
08:00
Airflow
MySQL
Storage
REST
Node.js
WEB
React
XLSX
Export
Құпия жоба.Компания атауларын көрсетуге рұқсат бар. Логотиптер, бастапқы код, нақты деректер және интерфейс экрандары жарияланбайды.
Шолу
Мен бүкіл жүйені жобалап, әзірледім: API-ден күнделікті жүктеуден және MySQL-де сақтаудан бастап, есепті көру және Excel-ге жүктеу интерфейсіне дейін.
Мәселе
KazMunayGas қызметкерлері тұрақты есептерді алу үшін PetroKazakhstan-мен байланысуға уақыт жұмсады. Деректер әр таң сайын қажет болды, бірақ қолмен коммуникацияға тәуелді еді.
Шешім
Airflow күн сайын 08:00-де API деректерін алып, MySQL-ге сақтайды. Node.js REST API React қосымшасына дерек береді. Қызметкерлер VPN арқылы қосылып, AD авторизациясынан өтіп, Excel есебін жүктейді.
Жүйе қалай жұмыс істейді
- 01PetroKazakhstan API
- 02Airflow · күн сайын 08:00
- 03MySQL сақтау және тарих
- 04Node.js / Express REST API
- 05React web application
- 06VPN + Active Directory + Excel export
Менің рөлім
- Бүкіл жүйенің архитектурасы
- Airflow ETL процесі
- MySQL схемасы және Sequelize миграциялары
- Backend API және React интерфейсі
- AD авторизациясы және Excel экспорты
Технологиялар
Нәтиже
08:00
күнделікті автоматты жүктеу
1
есептерге бірыңғай қолжетімділік
End-to-end
толық жүйеге жауапкершілік
Үйренгенім
Корпоративтік өнімде құндылық жеке экраннан емес, сенімді тізбектен туады: кесте, дерек тұтастығы, қолжетімділікті басқару және ыңғайлы формат.