Стъпките за предварителна обработка на данни преди използване на Wind Transformer са от решаващо значение за осигуряване на точността, ефективността и надеждността на работата на трансформатора. Като доставчик на вятърни трансформатори разбирам значението на тези стъпки за оптимизиране на работата на нашите продукти. В този блог ще разгледам ключовите стъпки за предварителна обработка, които трябва да се предприемат, когато се работи с данни за Wind Transformers.
1. Събиране на данни
Първата стъпка в пътя на предварителната обработка е събирането на данни. За Wind Transformers данните могат да бъдат получени от множество канали. Един от основните източници са сензорите, инсталирани директно върху трансформатора. Тези сензори могат да измерват различни параметри като температура, напрежение, ток и ниво на маслото. Температурните сензори са особено важни, тъй като те могат да открият прегряване, което може да доведе до сериозна повреда на трансформатора. Сензорите за напрежение и ток помагат при наблюдение на електрическия товар и гарантират, че трансформаторът работи в рамките на номиналния си капацитет.
Друг източник на данни са историческите записи на експлоатацията на трансформатора. Тези записи могат да осигурят ценна информация за дългосрочната работа на трансформатора, включително минали повреди, графици за поддръжка и типични работни условия. Освен това могат да се събират данни за околната среда като скорост на вятъра, влажност и околна температура. Скоростта на вятъра, например, може да повлияе на ефективността на охлаждане на трансформатора, а влажността може да повлияе на изолационните свойства.
От съществено значение е да се гарантира, че процесът на събиране на данни е точен и последователен. Редовното калибриране на сензорите е необходимо за поддържане на точността на данните. Освен това честотата на събиране на данни трябва да бъде внимателно определена въз основа на естеството на измервания параметър. За бързо променящи се параметри като ток може да е необходима по-висока честота на вземане на проби, докато за бавно променящи се параметри като ниво на маслото може да е достатъчна по-ниска честота.
2. Почистване на данни
След като данните бъдат събрани, следващата стъпка е почистването на данните. Необработените данни често съдържат грешки, липсващи стойности и отклонения, които могат значително да повлияят на производителността на Wind Transformer, ако не бъдат адресирани правилно.
Липсващите стойности са често срещан проблем при събирането на данни. Има няколко метода за обработка на липсващи стойности. Един подход е просто да премахнете точките от данни с липсващи стойности. Този метод обаче може да доведе до загуба на ценна информация, особено ако са засегнати голям брой точки от данни. Друг метод е да се приписват липсващите стойности. За числени данни може да се използва средно, медиано или модално импутиране. Например, ако данните за температурата имат няколко липсващи стойности, средната стойност на температурата може да се използва за попълване на пропуските. За категорични данни режимът (най-честата стойност) може да се използва за импутация.
Грешки в данните могат да възникнат поради неизправност на сензора или проблеми с предаването на данни. Тези грешки трябва да бъдат идентифицирани и коригирани. Един от начините за откриване на грешки е чрез проверка на диапазона. Например, ако показанието на напрежението от датчик е извън нормалния работен диапазон на трансформатора, това вероятно е грешка. След като бъде открита грешка, тя може да бъде коригирана чрез кръстосано препращане с други сензори или исторически данни.
Извънредните стойности са точки от данни, които се отклоняват значително от нормалния модел на данните. Отклоненията могат да бъдат причинени от необичайни работни условия или грешки в сензора. В някои случаи извънредните стойности могат да представляват важни събития като внезапен скок на тока поради късо съединение. В повечето случаи обаче отклоненията трябва да бъдат премахнати или коригирани. Статистически методи като междуквартилен диапазон (IQR) могат да се използват за идентифициране на извънредни стойности. Точките от данни извън обхвата на Q1 - 1,5 * IQR и Q3+1,5 * IQR (където Q1 е първият квартил, а Q3 е третият квартил) могат да се считат за отклонения.
3. Нормализиране на данните
След почистване на данните се извършва нормализиране на данните. Нормализирането е процесът на мащабиране на данните до общ диапазон. Тази стъпка е важна, тъй като различните параметри могат да имат различни мащаби. Например, напрежението може да бъде в диапазона от хиляди волта, докато температурата може да бъде в диапазона от десетки градуси по Целзий. Ако данните не са нормализирани, параметри с по-големи мащаби могат да доминират в анализа, което води до неточни резултати.
Има няколко техники за нормализиране. Един от най-разпространените методи е min - max нормализация. При min - max нормализация данните се мащабират до диапазон между 0 и 1. Формулата за min - max нормализация е: (x_{norm}=\frac{x - x_{min}}{x_{max}-x_{min}}), където (x) е първоначалната точка от данни, (x_{min}) е минималната стойност на набора от данни и (x_{max}) е максималната стойност на набора от данни.
Друг популярен метод за нормализиране е z - нормализирането на резултата. Z - нормализирането на резултата стандартизира данните чрез изваждане на средната стойност и разделяне на стандартното отклонение. Формулата за нормализиране на z - резултат е: (z=\frac{x-\mu}{\sigma}), където (x) е първоначалната точка от данни, (\mu) е средната стойност на набора от данни и (\sigma) е стандартното отклонение. Z - нормализацията на резултата е полезна, когато данните следват нормално разпределение.
4. Избор на функция
Изборът на характеристики е важна стъпка от предварителната обработка, която има за цел да идентифицира най-подходящите характеристики за анализа на Wind Transformer. Не всички събрани данни може да са полезни за прогнозиране на производителността или диагностициране на грешките на трансформатора. Чрез избиране на най-подходящите характеристики изчислителната сложност може да бъде намалена и точността на анализа може да бъде подобрена.
Има няколко метода за избор на характеристики. Един подход е филтърният метод. В метода на филтъра характеристиките се избират въз основа на техните статистически свойства, като например корелация с целевата променлива. Например, ако целта е да се предвиди температурата на трансформатора, могат да бъдат избрани характеристики, които имат висока корелация с температурата, като течение и скорост на вятъра.
Методът на обвивка е друга техника за избор на характеристики. В метода на обвивката се използва алгоритъм за машинно обучение за оценка на различни подгрупи от функции. Избира се подгрупата от функции, която води до най-добра производителност на алгоритъма. Методът на обвивката обаче е скъп от изчислителна гледна точка, тъй като изисква множество изпълнения на алгоритъма за машинно обучение.
Вграденият метод съчетава предимствата на методите филтър и обвивка. Той избира функции по време на процеса на обучение на модела. Техники за регулиране, като Lasso и Ridge regression, могат да се използват за избор на вградени функции. Тези техники добавят наказателен термин към модела, който насърчава модела да избира само най-подходящите функции.
5. Трансформация на данни
Често се изисква трансформация на данни, за да се направят данните по-подходящи за анализ. Например, някои алгоритми за машинно обучение приемат, че данните следват нормално разпределение. Ако данните не следват нормално разпределение, могат да се използват техники за трансформация, за да се направят по-нормални - като.
Логаритмичната трансформация е често срещан метод за трансформация на данни. Може да се използва за трансформиране на данни с изкривено разпределение в по-симетрично разпределение. Например, ако текущите данни имат дългостранно разпределение, вземането на логаритъм на текущите стойности може да направи разпределението по-нормално.
Трансформацията на Box - Cox е друга мощна техника за трансформация на данни. Може да се използва за намиране на оптималната трансформация на мощността, за да направят данните по-нормални. Трансформацията на Box - Cox използва параметър (\lambda), за да трансформира данните съгласно формулата: (y_{(\lambda)}=\frac{y^{\lambda}-1}{\lambda}) за (\lambda\neq0) и (y_{(\lambda)}=\ln(y)) за (\lambda = 0).
6. Кодиране на данни
Ако данните съдържат категорични променливи, е необходимо кодиране на данните. Категориалните променливи не могат да се използват директно в повечето алгоритми за машинно обучение, така че те трябва да бъдат преобразувани в числени стойности.
One - hot encoding е широко използван метод за категорично кодиране на данни. При едно - горещо кодиране всяка категория е представена като двоичен вектор. Например, ако една категориална променлива има три категории: A, B и C, тогава категория A може да бъде представена като [1, 0, 0], категория B като [0, 1, 0] и категория C като [0, 0, 1].
Кодирането на етикети е друг метод, при който на всяка категория се присвоява уникална целочислена стойност. Въпреки това, кодирането на етикети може да въведе изкуствен ред в категориалните променливи, което може да не е подходящо в някои случаи.
7. Разделяне на данни
И накрая, предварително обработените данни трябва да бъдат разделени на набори за обучение, валидиране и тестване. Наборът за обучение се използва за обучение на модела за машинно обучение, наборът за валидиране се използва за настройка на параметрите на модела, а тестовият набор се използва за оценка на крайното представяне на модела.
Общото съотношение на разделяне е 70:15:15 съответно за набори за обучение, валидиране и тестване. Съотношението обаче може да се коригира въз основа на размера на набора от данни. За малък набор от данни може да се наложи по-голяма част да бъде разпределена към набора за обучение, за да се гарантира, че моделът има достатъчно данни, от които да се учи.
Като доставчик на вятърни трансформатори, ние разбираме важността на тези стъпки на предварителна обработка за осигуряване на оптимална работа на нашите продукти. Следвайки тези стъпки, можем да предоставим на нашите клиенти по-надеждни и ефективни вятърни трансформатори. Ако се интересувате от нашитеВятърен трансформаторпродукти или имате въпроси относно предварителната обработка на данни за трансформатори, приветстваме ви да се свържете с нас за доставка и допълнителни дискусии. Ние също така предлагаме широка гама от свързани продукти катоЕлектрически трансформаториЕднофазен трансформатор, монтиран на стълб.
Референции
- Han, J., Kamber, M., & Pei, J. (2011). Извличане на данни: Концепции и техники. Морган Кауфман.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). Елементите на статистическото обучение: извличане на данни, изводи и прогнози. Спрингър.
- Provost, F., & Fawcett, T. (2013). Наука за данни за бизнеса: Какво трябва да знаете за извличането на данни и аналитичното мислене на данни. O'Reilly Media.
