Тематические рабочие группы > Переменные звезды
794 новых переменных звёзд в NSVS
blackhaz:
Итак, следующая публикация: http://var.astro.cz/oejv/issues/oejv0087.pdf
На сей раз объединился с А. Носульчиком - системным UNIX администратором, который проделал большой труд по автоматизации процессов поиска. Работали над этим проектом с февраля, было задействовано много языков программирования - IDL, R, FORTRAN, Perl, Awk, Sed, ... Открыто 794 новых красных перееменных звёзд, их них 77 - мириды. Ссылки на приложения:
Elements: http://var.astro.cz/oejv/issues/oejv0087_appendix1.prn
Кроссы SIMBAD/USNO-A2.0: http://var.astro.cz/oejv/issues/oejv0087_appendix2.prn
Кривые блеска: http://var.astro.cz/oejv/issues/oejv0087_appendix3.pdf
Readme по приложениям: http://var.astro.cz/oejv/issues/oejv0087_appendix4.README
Теперь мы можем делать абсолютно автоматически:
- удалять из БД NSVS звёзды из других каталогов по координатам;
- фильтровать звёзды NSVS по их цвету (сейчас сделали фотометрию по 2MASS, но брать фотометрию из других каталогов просто);
- фильтровать звёзды по любым параметром кривых блеска - P, A, индексы переменности Стетсона, и т.д.;
- проверять наличие звёзд в VSX и SIMBAD;
- получать кросс-идентификаторы из SIMBAD и VizieR;
В планах следующая публикация по красным, а дальше попробуем зарядить RS CVn.
hd8890:
Если несложно, можно немного подробнее о технологии работы ? А также каким образом возможно получать, пригодные для фотометрии данные из различных каталогов ?
blackhaz:
Технология хорошо расписана в самой публикации. Вкратце оно так выглядит:
Всё проводили на удалённом сервере в Швеции на 100 Мбитном линке. Сначала мы попытались выкачать всю БД NSVS. 18 Гб скачали, но при попытке разрвернуть всю БД, потребовалось больше терабайта места, обломались. Поэтому данные получали таким образом. Выкачали только БД со списками объектов NSVS и их параметрами, без кривых блеска. Развернули и провелю фильтрацию по стандартным полям базы NSVS (n_obs, rms_mag, med_err). Получили что-то около 80 тыс. объектов. Точные числа в публикации. Для этих объектов написали парсер, который wget'ом забирает кривую блеска с сайта Skydot и создаёт файл локально на винчестере. Связались с Возняком, он любезно согласился, чтобы наш сервер изнасиловал Skydot. На этом этапе все 80 тыс. объектов у нас лежат локально и не нужен терабайтовый винчестер. Далее поудаляли из этой локальной БД объекты в известных каталогах - Red Variables in NSVS Возняка, MISAO, GCVS, и т.д.. Для этого сделали опять же парсер и конвертер астрономических координат, свой для каждого каталога. Он сранивал координаты и удалял из локальной БД попадания. Тут поклон MySQL, т.к. операции сравнения были очень многочисленными (измерялись миллиардами операций). Всё это заняло около недели процессорного времени и постоянного кача.
Для всех оставшихся объектов сделали процессинг, используя слегка модифицированный код AAVSO TS12, VARTOOLS и свой процессор, названный TFE. Дополнили БД полями периода, индексами переменности Стетсона, R_AOV, и т.д. Далее для каждого объекта получили фотометрию и кроссы из каталогов. Для этого опять-таки, написали парсер для VizieR. Парсер лезет на визирь, забирает стандартную веб страницу с результатами согласно координатам объекта и через реглуярные выражения выдирает оттуда необходимые данные, занося их в локальную БД. Потом фильтруем по всем критериям, описанным в публикации и выбираем SR+L и мириды. Для каждой из звёзд смотрим, чтобы она не была в VSX и гугле. Для этого опять написали парсер. С VSX пришлось немного повозиться, т.к. используется метод POST для отсылки данных на сервер.
В общем, всё на парсерах построено и для каждого шага он получился свой.
mk:
А я то думаю, почему перестали рисоваться кривые NSVS на сайте skydot, - а это оказывается Максим сервер изнасиловал! ;D
blackhaz:
Нет-нет, врядли это из-за меня. Я сделал своё.. кхм.. дело много раньше. Уже потом так стало. Но я уверен, что я не причина.
Навигация
Перейти к полной версии