?

Log in

немного о работе - Поклонник деепричастий [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

немного о работе [апр. 24, 2003|12:32 am]
Anatoly Vorobey
Пару слов о том, чем я сейчас занят в рамках работы в LiveJournal.

  • Пару дней назад закончилась работа над возможностью модерировать коммьюнити, которая растянулась довольно надолго, т.к. в процессе работы над этим было переделано и добавлено немало других вещей, попадавшихся по дороге.
  • Сейчас Брэд попросил меня заняться улучшением того, как мы собираем статистику работы серверов LJ, и мониторинга нормальной работы системы. Я этим (network management tools, SNMP итп.) никогда не занимался, однако, и совершенно ничего об этом не знаю. План такой: нужно как следует изучить Cricket и Nagios (LJ сейчас пользуется старой версией Nagios, с тех дней ещё, когда она называлась Netsaint), написать для них плагины (на Перле) для мониторинга и сбора статистики именно того, что нам нужно, установить их на серверах ЖЖ и протестировать всё. Особенно важно собрать и проанализировать с помощью Cricket'а различные виды статистики MySQL, и после того, как мы это поизучаем в течение недели-двух, можно будет заняться удалением bottlenecks и оптимизацией неэффективных мест в SQL и Перле внутри нашего кода.
  • После того, как изучение, инсталляция и отладка Cricket & Nagios будет завершена, я планирую заняться каким-нибудь большим полезным проектом. Это будет, наверное, либо статистика посещений (платные юзеры ЖЖ смогут видеть точную статистику посещений своего журнала вообще и всех записей в отдельности), либо программа-клиент для умной архивации своего дневника и всех комментов, либо ещё что-нибудь, пока не решено.
СсылкаОтветить

Comments:
[User Picture]From: amigofriend
2003-04-23 02:39 pm

Статистика посещений - это заманчиво!
(Ответить) (Thread)
[User Picture]From: piggymouse
2003-04-23 09:18 pm

Присоединяюсь!
(Ответить) (Parent) (Thread)
From: ex_makaroff405
2003-04-23 03:16 pm

любопытно.

ты как-то говорил, что лисп изучаешь. интерес к лиспу не был как-то связан с работой в lj?..
(Ответить) (Thread)
[User Picture]From: avva
2003-04-23 03:19 pm

Re: любопытно.

Даже близко не связан никак. Просто захотелось закрыть эту очевидную лакуну.

(Ответить) (Parent) (Thread)
From: ex_makaroff405
2003-04-23 03:22 pm

Re: любопытно.

жаль ;)
(Ответить) (Parent) (Thread)
[User Picture]From: krylov
2003-04-23 05:12 pm
программа-клиент для умной архивации своего дневника и всех комментов

Вот это было бы сладостно...
(Ответить) (Thread)
[User Picture]From: avva
2003-04-23 05:13 pm

Re:

Будет обязательно.
(Ответить) (Parent) (Thread)
[User Picture]From: silpol
2003-04-23 07:48 pm

так есть же (почти что вечность) скрипт перловый, кованный ati&kukutz, делающий все это... или нужны шашечки-в-тулбаре-мышевозильной-запускалки-сапера ???
(Ответить) (Parent) (Thread)
[User Picture]From: ge_m
2003-04-24 08:08 am

Кстати уж.

Не знаете ли, случайно, ответа вот на этот вопрос?
Это оффтопик, так что отвечать лучше на сам исходный пост.
(Ответить) (Parent) (Thread)
[User Picture]From: avva
2003-04-24 09:56 am

Re:

Этот скрипт плохой. Он качает всё подряд и не уважает протокол syncitems, к-й у нас есть специально для того, чтобы не надо было всё заново каждый раз качать. Единственная причина, по которой этот скрипт ещё не запрещён на серверной стороне - тот факт, что им пользуются относительно мало юзеров.

Аппликация нужна с шашечками, да, для средних юзеров без шашечек не обойтись, но главное - она не будет по десять раз одно и то же качать.
(Ответить) (Parent) (Thread)
[User Picture]From: silpol
2003-04-24 10:01 am

Re:

гхм, а протокол syncitems описан где-то ?
(Ответить) (Parent) (Thread)
[User Picture]From: avva
2003-04-24 10:04 am

Re:

Должен быть описан, в документации протокола клиентов. Проблема в том, что он не полон на самом деле, и не включает ещё поддержки выкачивания комментов, скажем. Проект клиента-архиватора будет включать в себя и расширение этого протокола.
(Ответить) (Parent) (Thread)
[User Picture]From: silpol
2003-04-24 10:33 am

Re:

ок, понято.
(Ответить) (Parent) (Thread)
[User Picture]From: silpol
2003-04-23 07:54 pm

SNMP - не самое лучшее средство для ваших целей, вам нужна скорее разово написанная приблуда по сборке статистики гибко и эффективно... я могу попозже попробовать изложить это чуть более детально, если это интересно...
(Ответить) (Thread)
[User Picture]From: silpol
2003-04-24 09:41 am

пишу сам себе комментарий, дабы продолжить...

SNMP в силу ряда моментов несколько неадекватен (на мой взгляд) поставленной задаче "сбора статистики"

1) SNMP базируется на UDP - как следствие гарантированный геморрой на утере пакетов, ретрансмиссиях, етц
2) SNMP использует BER, как следствие обмен данными становится обьемным, как по траффику, так и по последующей интерпретации
3) SNMP по природе своей заточен как "статистика для рутеров и прочих коммуникационных коробок", и последние тенденции направлены на на уход с него даже в телекоме
4) чисто человеческий фактор - даже от опытного программиста требуется просто нечеловеческий уровень следования формальным спецификациям и процедурам, иначе слишком легко утратить контроль над ситуацией: один из наших отделов, занимающийся оркестровкой network management architecture внутри конторы, слывет как "стая бюрократических церберов".

мой совет прост - не тратьте драгоценное время на SNMP обвязку, она окупает себя только когда речь идет о промышленной эксплуатации сотен или тысяч коробок однородной направленности, географически разбросанных по большой территории. лучше собирайте raw data с timestaps и, опционально, привязкой к тем или иным events внутри кода...

наблюдать за траффиком на интерфейсах (и не только траффиком) можно банальным MRTG - он вполне адекватен, т.к. дает быструю оценку использования почти любых ресурсов в виде временнЫх графиков, с возможностью детализирования по времени вплоть до минут...

к сожалению, я плохой советчик что касается SQL server performance - последние 4 года не касался SQL серверов и, откровенно говоря, счастлив от этого...
(Ответить) (Parent) (Thread)
[User Picture]From: avva
2003-04-24 09:54 am

Re:

Дык MRTG и использует SNMP, чтобы с раутером говорить.
SNMP нам нужен только для того, чтобы получать информацию от BigIP, и ни для какой другой цели. Мы не собираемся всё остальное через него "обвязывать".
(Ответить) (Parent) (Thread)
[User Picture]From: denspb
2003-04-24 12:02 am
А может еще одна добавка к модерированию коммьюнити -- возможность за'screen'ивать посты целиком?
(Ответить) (Thread)
[User Picture]From: avva
2003-04-24 03:22 am

Re:

А какой смысл? Лучше тогда удалять уже.

Проблема в том, что у нас нет понятия "заскринивать посты", только комменты, и расширения этого понятия на посты - слишком много работы только ради этой возможности.

Иногда предлагают ввести возможность смотрителю/модератору закрывать весь пост под элжекатом, но пока что нет согласия всё же по этому поводу, есть хорошие аргументы и против этого.
(Ответить) (Parent) (Thread)
[User Picture]From: denspb
2003-04-24 04:16 am
Под "заскриниванием" я понимаю ситуацию, когда private-пост в community виден только его автору и всем модераторам, но не остальным подписчикам community.

Дело в том, что бывают посты абсолютно корректные по содержанию, но неподходящие по форме. Хотя бы те же длинные посты без LJ-cut'а -- удалять такие посты не хочется, а вот временно его закрыть на время редактирования его автором было бы полезно.
(Ответить) (Parent) (Thread)
[User Picture]From: krace
2003-04-24 12:26 am
статистика посещений, на мой взгляд, -- шаг в сторону, "куриные жопки", "фенечки", bells'n'whistles.
хотелось бы увидеть развитие проекта не во всемирную ярмарку тщеславия, а в "умный" рабочий блокнот, каковым инструментом дневник по сути изначально и является.

уже писал однажды, очень полезно было бы добавить в интерфейс возможность использования шаблонов хотя бы в заглавиях записей, поиска и просмотра собственного архива по ключевым словам, группировки по заглавиям. мемориз -- недостаточно удобный способ, мне кажется.
(Ответить) (Thread)
[User Picture]From: jinxli
2003-04-24 03:17 am
"каждому своё"
мне вот умных рабочих блокнотов не надо
я как раз статистику посещений очень хочу :)
(Ответить) (Parent) (Thread)
[User Picture]From: krace
2003-04-24 03:40 am
Вы правы, конечно, Jedem Das Seine.

Просто статистику умелый и сейчас имеет, а скрипты свои с наворотами писать -- трудозатрат много, да и единого стандарта нет, а значит непортабельно получится.

Но всё равно, в главном Вы правы.
(Ответить) (Parent) (Thread)
[User Picture]From: avva
2003-04-24 12:16 pm

Re:

В общем, Вам уже ответили. Шаблоны и ключевые слова - это для power user'ов, которых в ЖЖ довольно мало. Статистика - это будет нарасхват. Это не значит, конечно, что не будет шаблонов и ключевых слов.
(Ответить) (Parent) (Thread)
[User Picture]From: graph
2003-04-24 02:21 am

Кстати говоря

Сильно не хватает одной фишки. реализацию которой я видел, например. в www.virtograd.ru: пункта меню "Мои отзывы", т.е. возможность посмотреть в одном месте все свои отзывы...
(Ответить) (Thread)
[User Picture]From: avva
2003-04-24 03:19 am

Re: Кстати говоря

Да, не хватает очень.
Это когда-то было очень давно, два года назад, но было неправильно сделано и потому очень неэффективно, и Брэд убрал эту опцию.
Надо её добавить обратно, и, несомненно, это случится.
(Ответить) (Parent) (Thread)
[User Picture]From: graph
2003-04-24 04:01 am

Re: Кстати говоря

Ура :). Будем ждать, впрочем, как и клиента с продвинутой функцией архивации... Хотелось бы, конечно, иметь простую возможность создать у себя на CD точную копию своего (или любого) ЖЖ за определенный период...

Кстати, в www.virtograd.ru появилась еще одна очень полезная фишка - "Новые отзывы": лента комментариев на все мои заметки и отзывы. Такой вариант мне представляется более естественным и удобным, чем существующий в настоящее время в ЖЖ механизм рассылки отзывов по почте.
(Ответить) (Parent) (Thread)
[User Picture]From: esycat
2003-04-24 02:45 am

О!

Последний пункт просто замечателен. :-)
(Ответить) (Thread)
[User Picture]From: photon
2003-04-25 08:31 am
(скандируя) Se-arch! Se-arch! Se-arch!

Прелесть дневников ведь в том, что их можно назад листать. А без интеллигентного поиска это не реально.
(Ответить) (Thread)
[User Picture]From: greenadine
2003-04-27 08:51 am

"Большой полезный проект" - suggestion

Не рассматривается ли возможность разработки полнотекстового поиска, хотя бы в избранных дневниках (хотя бы в своём собственном)? В самом деле, этого сильно не хватает, поскольку обычные поисковые системы ЖЖ практически не индексируют...
Или мощностей не хватает для индексации?
(Ответить) (Thread)
[User Picture]From: avva
2003-05-03 08:21 am

Re: "Большой полезный проект" - suggestion

Рассматривается; но скорее всего, только для собственного дневника и для платных юзеров.
(Ответить) (Parent) (Thread)