Автоиндексы регионов: Автомобильные коды регионов в 2021 году на номерах России

Многокластерная архитектураправить

Используйте кросс-кластерную репликацию для создания нескольких многокластерных архитектур в рамках Elastic Стек:

• Аварийное восстановление в случае отказа основного кластера, со вторичным кластером, служащим горячей резервной копией
• Местоположение данных для поддержки нескольких копий набор данных рядом с серверами приложений (и пользователями) и сокращает дорогостоящую задержку
• Централизованная отчетность для минимизации сети трафика и задержки при запросе нескольких географически распределенных кластеров Elasticsearch или для предотвращение воздействия поисковой нагрузки на индексацию путем передачи поисковой вторичный кластер

Посмотрите веб-семинар по кросс-кластерной репликации, чтобы узнать больше о следующих случаях использования.Затем настройте кросс-кластерную репликацию на локальном компьютере и приступайте к работе. через демонстрацию из вебинара.

Аварийное восстановление и высокая доступность

Аварийное восстановление предоставляет вашим критически важным приложениям устойчивость к сбоям в работе центра обработки данных или региона. Этот вариант использования наиболее распространенное развертывание кросс-кластерной репликации. Вы можете настроить кластеры в разных архитектуры для поддержки аварийного восстановления и высокой доступности:

Единый центр обработки данных аварийного восстановленияit

В этой конфигурации данные реплицируются из производственного центра обработки данных в центр обработки данных аварийного восстановления.Поскольку индексы последователя повторяют лидера index, ваше приложение может использовать центр обработки данных аварийного восстановления, если производственный центр обработки данных недоступен.

Несколько центров обработки данных для аварийного восстановленияправить

Вы можете реплицировать данные из одного центра обработки данных в несколько центров обработки данных. Этот конфигурация обеспечивает как аварийное восстановление, так и высокую доступность, гарантируя эти данные реплицируются в двух центрах обработки данных, если основной центр обработки данных не работает или недоступен.

На следующей диаграмме данные из Datacenter A реплицируются в Datacenter B и Datacenter C, у которых есть копия лидера, доступная только для чтения. индекс из Datacenter A.

Цепная репликация

Вы можете реплицировать данные в нескольких центрах обработки данных для создания репликации. цепь. На следующей диаграмме Datacenter A содержит индекс лидера. Datacenter B реплицирует данные из Datacenter A, а Datacenter C реплицирует из индексов последователей в Datacenter B. Связь между этими центры обработки данных образуют цепочку репликации.

Двунаправленная репликация

В настройке двунаправленной репликации все кластеры имеют доступ для просмотра все данные и все кластеры имеют индекс для записи без ручного реализация аварийного переключения.Приложения могут писать в локальный индекс в каждом центра обработки данных и считывать данные по нескольким индексам для глобального просмотра всех Информация.

Эта конфигурация не требует ручного вмешательства, когда кластер или центр обработки данных недоступен. На следующей диаграмме, если Datacenter A недоступен, вы можете продолжить использование Datacenter B без ручного переключения при отказе. Когда Datacenter A переходит в оперативный режим, возобновляется репликация между кластерами.

Эта конфигурация особенно полезна для рабочих нагрузок только с индексами, когда нет обновлений. для документирования значений происходят.В этой конфигурации документы, проиндексированные Elasticsearch, неизменный. Клиенты находятся в каждом центре обработки данных вместе с Elasticsearch. кластер и не взаимодействуют с кластерами в разных центрах обработки данных.

Местоположение данных Редактировать

Перенос данных ближе к пользователям или серверу приложений может уменьшить задержку и время отклика. Эта методология также применяется при репликации данных в Elasticsearch. Например, вы можете реплицировать каталог продуктов или эталонный набор данных на 20 или больше центров обработки данных по всему миру, чтобы минимизировать расстояние между данными и сервер приложений.

На следующей схеме данные реплицируются из одного центра обработки данных в три. дополнительные центры обработки данных, каждый в своем регионе. Центральный дата-центр содержит индекс лидера, а дополнительные центры обработки данных содержат подчиненного индексы, которые реплицируют данные в этом конкретном регионе. Эта конфигурация помещает данные ближе к приложению, обращающемуся к ним.

Централизованная отчетность

Использование кластера централизованной отчетности полезно при запросах по большой сеть неэффективна.В этой конфигурации вы реплицируете данные из многих кластеры меньшего размера в кластер централизованной отчетности.

Например, у крупного глобального банка может быть 100 кластеров Elasticsearch по всему миру. которые распределены по разным регионам для каждого отделения банка. С использованием кросс-кластерная репликация, банк может реплицировать события из всех 100 банков в центральный кластер, чтобы локально анализировать и агрегировать события для составления отчетов. Вместо того, чтобы поддерживать зеркальный кластер, банк может использовать кросс-кластерную репликацию для репликации определенных индексов.

На следующей диаграмме представлены данные из трех центров обработки данных в разных регионах. реплицируется в кластер централизованной отчетности. Эта конфигурация позволяет вам для копирования данных из региональных хабов в центральный кластер, где вы можете запускать все отчеты локально.

Механика репликацииправить

Несмотря на то, что вы настраиваете репликацию между кластерами на уровне индекса, Elasticsearch обеспечивает репликацию на уровне сегментов. Когда создается индекс последователей, каждый осколок в этом индексе извлекает изменения из соответствующего осколка в индекс лидера, что означает, что индекс последователя имеет такое же количество шарды в качестве индекса лидера.Все операции над лидером тиражируются последователь, например операции по созданию, обновлению или удалению документа. Эти запросы могут обслуживаться из любой копии ведущего шарда (основного или реплика).

Когда ведомый осколок отправляет запрос на чтение, ведущий осколок отвечает любые новые операции, ограниченные параметрами чтения, которые вы устанавливаете, когда настройка индекса последователей. Если новые операции недоступны, лидерный сегмент ожидает до настроенного тайм-аута для новых операций.Если истекает тайм-аут, лидерный сегмент отвечает на подчиненный сегмент, который находится там новых операций нет. Сопровождающий осколок обновляет статистику осколков и немедленно отправляет еще один запрос на чтение главному осколку. Этот модель связи гарантирует, что сетевые соединения между удаленными кластер и локальный кластер постоянно используются, избегая принудительного прекращение действия внешним источником, например брандмауэром.

Если запрос чтения не выполняется, выясняется причина сбоя. Если считается, что причина сбоя устранима (например, сеть сбой), ведомый осколок входит в цикл повтора.В противном случае последовательный сегмент приостанавливается пока вы не возобновите его.

Обработка обновленийправить

Вы не можете вручную изменить сопоставления или псевдонимы индекса подписчиков. Делать изменения, необходимо обновить индекс лидера. Поскольку они доступны только для чтения, последователь индексы отклоняют запись во всех конфигурациях.

Например, вы индексируете документ с именем doc_1 в Datacenter A, который реплицируется в Datacenter B. Если клиент подключается к Datacenter B и пытается для обновления doc_1 запрос не выполняется.Для обновления doc_1 клиент должен подключитесь к Datacenter A и обновите документ в указателе лидера.

Когда осколок ведомого получает операции от осколка лидера, он помещает те операции в буфере записи. Осколок подписчика отправляет массовую запись запросы с использованием операций из буфера записи. Если буфер записи превышает его настроенные ограничения, дополнительные запросы на чтение не отправляются. Эта конфигурация обеспечивает противодействие запросам на чтение, позволяя последующему сегменту для возобновления отправки запросов на чтение, когда буфер записи больше не заполнен.

Чтобы управлять репликацией операций из ведущего индекса, вы можете настроить параметры, когда создание индекса последователей.

Индекс последователя автоматически извлекает некоторые обновления, примененные к лидеру. index, в то время как другие обновления извлекаются по мере необходимости:

Например, изменение количества реплик в индексе лидера не реплицируется индексом последователя, поэтому этот параметр не может быть получен.

Если применить нединамическое изменение настроек к ведущему индексу, необходимо для индекса последователя, индекс подписчика закрывается, применяет настройки обновляются, а затем снова открывается сам. Индекс подписчиков недоступен для чтения и не может реплицировать записи во время этого цикла.

Инициализация последователей с помощью удаленного восстановления

Когда вы создаете индекс подписчиков, вы не можете использовать его, пока он не будет полностью инициализирован. Процесс удаленного восстановления создает новую копию осколка на ведомый узел путем копирования данных из первичного шарда в ведущем кластере.

Elasticsearch использует этот процесс удаленного восстановления для начальной загрузки индекса последователей с помощью данные из индекса лидера. Этот процесс предоставляет подписчику копию текущее состояние индекса лидера, даже если полная история изменений недоступен на лидере из-за слияния сегментов Lucene.

Удаленное восстановление — это интенсивный сетевой процесс, который передает все данные Lucene. сегментировать файлы от ведущего кластера до ведомого кластера. Последователь запрашивает инициирование сеанса восстановления на основном сегменте в лидер кластера.Затем последователь одновременно запрашивает фрагменты файлов из лидер. По умолчанию процесс одновременно запрашивает пять файлов размером 1 МБ. куски. Это поведение по умолчанию предназначено для поддержки лидера и последователя. кластеры с высокой сетевой задержкой между ними.

Вы можете изменять настройки динамического удаленного восстановления для ограничения скорости передаваемых данных и управления ресурсами, потребляемыми удаленными восстановление.

Используйте API восстановления в кластере, содержащем ведомого index для получения информации о выполняемом удаленном восстановлении.Потому что Elasticsearch реализует удаленное восстановление с помощью снимок и восстановление инфраструктуры, удаленный запуск восстановления помечены как тип снимок в API восстановления.

Для репликации выноски требуется мягкое удалениеправить

Кросс-кластерная репликация работает путем воспроизведения истории отдельной записи операции, которые были выполнены с шардами индекса лидера. Elasticsearch необходимо сохранить история этих операций на лидере шарды, чтобы их могли тянуть задачи следующего шарда.Лежащий в основе Механизм, используемый для сохранения этих операций, — это мягкое удаление .

Мягкое удаление происходит всякий раз, когда существующий документ удаляется или обновляется. От сохранение этих мягких удалений до настраиваемых пределов, история операции могут быть сохранены на сегментах-лидерах и доступны для последовательный сегмент задач, поскольку он воспроизводит историю операций.

Индекс .soft_deletes.retention_lease.period параметр определяет максимальное время для сохранения аренды истории сегментов до того, как он будет считаться истекшим.Этот параметр определяет, как долго кластер содержащий ваш индекс подписчиков, может быть в автономном режиме, который по умолчанию составляет 12 часов. Если копия осколка восстанавливается по истечении срока аренды, но отсутствующая операции по-прежнему доступны в индексе лидера, тогда Elasticsearch установит новый договор аренды и скопируйте недостающие операции. Однако Elasticsearch не гарантирует сохраняют невыполненные операции, поэтому также возможно, что некоторые из недостающих операции были исключены лидером и теперь полностью недоступен.Если это произойдет, то последователь не сможет восстановиться автоматически, поэтому вы должны воссоздать это.

Мягкое удаление должно быть включено для индексов, которые вы хотите использовать в качестве лидера. индексы. Мягкое удаление включено по умолчанию для новых индексов, созданных на или после Elasticsearch 7.0.0.

Кросс-кластерная репликация не может использоваться для существующих индексов, созданных с помощью Elasticsearch 7.0.0 или более ранней версии, где мягкое удаление отключено. Ты должен переиндексируйте ваши данные в новый индекс с мягким удалением включено.

Использовать кросс-кластерную репликацию

В следующих разделах представлена ​​дополнительная информация о том, как настроить и использовать кросс-кластерную репликацию:

Создание снимков индекса в Amazon Elasticsearch Service

снимков в Amazon Elasticsearch Service (Amazon ES) — это резервные копии индексов кластера. и состояние. Состояние включает настройки кластера, информацию об узле, индекс настройки и выделение сегментов.

Снимки состояния Amazon ES бывают следующих форм:

• Автоматические снимки только для кластера восстановление.Вы можете использовать их для восстановления вашего домена в случае красного статуса кластера или потеря данных. Для получения дополнительной информации см. Восстановление снимков ниже. Amazon ES сохраняет автоматические снимки состояния в предварительно настроенной корзине Amazon S3 без дополнительных затрат. заряжать.

• Снимки вручную предназначены для восстановления кластера или для перемещения данных из одного кластера в Другой.Вы должны инициировать создание снимков вручную. Эти снимки хранятся в вашем Собственная корзина Amazon S3 и стандартная плата за S3. Если у вас есть снимок с самоуправляемый кластер Elasticsearch, вы можете использовать этот моментальный снимок для миграции на Amazon ES домен. Для получения дополнительной информации см. Переход на Amazon Elasticsearch Service.

Все домены Amazon ES делают автоматические снимки состояния, но частота отличается следующим: способы:

• Для доменов с Elasticsearch 5.3 и более поздних версий Amazon ES требует почасовой автоматизации снимки и хранит до 336 из них в течение 14 дней.

• Для доменов с Elasticsearch 5.1 и более ранних версий Amazon ES выполняет ежедневную автоматизацию снимки в течение указанного вами часа, сохраняет до 14 из них и не сохраняет любые снимки данных за более чем 30 дней.

Если ваш кластер переходит в красный статус, все автоматические снимки не работают, а кластер статус сохраняется.Если вы не исправите проблему в течение двух недель, вы можете навсегда потерять в данные в вашем кластере. Инструкции по устранению неполадок см. В разделе Состояние красного кластера.

Предпосылки

Для создания снимков вручную необходимо работать с IAM и Amazon S3.Убедись, что ты встретиться следующие предварительные условия перед попыткой сделать снимок:

  {
  «Версия»: «2012-10-17»,
  "Заявление": [{
      "Действие": [
        "s3: ListBucket"
      ],
      «Эффект»: «Разрешить»,
      «Ресурс»: [
        "arn: aws: s3 :::  s3-bucket-name "
      ]
    },
    {
      "Действие": [
        "s3: GetObject",
        "s3: PutObject",
        "s3: DeleteObject"
      ],
      «Эффект»: «Разрешить»,
      «Ресурс»: [
        "arn: aws: s3 :::  s3-bucket-name  / *"
      ]
    }
  ]
}  

  {
  «Версия»: «2012-10-17»,
  "Заявление": [{
    "Сид": "",
    «Эффект»: «Разрешить»,
    "Главный": {
      «Сервис»: «es.amazonaws.com "
    },
    «Действие»: «sts: AssumeRole»
  }]
  
}  

  {
  «Версия»: «2012-10-17»,
  "Заявление": [
    {
      «Эффект»: «Разрешить»,
      "Действие": "iam: PassRole",
      "Ресурс": "arn: aws: iam ::  123456789012 : роль /  TheSnapshotRole "
    },
    {
      «Эффект»: «Разрешить»,
      "Действие": "es: ESHttpPut",
      "Ресурс": "arn: aws: es:  регион :  123456789012 : домен /  имя-домена  / *"
    }
  ]
}  

  $ регистр-репозиторий python.ру
{"Сообщение": "Пользователь: arn: aws: iam ::  123456789012 : пользователь /  MyUserAccount 
не авторизован для выполнения: iam: PassRole на ресурсе:
arn: aws: iam ::  123456789012 : role /  TheSnapshotRole  "}  

Регистрация руководства хранилище снимков

Вам необходимо зарегистрировать репозиторий моментальных снимков в Amazon ES, прежде чем вы сможете индексировать снимки.Эта разовая операция требует, чтобы вы подписали свой запрос AWS с учетные данные, которым разрешен доступ к TheSnapshotRole , как описано в Предпосылки.

Шаг 1. Сопоставьте роль снимка в Kibana (при использовании детального контроля доступа)

Детальный контроль доступа вводит дополнительный шаг при регистрации репозиторий.Даже если вы используете базовую аутентификацию HTTP для всех других целей, вы необходимо сопоставить роль manage_snapshots вашему пользователю или роли IAM, имеет iam: PassRole разрешений для передачи Роль Снимков .

1. Перейдите к плагину Kibana для своего домена Amazon ES.Вы можете найти Конечная точка Kibana на панели управления вашего домена на консоли Amazon ES.

2. В главном меню выберите Безопасность , Роли и выберите manage_snapshots роль.

3. Выберите Сопоставленные пользователи , Управление сопоставлением .

4. Добавьте домен ARN пользователя или роли, у которой есть разрешения на передачу Роль Снимков .Поместите пользовательские ARN в Пользователи и роли ARN под Backend Роль .

     arn: aws: iam ::  123456789123 : пользователь /  имя пользователя   

     arn: aws: iam ::  123456789123 : роль /  имя-роли   

5. Выберите Карта и подтвердите пользователя или роль отображается под Сопоставленные пользователи .

Шаг 2: Зарегистрируйте репозиторий

Чтобы зарегистрировать репозиторий моментальных снимков, отправьте запрос PUT в конечную точку домена Amazon ES.Ты не может использовать curl для выполнения этой операции, потому что он не поддерживает AWS подписание запроса. Вместо этого используйте образец клиента Python, Почтальон, или другой способ отправить подписанный запрос на регистрацию хранилище снимков.

Запрос имеет следующий формат:

  PUT  elasticsearch-domain-endpoint  / _snapshot /  имя-моментального снимка-репо 
{
  "тип": "s3",
  "настройки": {
    "bucket": " s3-bucket-name ",
    «регион»: « район »,
    "role_arn": "arn: aws: iam ::  123456789012 : role /  TheSnapshotRole "
  }
}  

Если ваш домен находится в виртуальном частном облаке (VPC), ваш компьютер должен быть подключен к VPC для запроса на успешную регистрацию снимка репозиторий.Доступ к VPC зависит от конфигурации сети, но, вероятно, включает подключение к VPN или корпоративной сети. Чтобы убедиться, что вы можете связаться с Amazon ES домен, перейдите к https: // ваш-vpc-домен . регион .es.amazonaws.com в веб-браузере и убедитесь, что вы получили ответ JSON по умолчанию.

Шифрование снимка репозитории

В настоящее время вы не можете использовать главные ключи службы управления ключами (KMS) для шифрования. снимки вручную, но вы можете защитить их, используя шифрование на стороне сервера (SSE).

Чтобы включить SSE с ключами, управляемыми S3, для сегмента, который вы используете в качестве моментального снимка репозиторий, добавьте "server_side_encryption": true в «настройки» блок запроса PUT. Для получения дополнительной информации см. Защита данных использование серверного шифрования с ключами шифрования, управляемыми Amazon S3 в Amazon Simple Storage Service User Руководство .

В качестве альтернативы вы можете использовать главные ключи клиента (CMK) на стороне сервера. шифрование в корзине S3, которую вы используете в качестве хранилища моментальных снимков.

Перенос данных в другой домен

Регистрация репозитория моментальных снимков является одноразовой операцией.Однако для перехода с один домен в другой, вы должны зарегистрировать тот же репозиторий снимков на старый домен и новый домен. Имя репозитория произвольное.

При переходе на новый домен или регистрация одного и того же репозитория с несколькими доменами по другой причине:

• При регистрации репозитория на новом домене добавить "только для чтения": true для "настройки" блока запроса PUT.Этот параметр предотвращает случайное перезапись данных из старого домена.

• Если вы переносите данные в домен в другом регионе, (для Например, со старого домена и корзины, расположенной в us-east-2, на новый домен в us-west-2), вы можете увидеть эту ошибку 500 при отправке PUT запрос:

    Ковш находится в этом регионе: us-east-2.Используйте этот регион, чтобы повторить запрос.  

  Если вы столкнулись с этой ошибкой, попробуйте заменить «регион»: "us-east-2" с "endpoint": "s3.amazonaws.com" в операторе PUT и повторите запрос.

Использование образца Python клиент

Клиент Python легче автоматизировать, чем простой HTTP-запрос, и он лучше возможность многократного использования.Если вы решите использовать этот метод для регистрации репозитория моментальных снимков, сохраните следующий пример кода Python как файл Python, например register-repo.py . Клиенту требуется AWS SDK для Python (Boto3), запросы и запросы-aws4auth пакеты. Клиент содержит закомментированные примеры для другого снимка. операции.

Обновите следующие переменные в примере кода: host , область , путь и полезная нагрузка .

  импорт boto3
запросы на импорт
from requests_aws4auth импортировать AWS4Auth

host = '' # включить https: // и конечный /
region = '' # например, us-west-1
service = 'es'
учетные данные = boto3.Session (). get_credentials ()
awsauth = AWS4Auth (credentials.access_key, credentials.secret_key, регион, служба, session_token = credentials.token)

# Зарегистрировать репозиторий

path = '_snapshot /  my-snapshot-repo-name ' # конечная точка API Elasticsearch
url = хост + путь

payload = {
  "тип": "s3",
  "настройки": {
    "bucket": " s3-bucket-name ",
    «регион»: « сша-запад-1 »,
    "role_arn": "arn: aws: iam ::  123456789012 : role /  TheSnapshotRole "
  }
}

заголовки = {"Content-Type": "application / json"}

r = запросы.положить (url, auth = awsauth, json = payload, headers = headers)

печать (r.status_code)
печать (r.text)

# # Моментальный снимок
#
# путь = '_snapshot / мой-снимок-репо / мой-снимок'
# url = host + path
#
# r = requests.put (url, auth = awsauth)
#
# печать (r.text)
#
# # Удалить индекс
#
# путь = 'мой-индекс'
# url = host + path
#
# r = requests.delete (url, auth = awsauth)
#
# печать (r.text)
#
# # Восстановить снимок (все индексы, кроме Kibana и детального контроля доступа)
#
# путь = '_snapshot / мой-снимок-репо / мой-снимок / _restore'
# url = host + path
#
# payload = {
# "индексы": "-.kibana *, -. opendistro_security ",
# "include_global_state": ложь
#}
#
# headers = {"Content-Type": "application / json"}
#
# r = requests.post (url, auth = awsauth, json = payload, headers = заголовки)
#
# печать (r.text)
#
# # Восстановить снимок (один индекс)
#
# путь = '_snapshot / мой-снимок-репо / мой-снимок / _restore'
# url = host + path
#
# payload = {"индексы": "мой-индекс"}
#
# headers = {"Content-Type": "application / json"}
#
# r = requests.post (url, auth = awsauth, json = payload, headers = заголовки)
#
# печать (r.текст)  

Создание снимков вручную

Снимки не делаются мгновенно. Они требуют времени для завершения и не представляют идеальные виды кластера на определенный момент времени. Пока создается снимок, вы можете по-прежнему индексировать документы и делать другие запросы к кластеру, но новые документы и обновления существующих документов обычно не включаются в снимок.Снимок включает первичные осколки в том виде, в котором они существовали, когда Elasticsearch инициировал моментальный снимок. В зависимости от в зависимости от размера пула потоков моментальных снимков в снимок в несколько разное время.

Хранение снимков и представление

Моментальные снимки Elasticsearch являются инкрементными, то есть в них хранятся только измененные данные. поскольку последний удачный снимок.Этот инкрементный характер означает разницу в дисках использование между частыми и редкими снимками часто минимально. Другими словами, создание ежечасных снимков в течение недели (всего 168 снимков) может не потребовать много больше места на диске, чем при создании одного снимка в конце недели. Кроме того, чем больше чем чаще вы делаете снимки, тем меньше времени требуется на их создание.Немного Elasticsearch пользователи делают снимки каждые полчаса.

Создать снимок

При создании снимка вы указываете следующую информацию:

Примеры в этой главе используют curl, a обычный HTTP-клиент, для удобства и краткости.Однако, если ваша политика доступа укажите пользователей или роли IAM, вы должны подписать запросы на создание снимков. Вы можете использовать закомментированные примеры в образце клиента Python для делать подписанные HTTP-запросы к тем же конечным точкам, которые используют команды curl.

Чтобы сделать снимок вручную, выполните следующие действия:

1. Вы не можете сделать снимок, если он сейчас выполняется.Чтобы проверить, запустите следующая команда:

     curl -XGET ' elasticsearch-domain-endpoint  / _snapshot / _status'  

2. Выполните следующую команду, чтобы сделать снимок вручную:

     curl -XPUT ' elasticsearch-domain-endpoint  / _snapshot /  имя-репозитория / имя-снимка '  

Время, необходимое для создания моментального снимка, увеличивается с размером домена Amazon ES.При длительных операциях создания моментальных снимков иногда возникает следующая ошибка: 504 GATEWAY_TIMEOUT . Обычно вы можете игнорировать эти ошибки и дождитесь успешного завершения операции. Выполните следующую команду, чтобы проверьте состояние всех снимков вашего домена:

  curl -XGET ' elasticsearch-domain-endpoint  / _snapshot /  имя-репозитория  / _all? Pretty'  

Восстановление снимков

Если вы используете псевдонимы индекса, прекратите запросы на запись к псевдониму или переключите псевдоним на другой индекс перед удалением его индекса.Остановка запросов на запись помогает избежать следующий сценарий:

1. Вы удаляете индекс, при этом удаляется его псевдоним.

2. Ошибочный запрос на запись в теперь удаленный псевдоним создает новый индекс с тем же именем, что и псевдоним.

3. Вы больше не можете использовать псевдоним из-за конфликта имен с новым индекс.

Если вы переключили псевдоним на другой индекс, укажите "include_aliases": false при восстановлении из снимок.

Чтобы восстановить снимок, выполните следующие действия:

1. Определите снимок, который вы хотите восстановить.Чтобы увидеть все хранилища снимков, выполните следующую команду:

     curl -XGET ' elasticsearch-domain-endpoint  / _snapshot? Довольно'  

   После идентификации репозитория выполните следующую команду, чтобы увидеть все снимки:

     curl -XGET ' elasticsearch-domain-endpoint  / _snapshot /  имя-репозитория  / _all? Pretty'  

   Большинство автоматических снимков хранятся в cs-automatic репозиторий.Если ваш домен шифрует данные в состоянии покоя, они хранятся в cs-automatic-enc репозиторий. Если вы не видите руководство репозиторий снимков, который вы ищете, убедитесь, что вы зарегистрировались это в домен.

2. (Необязательно) Удалите или переименуйте один или несколько индексов в домене Amazon ES, если у вас есть конфликты именования между индексами в кластере и индексами в снимке.Ты не может восстановить моментальный снимок ваших индексов в кластере Elasticsearch, который уже содержит индексы с такими же именами.

   У вас есть следующие возможности, если у вас есть конфликты именования индексов:

   Следующая команда удаляет все существующие индексы в домене:

     curl -XDELETE ' elasticsearch-domain-endpoint  / _all'  

   Однако, если вы не планируете восстанавливать все индексы, вы можете просто удалить один:

     curl -XDELETE ' elasticsearch-domain-endpoint / имя-индекса '  

3. Чтобы восстановить снимок, выполните следующую команду:

     curl -XPOST ' elasticsearch-domain-endpoint  / _snapshot /  имя-репозитория / имя-снимка  / _restore'  

   Из-за специальных разрешений на Kibana и детального контроля доступа индексы, попытки восстановить все индексы могут потерпеть неудачу, особенно если вы попытаетесь восстановить из автоматического снимка.В следующем примере восстанавливается только один index, my-index , из 2020-снимок в cs-automatic репозиторий снимков:

     curl -XPOST ' elasticsearch-domain-endpoint  / _snapshot / cs-automatic / 2020-snapshot / _restore' -d '{"index": "my-index"}' -H 'Content-Type: application / json ' 

   В качестве альтернативы вы можете восстановить все индексы , кроме Kibana и детального контроля доступа. индексы:

     curl -XPOST ' elasticsearch-domain-endpoint  / _snapshot / cs-automatic / 2020-snapshot / _restore' -d '{"индексы": "-.kibana *, -. opendistro_security "} '-H' Content-Type: application / json ' 

Если не все первичные сегменты были доступны для задействованных индексов, снимок может иметь состояние из ЧАСТИЧНО .Это значение указывает на то, что данные хотя бы из одного осколка не удалось сохранить. Вы все еще можете восстановить из частичный снимок, но вам может потребоваться использовать старые снимки, чтобы восстановить любые отсутствующие индексы.

Удаление снимков вручную

Чтобы удалить снимок, сделанный вручную, выполните следующую команду:

  УДАЛИТЬ _snapshot /  имя-репозитория / имя-снимка   

Автоматизация снимков с помощью состояния индекса Управление

Вы можете использовать операцию «Управление состоянием индекса» (ISM) снимок , чтобы автоматически запускать снимки индексов. в зависимости от возраста, размера или количества документов.Для примера политики ISM используя операцию снимка , см. Пример Политики.

Использование куратора для снимков

Некоторые пользователи находят такие инструменты, как Curator, удобными для управления индексами и снимками.Использовать пункт для установки Куратор:

  pip install elasticsearch-curator  

Curator предлагает расширенные функции фильтрации, которые могут помочь упростить управление задачи на сложных кластерах. Amazon ES поддерживает Curator в доменах с Elasticsearch версия 5.1 и выше. Вы можете использовать Curator как интерфейс командной строки (CLI) или Python API. Если вы используете CLI, экспортируете свои учетные данные в командной строке и настраиваете curator.yml следующим образом:

  клиент:
  хосты: поиск- мой-домен .  us-west-1  .es.amazonaws.com
  порт: 443
  use_ssl: Верно
  aws_region:  us-west-1 
  aws_sign_request: Верно
  ssl_no_validate: Ложь
  тайм-аут: 60

Ведение журнала:
  loglevel: ИНФОРМАЦИЯ  

Примеры лямбда-функций, использующих Python API, см. В разделе Использование Curator для ротации данных в Amazon Elasticsearch Service.

Определение MSCI

Что такое MSCI?

MSCI — это аббревиатура от Morgan Stanley Capital International. Это инвестиционная исследовательская компания, которая предоставляет институциональным инвесторам и хедж-фондам фондовые индексы, аналитику рисков и показателей портфеля, а также инструменты управления. MSCI, пожалуй, наиболее известен своими эталонными индексами, включая MSCI Emerging Market Index и MSCI Frontier Markets Index, которыми управляет MSCI Barra.Компания продолжает запускать новые индексы каждый год.

Ключевые выводы

• MSCI предоставляет инвесторам инвестиционные данные и аналитические услуги.
• MSCI была образована, когда Morgan Stanley купила лицензионные права на данные Captial International в 1986 году.
• Фирма, пожалуй, наиболее известна своей серией фондовых индексов, которые используются многими паевыми фондами и ETF в качестве ориентира.

Понимание MSCI

Capital International представила в 1969 году ряд фондовых индексов, отражающих международные рынки, — первые индексы мировых фондовых рынков для рынков за пределами Соединенных Штатов.Когда Morgan Stanley купил лицензионные права на данные Capital в 1986 году, он начал использовать аббревиатуру MSCI, и Morgan Stanley стал ее крупнейшим акционером. В 2004 году MSCI приобрела Barra, фирму по управлению рисками и аналитике портфеля, примерно за 816,4 миллиона долларов. В результате слияния обеих компаний была создана новая фирма, MSCI Barra, которая была выделена в ходе первичного публичного предложения (IPO) в 2007 году и начала торговаться на Нью-Йоркской фондовой бирже (NYSE) под биржевым тикером MSCI. В 2009 году фирма стала полностью независимой, обособленной публичной компанией.

Фирма предоставляет своим клиентам инвестиционные инструменты от Barra, Financial Engineering Associates, RiskMetrics, Institutional Shareholder Services, Measurisk и Центра финансовых исследований и анализа. Он также публикует индексы, которые широко доступны для инвесторов.

MSCI, пожалуй, наиболее известен своими фондовыми индексами — более 160 000, которые сосредоточены на различных географических регионах и типах акций, таких как акции с малой, средней и большой капитализацией. Они отслеживают эффективность акций, которые в них включены, и служат основой для биржевых фондов (ETF).По состоянию на 30 июня 2019 года активы под управлением (AUM) составляли 12,3 триллиона долларов, сопоставленные с индексами компании. Лучшие индексы MSCI:

• MSCI Emerging Market Index: запущенный в 1988 году, этот индекс включает участников из 24 стран с развивающейся экономикой, включая Китай, Индию, Таиланд, Бразилию, Южную Африку, Россию и Мексику.
• MSCI Frontier Markets Index: используемый в качестве эталона для измерения эффективности финансовых рынков в некоторых странах Азии, этот индекс фокусируется на 28 рынках Ближнего Востока, Африки, Южной Америки и Европы.Некоторые из приграничных регионов, акции которых включены в этот индекс, — это Кувейт, Вьетнам, Марокко, Ливан, Кения и Бахрейн.
• MSCI All Country World Index (ACWI): это флагманский глобальный индекс акций компании, который отслеживает динамику акций компаний с малой и большой капитализацией на 23 развитых и 26 развивающихся рынках, где представлено более 3000 акций.
• Индекс MSCI EAFE: Индекс EAFE включает 918 акций из 21 развитой рыночной страны, за исключением Канады и США.

Особые соображения

Индексы MSCI — это индексы, взвешенные по рыночной капитализации, что означает, что акции взвешиваются в соответствии с их рыночной капитализацией, рассчитываемой как цена акции, умноженная на общее количество акций в обращении. Акции с наибольшей рыночной капитализацией получают наибольший вес в индексе. Это отражает тот факт, что компании с большой капитализацией оказывают большее влияние на экономику, чем компании со средней или малой капитализацией. Процентное изменение цены акций с большой капитализацией в индексе MSCI приведет к большему изменению индекса, чем изменение цены компании с малой капитализацией.

Индексы

MSCI пересматриваются ежеквартально и дважды в год ребалансируются.

Каждый индекс в семействе MSCI пересматривается ежеквартально и дважды в год балансируется. Акции добавляются или удаляются из индекса аналитиками MSCI, чтобы гарантировать, что индекс по-прежнему действует как эффективный эталон акций для рынка, который он представляет. Когда происходит ребалансировка индекса MSCI, ETF и паевые инвестиционные фонды также должны корректировать свои фонды, поскольку они созданы для отражения показателей индексов.

Есть ли место для дальнейшего падения индекса Nifty Auto?

Индекс Nifty Auto упал почти на 18% с апреля, что примерно в три раза превышает падение индекса Nifty 100. Помимо слабой квартальной прибыли в июне, неопределенность спроса и общее замедление роста экономики поставили инвесторов в тупик.

Среди автомобильных запасов больше всего пострадали акции производителей оригинального оборудования (OEM), что свидетельствует о серьезном стрессе в продажах автомобилей.Неудивительно, что результаты июньского квартала были жалкими, поскольку двузначное снижение продаж и отрицательная операционная долговая нагрузка сказались на рентабельности.

Ситуацию усугубляет продолжающийся спад продаж автомобилей, который вселяет надежду на какое-либо оживление в текущем квартале.

Согласно данным, опубликованным Обществом индийских автопроизводителей (Сиам), для индустрии легковых автомобилей в Индии это был худший июль почти за 19 лет: в прошлом месяце продажи упали на 31% до 200 790 автомобилей.Это были худшие показатели продаж с момента падения на 35% в декабре 2000 года.

Наиболее резкое падение продаж наблюдалось в сегменте коммерческих автомобилей, поскольку пересмотр норм нагрузки на ось и сокращение грузовых перевозок из-за экономического спада работали в тандеме, чтобы снизить продажи грузовиков. Не лучше обстоят дела с продажами автомобилей и двухколесных транспортных средств, а спрос как в сельских, так и в городских районах остается низким, что приводит к увеличению товарных запасов. Сокращение производства, вероятно, продолжится, что может привести к еще большей потере рабочих мест в промышленности и смежном секторе.

Но спорный вопрос, ожидает ли инвесторов больше боли.

Часы: Расшифровка краха автомобильного сектора: причины, последствия и путь вперед

Индекс Nifty Auto упал на 36% примерно за год. Согласно отчету Jefferies India Pvt Ltd, «коррекция автомобильных запасов с декабря 2017 года состояла из двух частей. Первые шесть-десять месяцев были вызваны понижением оценки, в то время как в последние девять-двенадцать месяцев снижение прибыли стало ключевым фактором коррекции.«

С точки зрения оценки не похоже, что автомобильные акции упали в пропасть. Действительно, годовой форвардный коэффициент отношения цены к прибыли автомобильного индекса Nifty снизился с 16,4 раза 1 апреля до 15,3 раза 13 августа, но остается намного выше десятилетнего минимума в 8,3 раза, достигнутого 1 июня 2012 года.

Помимо этого, комментарии руководства большинства фирм указывают на задержку восстановления по сравнению с более ранними прогнозами, что во втором полугодии дела обстоят лучше.«Таким образом, над автомобильным сектором нависает риск дальнейшего снижения оценок прибыли как на 20, так и на 21 финансовый год. Это создает веские основания для дальнейшего снижения цен на акции «, — говорит Бхарат Джанани, аналитик Sharekhan.

Подпишитесь на информационный бюллетень монетного двора

* Введите действующий адрес электронной почты

* Спасибо за подписку на нашу рассылку.

Не пропустите ни одной истории! Оставайтесь на связи и в курсе с Mint. Скачать наше приложение сейчас !!

Оценка зон скопления и индексов времени в пути на основе данных плавающего вагона

Основные моменты

•

Автоматическое определение границ зон скопления на макроуровне

•

Пространственно-временной анализ зон скопления ‘ закономерности в разные сезоны

•

Оценка индексов времени в пути для уменьшения объема трафика

•

Применение зон загруженности и индексов времени в пути в логистических операциях

•

Подтверждение результатов с помощью полевых испытаний

Abstract

Эффективное прогнозирование транспортных заторов приносит пользу различным участникам дорожного движения, от обычных пассажиров и операторов логистики до градостроителей и ответственных органов власти.Это исследование направлено на предоставление высококачественной оценки условий движения на основе больших исторических данных о плавающих автомобилях (FCD) с двумя основными целями: (i) оценка зон заторов на большой дорожной сети и (ii) оценка времени в пути в пределах зоны скопления в форме изменяющихся во времени индексов времени в пути (TTI). На микроуровне условия движения в виде профилей скорости были сопоставлены со звеньями в дорожной сети. На макроуровне наблюдаемая область была разделена на мелкозернистую сетку и представлена ​​в виде изображения, где каждый пиксель указывает интенсивность скопления.Пространственно-временные характеристики зон скопления определялись с помощью операции морфологического закрытия и моделирования Монте-Карло в сочетании с временной кластеризацией. В качестве примера была выбрана дорожная сеть в Хорватии с пространственно-временным анализом, дифференцирующим летний сезон и остальное время года. Для проверки предложенного подхода было проведено три сравнения: (i) сравнение с реальным временем прохождения маршрутов, управляемым контролируемым образом, (ii) сравнение с историческим набором данных траектории, и (iii) сравнение с современными данными. метод.По сравнению с реальным измеренным временем в пути, использование изменяющихся во времени TTI для оценки времени в пути привело к средней относительной процентной ошибке 4,13% с незначительной разницей в оценках времени в пути на микроуровне и значительным улучшением по сравнению с текущим. Хорватское промышленное судоходство. Результаты подтверждают выполнимость оценки зон заторов и изменяющихся во времени TTI на большой дорожной сети из FCD с применением в городском планировании и операциях по зависящей от времени маршрутизации благодаря: значительному сокращению объема данных без заметной потери качества и значимости сокращение времени вычислений предварительной обработки.

Ключевые слова

Данные о плавающих автомобилях

Профили скорости

Зоны скопления

Изменяющиеся во времени индексы времени в пути

Рекомендуемые статьиЦитирующие статьи (0)

© 2021 Авторы. Опубликовано Elsevier Ltd.

Рекомендуемые статьи

Цитирование статей

Еженедельный обзор мировых рынков | T. Rowe Price

В неспокойную неделю индекс Shanghai Composite и индекс CSI 300 выросли на 0,4% и 0,5% соответственно.Рынки показали облегчение после того, как отчет Китая по валовому внутреннему продукту (ВВП) за второй квартал в четверг оказался в соответствии с ожиданиями. Приток акций в Китай через канал Stock Connect стал положительным после выхода данных по ВВП, с самым высоким дневным притоком с сентября, сообщает азиатский торговый отдел T. Rowe Price. По словам трейдеров, иностранные инвесторы покупали технологические, финансовые и потребительские акции с прочными фундаментальными показателями, избегая дорогостоящих тематических игр, таких как электромобили. Что касается пандемии, то в провинциях на юге Китая по-прежнему наблюдается небольшое количество новых случаев коронавируса.

Аналитики приветствовали решение центрального банка от 9 июля снизить норму обязательных резервов для банков на 0,5%. Этот шаг был более быстрым и более широким, чем ожидалось, и может дать некоторую страховку от замедления роста во втором полугодии. В июне на рынок облигаций Китая был зафиксирован приток 10 миллиардов долларов. Доходность 10-летних государственных облигаций упала на пять базисных пунктов до 2,97%, впервые с августа 2020 года, когда она упала ниже 3,0%. На валютных рынках юань практически не изменился и закрылся на отметке 6.471 по сравнению с долларом США.

Годовой рост ВВП Китая вырос на 7,9% во втором квартале по сравнению с 18,3% в предыдущем квартале, сообщило в четверг статистическое управление страны. Чтобы уменьшить искажения, связанные с коронавирусом, офис также сообщил о двухлетнем среднем росте, который увеличился на 5,5% во втором квартале с 5% в первом квартале. Устойчивый рост противоречил опасениям рынка по поводу того, что центральный банк снизил норму резервирования из-за слабого роста ВВП. В разрезе секторов сельское хозяйство и сфера услуг в прошлом квартале выросли, в то время как объем промышленного производства стабилизировался после более быстрого восстановления в прошлом году.

июня также были оптимистичными.