• 047. Как запустить LLM (generative AI) на AWS

  • May 10 2024
  • Length: 31 mins
  • Podcast
047. Как запустить LLM (generative AI) на AWS By cover art

047. Как запустить LLM (generative AI) на AWS

Listen for free

View show details

  • Summary

  • Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM: •Amazon Bedrock - сервис для быстрого запуска популярных моделей •Amazon SageMaker JumpStart - кастомные модели в пару кликов •Hugging Face Estimator - доступ к библиотеке моделей Hugging Face •Развертывание в контейнерах ECS и на GPU-инстансах EC2 •AWS Lambda - какие особенности надо учесть при таком запуске С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте. Слушайте, пробуйте! Ссылки упомянутые во время подкаста:
    • Слайды с Реинвента https://www.dropbox.com/scl/fi/m72mosktms8k43q4ktpsx/Feyzkhanov_AWS_GenAI_Services_And_Options.pdf?rlkey=2p35imid8xxbhjyfunbj2m9ya&dl=0
    • Пример Mistral 7B на SageMaker JumpStart https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
    • Использование HuggingFace для деплоя моделей на SageMaker https://huggingface.co/docs/sagemaker/inference
    • Использование AWS Lambda для хостинга Mistral 7B https://aws.plainenglish.io/serverless-compute-for-llm-with-a-step-by-step-guide-for-hosting-mistral-7b-on-aws-lambda-0a267e153cae
    • Использование ECS Fargate для хостинга LLAMA 2 https://aws.plainenglish.io/guide-for-running-llama-2-using-llama-cpp-on-aws-fargate-7086bcd1ed3c
    • Hugging face Inferentia 2 https://huggingface.co/blog/inferentia-llama2
    Show more Show less
Show more Show less

What listeners say about 047. Как запустить LLM (generative AI) на AWS

Average customer ratings

Reviews - Please select the tabs below to change the source of reviews.

Audible.com reviews

Amazon reviews
No Reviews are Available